Ενώ τα κορυφαία μοντέλα Τεχνητής Νοημοσύνης επιτυγχάνουν ακρίβεια άνω του 89% σε ακαδημαϊκά πρότυπα όπως το Spider και το BIRD, η μεταφορά αυτής της ικανότητας σε περίπλοκα εταιρικά περιβάλλοντα παραμένει πρόκληση. Μια νέα μελέτη παρουσιάζει το ESQ-Bench, ένα εξειδικευμένο μέτρο σύγκρισης (benchmark) με επίκεντρο το οικοσύστημα της Oracle, σχεδιασμένο να αξιολογεί τη γενίκευση των διαλέκτων SQL και την «σιωπηλή σημασιολογική απόκλιση».

Η πολυπλοκότητα των εταιρικών δεδομένων

Το ESQ-Bench διαφοροποιείται από τα παραδοσιακά benchmarks χρησιμοποιώντας έξι πλήρως συμπληρωμένα σχήματα βάσεων δεδομένων με 465 πίνακες και 164.682 σειρές δεδομένων. Η δοκιμασία περιλαμβάνει 550 επικυρωμένα ζεύγη ερωτήσεων-ερωτημάτων χωρισμένα σε τρία επίπεδα πολυπλοκότητας. Τα δεδομένα αυτά έχουν αναπτυχθεί πανομοιότυπα σε Oracle, PostgreSQL, MySQL και SQL Server για τον έλεγχο της συμβατότητας των μοντέλων.

Επιδόσεις μοντέλων και το χάσμα της ακρίβειας

Τα αποτελέσματα δείχνουν μια σαφή υποβάθμιση της ακρίβειας καθώς αυξάνεται η πολυπλοκότητα των σχημάτων:

  • Το Claude Sonnet 4.6 αναδείχθηκε ως ο κορυφαίος παίκτης, επιτυγχάνοντας ποσοστά εκτέλεσης (EX) 87,4%, 74,9% και 68,7% στα τρία επίπεδα πολυπλοκότητας, ξεπερνώντας το GPT-4o.
  • Το GPT-4o παρουσίασε πτώση από το 79,8% στο 57,2% στο υψηλότερο επίπεδο πολυπλοκότητας όταν χρησιμοποιήθηκε schema-linked prompting.
  • Το ανοιχτού κώδικα Llama 3.2 κατέγραψε μόλις 13,3% συνολική ακρίβεια, υπογραμμίζοντας το τεράστιο χάσμα μεταξύ των κλειστών εμπορικών μοντέλων και των open-weight εναλλακτικών σε εταιρικά περιβάλλοντα Oracle.

Ο κίνδυνος της «Σιωπηλής Απόκλισης»

Ένα από τα πιο ανησυχητικά ευρήματα της έρευνας είναι η «σιωπηλή σημασιολογική απόκλιση» (silent semantic divergence). Παρόλο που ο κώδικας SQL μπορεί να εκτελείται χωρίς σφάλματα, τα αποτελέσματα που επιστρέφει είναι συχνά λανθασμένα. Στα υψηλότερα επίπεδα πολυπλοκότητας, αυτό το φαινόμενο επηρεάζει από το 73% έως και το 99% των ερωτημάτων που κατά τα άλλα «περνούν» τον έλεγχο εκτέλεσης.