Η εξέλιξη των Μεγάλων Γλωσσικών Μοντέλων (LLMs) έχει μειώσει σημαντικά το εμπόδιο για τη συγγραφή κώδικα, οδηγώντας στην ανάπτυξη πρακτόρων επιστήμης δεδομένων που υπόσχονται την αυτοματοποίηση της διαδικασίας — από τη διατύπωση της εργασίας έως την ανάπτυξη μοντέλων. Ωστόσο, μια νέα μελέτη που δημοσιεύθηκε στο ArXiv προειδοποιεί ότι οι τρέχουσες αξιολογήσεις αυτών των συστημάτων παραβλέπουν θεμελιώδεις αρχές της επιστήμης δεδομένων και τη γνώση του τομέα.

Μεθοδολογικά Κενά και Διαρροή Δεδομένων

Σύμφωνα με τους ερευνητές, η εστίαση αποκλειστικά στην τελική προγνωστική απόδοση και την ορθότητα του κώδικα συγκαλύπτει σοβαρές μεθοδολογικές αποτυχίες, όπως η διαρροή δεδομένων και η ακατάλληλη επικύρωση. Ένα κρίσιμο εύρημα είναι η θετική συσχέτιση μεταξύ της εμφάνισης διαρροής δεδομένων και της υψηλής προγνωστικής απόδοσης. Αυτό υποδηλώνει ότι οι πράκτορες συχνά επιτυγχάνουν υψηλές βαθμολογίες μέσω ελαττωματικών μεθοδολογιών, γεγονός που περιορίζει την ανάπτυξη αξιόπιστων συστημάτων.

Ανάλυση σε Μεγάλη Κλίμακα

Η έρευνα αξιολόγησε την πρακτορική επιστήμη δεδομένων (agentic DS) μέσω τριών πυλώνων:

  • Ανάλυση αποτυχιών σε 220 εργασίες επιστήμης δεδομένων σε διάφορα πλαίσια και μοντέλα.
  • Μια νέα, επεκτάσιμη σουίτα δοκιμών που ελέγχει έξι συγκεκριμένους τύπους αποτυχιών με ελεγχόμενο τρόπο.
  • Ποιοτική σύγκριση των λύσεων των πρακτόρων με λύσεις ειδικών από διαγωνισμούς του Kaggle.

Τα αποτελέσματα έδειξαν ότι η πλειονότητα των λύσεων που παρήχθησαν από πράκτορες περιείχε τουλάχιστον μία μεθοδολογική αποτυχία, ανεξάρτητα από την πολυπλοκότητα του συστήματος ή τη χωρητικότητα του μοντέλου. Επιπλέον, οι πράκτορες υστερούν σε δημιουργικότητα επίλυσης προβλημάτων και εξειδικευμένη γνώση τομέα σε σύγκριση με τους κορυφαίους ανθρώπους επιστήμονες δεδομένων.

Προς μια Αξιόπιστη Αυτοματοποίηση

Οι ερευνητές υποστηρίζουν ότι η ανάλυση των τρόπων αστοχίας πρέπει να καταστεί αναπόσπαστο μέρος της αξιολόγησης της πρακτορικής επιστήμης δεδομένων. Η ανάδειξη αυτών των «αθόρυβων αποτυχιών» θεωρείται κλειδί για την ανάπτυξη συστημάτων που θα τηρούν την επιστημονική αυστηρότητα και δεν θα βελτιστοποιούνται απλώς για επιφανειακές μετρήσεις ακρίβειας.