Καθώς τα συστήματα που βασίζονται σε Μεγάλα Γλωσσικά Μοντέλα (LLMs) συνδέονται όλο και περισσότερο με τον εξωτερικό κόσμο μέσω εργαλείων και συναρτήσεων, η διασφάλιση της ορθής χρήσης τους καθίσταται κρίσιμη. Μια νέα μελέτη που δημοσιεύθηκε στο ArXiv ML διερευνά τη χρήση «γραμμικών ανιχνευτών» (linear probes) για τον εντοπισμό σφαλμάτων κατά την κλήση εργαλείων, αναλύοντας τις εσωτερικές κρυφές καταστάσεις (hidden states) των μοντέλων.
Η εσωτερική γνώση του λάθους
Οι ερευνητές εξέτασαν 18 διαφορετικά μοντέλα χρησιμοποιώντας το Berkeley Function Calling Leaderboard. Το βασικό εύρημα είναι ότι οι εσωτερικές καταστάσεις των LLMs περιέχουν πλούσιες πληροφορίες που δεν είναι πάντα ορατές στην τελική έξοδο (output). Οι γραμμικοί ανιχνευτές αποδείχθηκαν αποτελεσματικοί στον εντοπισμό μιας σειράς σφαλμάτων, συμπεριλαμβανομένων περιπτώσεων όπου ένα όρισμα έχει τη σωστή μορφή (type) αλλά λανθασμένη τιμή (value) — ένα είδος σφάλματος που συχνά διαφεύγει από τα τυπικά πλαίσια καταγραφής (logging frameworks).
Παράγοντες επιτυχίας και γενίκευση
Σύμφωνα με τη μελέτη, η αποτελεσματικότητα της ανίχνευσης εξαρτάται από τρεις κύριους παράγοντες:
- Το μέγεθος του μοντέλου.
- Το συγκεκριμένο επίπεδο (layer) στο οποίο γίνεται η ανίχνευση.
- Τον τύπο της μετα-εκπαίδευσης (post-training) του μοντέλου.
Ιδιαίτερη σημασία έχει το γεγονός ότι αυτοί οι ανιχνευτές μπορούν να γενικεύσουν τη γνώση τους σε νέους, άγνωστους τύπους σφαλμάτων, γεγονός που κρίνεται απαραίτητο για την εφαρμογή τους σε πραγματικές συνθήκες λειτουργίας.
