Παρά τις τεράστιες δυνατότητές τους, τα μεγάλα γλωσσικά μοντέλα (LLMs) συχνά αποτυγχάνουν σε σύνθετες εργασίες συλλογιστικής. Σύμφωνα με νέα έρευνα που δημοσιεύθηκε στο ArXiv, αυτές οι αποτυχίες δεν οφείλονται απαραίτητα σε μια γενική ανικανότητα των μοντέλων, αλλά σε «τοπικά σφάλματα συλλογιστικής» (localized reasoning bugs) που εμφανίζονται σε ενδιάμεσα στάδια της σκέψης τους.
Η παρέμβαση των «αδύναμων» μοντέλων
Οι ερευνητές διαπίστωσαν ότι αυτά τα σφάλματα είναι συχνά αναστρέψιμα. Χρησιμοποιώντας ένα «αδύναμο» μοντέλο-ανιχνευτή (weak probe model), είναι δυνατόν να δημιουργηθεί ένα σύντομο διορθωτικό «patch» (επίθεμα). Όταν αυτό το patch εισάγεται στην αλυσίδα σκέψης του ισχυρού μοντέλου, μπορεί να ανακατευθύνει την πορεία του προς τη σωστή λύση.
Ωστόσο, η έρευνα επισημαίνει ότι η απλή εκπαίδευση (fine-tuning) του ισχυρού μοντέλου πάνω σε αυτά τα διορθωτικά κείμενα δεν αποδίδει τα αναμενόμενα. Η πραγματική αξία δεν βρίσκεται στο ίδιο το κείμενο της παρέμβασης, αλλά στον τρόπο με τον οποίο αυτό αναδιαμορφώνει τη μελλοντική κατανομή των πιθανοτήτων για τις επόμενες λέξεις (tokens) που θα παράγει το μοντέλο.
Η μέθοδος Woodpecker Distillation
Για την αντιμετώπιση αυτού του ζητήματος, προτάθηκε το Woodpecker Distillation, ένα πλαίσιο εκπαίδευσης από το «αδύναμο» προς το «ισχυρό». Η μέθοδος λειτουργεί ως εξής:
- Συγκρίνει επιτυχημένα και αποτυχημένα patches του αδύναμου μοντέλου στο ίδιο σημείο της συλλογιστικής.
- Κατασκευάζει μια διορθωτική «κατανομή δασκάλου» από τις μελλοντικές προβλέψεις που προκαλούνται.
- Μεταφέρει (distills) αυτό το σήμα στο ισχυρό μοντέλο.
Οι δοκιμές σε benchmarks μαθηματικής συλλογιστικής έδειξαν ότι το Woodpecker Distillation βελτιώνει σταθερά την απόδοση των ισχυρών μοντέλων, ξεπερνώντας τις παραδοσιακές μεθόδους άμεσης μίμησης.
