Ενώ οι άνθρωποι χρησιμοποιούν καθημερινά λεκτικούς δείκτες όπως «πιθανώς» ή «μάλλον» για να εκφράσουν την αβεβαιότητά τους, τα μεγάλα γλωσσικά μοντέλα (LLMs) βασίζονται παραδοσιακά σε σήματα πιθανοτήτων ή συνέπειας για την ποσοτικοποίηση της αβεβαιότητας (UQ). Μια νέα μελέτη που δημοσιεύθηκε στο ArXiv διερευνά το χάσμα μεταξύ του τρόπου με τον οποίο οι άνθρωποι και η τεχνητή νοημοσύνη ερμηνεύουν αυτούς τους γλωσσικούς δείκτες.
Η απόκλιση στη μεταγνωστική παρακολούθηση
Από γνωστική άποψη, η ακριβής λεκτική αβεβαιότητα αντικατοπτρίζει τη μεταγνωστική παρακολούθηση — την ικανότητα δηλαδή να γνωρίζει κανείς τα όρια των γνώσεών του. Οι ερευνητές δημιούργησαν ένα σώμα κειμένων με δείκτες αβεβαιότητας από τη βιβλιογραφία της ψυχολογίας και της επιστήμης των αποφάσεων για να συγκρίνουν τα LLMs με τα ανθρώπινα πρότυπα. Τα αποτελέσματα έδειξαν ότι τα μοντέλα κωδικοποιούν τη λεκτική αβεβαιότητα σε αριθμητικά επίπεδα που διαφέρουν ουσιαστικά από εκείνα των ανθρώπων.
METHODNAME: Μια νέα προσέγγιση χαρτογράφησης
Για την αντιμετώπιση αυτού του ζητήματος, η μελέτη εισάγει το METHODNAME, έναν καινοτόμο αλγόριθμο βελτιστοποίησης. Αντί να εκτιμά την αβεβαιότητα μέσω επαναλαμβανόμενης δειγματοληψίας, το METHODNAME μαθαίνει ένα βέλτιστο προφίλ αβεβαιότητας απευθείας από τις εξόδους του μοντέλου. Προσαρμόζοντας μια χαρτογράφηση δεικτών-αβεβαιότητας για την καλύτερη επεξήγηση της εμπειρικής ορθότητας, ο αλγόριθμος ανακαλύπτει πόση «μάζα πιθανότητας» πρέπει να μεταφέρει κάθε λεκτικός δείκτης.
Αυτή η μέθοδος επιτρέπει την άμεση σύγκριση της σημασιολογίας της εμπιστοσύνης μεταξύ ανθρώπων και μηχανών, αποκαλύπτοντας συστηματικές ανισότητες στον τρόπο με τον οποίο εκφράζεται η αυτοπεποίθηση μέσω του λόγου.
