Μια νέα ερευνητική εργασία προτείνει μια καινοτόμο προσέγγιση για την επίλυση ενός από τα πιο επίμονα προβλήματα της τεχνητής νοημοσύνης: τις ψευδαισθήσεις (hallucinations). Η μελέτη εξετάζει την τοπολογία των προτύπων ροής πληροφοριών μέσα στα γραφήματα προσοχής (attention graphs) για να διακρίνει αποτελεσματικά τις εσφαλμένες από τις ορθές αποκρίσεις των μεγάλων γλωσσικών μοντέλων (LLMs).
Η Τοπολογία της Πληροφορίας
Οι ερευνητές ανέλυσαν την καμπυλότητα Forman-Ricci για να εντοπίσουν δομικά πρότυπα που υποδηλώνουν «στενωπούς» (bottlenecks) πληροφοριών στα γραφήματα προσοχής. Η μέθοδος που εισήχθη καταγράφει τόσο τα ημι-τοπικά όσο και τα παγκόσμια χαρακτηριστικά ροής των κεφαλών προσοχής (attention heads) που σχετίζονται με ψευδαισθήσεις.
Σε αντίθεση με άλλες μεθόδους που απαιτούν πολλαπλές αποκρίσεις για επαλήθευση, η συγκεκριμένη προσέγγιση λειτουργεί με ένα μόνο πέρασμα (single-pass), προσφέροντας συνεπείς βελτιώσεις σε σχέση με τα υπάρχοντα μοντέλα αναφοράς σε διάφορες αρχιτεκτονικές LLM.
Αιτίες των Ψευδαισθήσεων
Η ανάλυση αποκάλυψε ότι η ελαττωματική κοινή χρήση πλαισίου (context sharing) μεταξύ των tokens κατά τη διάρκεια της παραγωγής κειμένου συνδέεται στενά με την εμφάνιση ψευδαισθήσεων. Συγκεκριμένα, οι ψευδαισθήσεις χαρακτηρίζονται από:
- Υπερβολική εξάρτηση από την αυτο-προσοχή (self-attention).
- Διάχυτη ανάκτηση πλαισίου από προηγούμενα tokens.
- «Υπερ-συμπίεση» πληροφοριών (information over-squashing), ιδιαίτερα στο τελικό επίπεδο του transformer.
