Μια νέα έρευνα που δημοσιεύθηκε στο ArXiv εισάγει το RENDER, ένα πλαίσιο ελέγχου (benchmark control) που αποδεικνύει ότι η μορφή με την οποία ένα σύστημα Τεχνητής Νοημοσύνης «διαβάζει» το ιστορικό μιας συνομιλίας δεν είναι απλώς μια τεχνική λεπτομέρεια, αλλά καθοριστικός παράγοντας για την ευστοχία του.
Το πρόβλημα της «απόδοσης» της μνήμης
Στα συστήματα Μνήμης και RAG (Retrieval-Augmented Generation), οι αξιολογήσεις συχνά παραβλέπουν τον τρόπο με τον οποίο το ιστορικό εισάγεται στο μοντέλο. Το RENDER εξετάζει πώς η ίδια πληροφορία, όταν παρουσιάζεται ως περίληψη, ως τυποποιημένο αρχείο (typed record) ή ως ακατέργαστο απόσπασμα, επηρεάζει το τελικό αποτέλεσμα. Χρησιμοποιώντας μια «κλίμακα πακέτων» πέντε επιπέδων, οι ερευνητές εντόπισαν πότε ακριβώς το περιεχόμενο που περιέχει την απάντηση εισέρχεται στην είσοδο του μοντέλου.
Σημαντικά ευρήματα και πρότυπα
Η μελέτη, η οποία βασίστηκε σε 500 ερωτήσεις του LongMemEval και εννέα διαφορετικά μοντέλα, κατέδειξε τα εξής:
- Τα επιλυμένα πακέτα (resolved packets) υπερτερούν του ακατέργαστου διαλόγου κατά 42,4 έως 72,6 μονάδες.
- Η επιλογή του προτύπου (template) προκαλεί διακυμάνσεις από 24,6 έως 48,8 μονάδες ανά μοντέλο.
- Τα πρότυπα τύπου ChatGPT εμφάνισαν καλύτερες επιδόσεις από τον ακατέργαστο διάλογο σε 7 από τα 9 μοντέλα.
Ένα ιδιαίτερα ενδιαφέρον εύρημα αφορά την ικανότητα κατανόησης διαφορετικών δομών. Τρία μοντέλα που σημείωσαν μηδενική επιτυχία σε επίσημα αρχεία τύπου «ledger», κατάφεραν να απαντήσουν στα ίδια γεγονότα με ποσοστό 45,4% έως 53,4% όταν αυτά παρουσιάστηκαν σε φυσική γλώσσα. Αυτό υποδηλώνει ότι οι αξιολογήσεις μνήμης πρέπει πλέον να αναφέρουν ή να ελέγχουν αυστηρά το «τεχνούργημα» που παρουσιάζεται στον αναγνώστη-μοντέλο.
