Τα Μεγάλα Γλωσσικά Μοντέλα (LLMs) συχνά πετούν πολύ κοντά στον ήλιο. Εντυπωσιάζουν με τη δημιουργικότητά τους, αλλά μπορούν να καταρρεύσουν μπροστά στην ψυχρή λογική της διαδοχικής παρακολούθησης κατάστασης (state tracking). Ωστόσο, μια νέα μελέτη γύρω από το benchmark του κρυπτογραφικού κατακερματισμού MD5 δείχνει έναν τρόπο να κατασκευαστούν φτερά που δεν αποτυγχάνουν υπό πίεση.

Η Αρχιτεκτονική της Αλληλουχίας 196 Βημάτων

Η πρόκληση ήταν απλή αλλά αμείλικτη: η υλοποίηση του MD5 από το μηδέν βάσει του RFC 1321. Πρόκειται για μια αλληλουχία 196 βημάτων σε 64 γύρους, όπου κάθε bit πρέπει να παρακολουθείται τέλεια. Αν ένα bit αλλάξει στο βήμα 10, το τελικό αποτέλεσμα στο βήμα 196 είναι άχρηστο. Οι ερευνητές δοκίμασαν το gpt-oss-120b, ένα μοντέλο mixture-of-experts με περίπου 5,5 δις ενεργές παραμέτρους ανά token, και τα αποτελέσματα επέδειξαν σημαντική μηχανική πειθαρχία.

Για να επιτύχει, το μοντέλο έπρεπε να μεταφέρει τέσσερις λέξεις 32-bit (a, b, c, d) εντός του context του από τη μία κλήση στην άλλη. Σε αντίθεση με τα συνηθισμένα benchmarks όπου ένα μοντέλο μπορεί να «παραισθανθεί» μια πιθανή απάντηση, η δοκιμασία MD5 αποκλείει τις συντομεύσεις. Κάθε bit πρέπει να παρακολουθείται και να μετασχηματίζεται σύμφωνα με το ground-truth.

Το Σχέδιο του Κατασκευαστή: Reasoning Retention και Worker Voting

Η επιτυχία επιτεύχθηκε χωρίς αλλαγή των βαρών του μοντέλου, μέσω δύο συγκεκριμένων αρχιτεκτονικών αποφάσεων:

  • Reasoning Retention: Διατηρώντας τη διαδικασία συλλογισμού του μοντέλου εντός του context σε κάθε γύρο, το σύστημα διατηρεί έναν «μίτο» σκέψης που εμποδίζει το context από το να γίνει μια συλλογή ασύνδετων δεδομένων.
  • Worker Voting: Για την εξάλειψη των λαθών στην αριθμητική υπολοίπων (modular arithmetic), οι ερευνητές εφάρμοσαν ένα σύστημα ψηφοφορίας πάνω από έναν «εργάτη» με δυνατότητα σκέψης.

Στην πιο απαιτητική διάταξη, κάθε πρωτογενές εργαλείο αντικαταστάθηκε από ένα δεύτερο LLM. Αυτή η σχέση οδηγού-εργάτη υπολόγισε ολόκληρο τον κατακερματισμό χωρίς εξωτερική αριθμητική βοήθεια στον βρόχο. Αποδεικνύεται ότι όταν η ροή εργασίας δομείται σωστά, αυτά τα μοντέλα μπορούν να φέρουν εις πέρας αυστηρές εργασίες καταγραφής σε εκτεταμένες αλληλουχίες.