Μία από τις μεγαλύτερες προκλήσεις στην αξιολόγηση των Μεγάλων Γλωσσικών Μοντέλων (LLM) είναι οι εργασίες «μακρού ορίζοντα», όπου κάθε βήμα εξαρτάται από το προηγούμενο. Σε τέτοια σενάρια, η ακρίβεια συχνά καταρρέει καθώς τα σφάλματα συσσωρεύονται, οδηγώντας σε αυτό που οι ερευνητές αποκαλούν καταστροφική φθορά. Ωστόσο, μια νέα μελέτη απομονώνει τη δυσκολία της παρακολούθησης κατάστασης (state tracking) χρησιμοποιώντας μια αυστηρή δοκιμασία: την εκτέλεση του κρυπτογραφικού αλγορίθμου MD5.

Η Μεθοδολογία του MD5

Οι ερευνητές επέλεξαν τον MD5 (RFC 1321) επειδή απαιτεί απόλυτη ακρίβεια σε κάθε bit. Η δοκιμή περιελάμβανε μια ακολουθία 196 εξαρτημένων κλήσεων εργαλείων σε 64 γύρους. Το μοντέλο έπρεπε να μεταφέρει τέσσερις λέξεις των 32-bit (a, b, c, d) στο πλαίσιο (context) του από τη μία κλήση στην άλλη. Αυτή η προσέγγιση εξαλείφει την πιθανότητα «παραισθήσεων» της τελικής απάντησης, καθώς κάθε βήμα ευθυγραμμίζεται με την πραγματική διαδρομή δεδομένων του αλγορίθμου.

Επιδόσεις και Κρίσιμοι Παράγοντες Επιτυχίας

Το μοντέλο gpt-oss-120b, μια αρχιτεκτονική Mixture-of-Experts (MoE) με περίπου 5,5 δισεκατομμύρια ενεργές παραμέτρους ανά διακριτικό (token), κατάφερε να επιστρέψει το σωστό αποτέλεσμα στην πλειονότητα των ολοκληρωμένων δοκιμών. Η έρευνα προσδιόρισε δύο βασικά στοιχεία που καθορίζουν την επιτυχία:

  • Διατήρηση του συλλογισμού: Η διατήρηση του εσωτερικού συλλογισμού του μοντέλου στο πλαίσιο του σε κάθε γύρο.
  • Μηχανισμοί ψηφοφορίας: Η χρήση ψηφοφορίας πάνω σε έναν «εργάτη» με δυνατότητα σκέψης (thinking-enabled worker) για την εξάλειψη σφαλμάτων στην αριθμητική υπολοίπων (modular arithmetic).

Ακόμη και σε ρυθμίσεις όπου κάθε βασικό εργαλείο αντικαταστάθηκε από ένα δεύτερο LLM —χωρίς τη βοήθεια εξωτερικού υπολογιστή για ακριβή αριθμητική— το σύστημα μπόρεσε να ολοκληρώσει τον κατακερματισμό (hash) από το μηδέν, αποδεικνύοντας ότι τα LLM μπορούν να λειτουργήσουν ως αξιόπιστοι διαχειριστές πολύπλοκων καταστάσεων.