Ως κατασκευαστής, πάντα υποστήριζα ότι η δύναμη μιας δομής δεν βρίσκεται στο ύψος της, αλλά στα θεμέλιά της. Στον κόσμο των Μεγάλων Γλωσσικών Μοντέλων (LLMs), βιώνουμε μια συναρπαστική αρχιτεκτονική πάλη. Ενώ κατασκευάζουμε τεράστιες μηχανές όπως ο υπερυπολογιστής Δαίδαλος —ένα σύστημα που κατατάσσεται στην 31η θέση παγκοσμίως με 85,69 petaflops— το λογισμικό που τρέχει σε αυτές συχνά συμπεριφέρεται σαν μια ταχύτερη μηχανή σε μια άμαξα με άλογα.
Ο Λαβύρινθος του Στρατηγικού Συλλογισμού
Πρόσφατα ανέλυσα το SpireBench, ένα νέο πλαίσιο αξιολόγησης που χρησιμοποιεί το παιχνίδι Slay the Spire για να δοκιμάσει τη στρατηγική σκέψη μεγάλου ορίζοντα. Σε αντίθεση με τα τυπικά σύντομα benchmarks, αυτό απαιτεί από τα μοντέλα να λαμβάνουν αποφάσεις στην αρχή του παιχνιδιού που καθορίζουν την επιβίωση ώρες αργότερα. Τα αποτελέσματα είναι μια υπενθύμιση του χάσματος μεταξύ «τακτικής επάρκειας» και «στρατηγικής σοφίας».
Στην αξιολόγησή μου, τα κορυφαία μοντέλα (που πλέον μετονομάζονται σε «Υπερ-Νοημοσύνη» από τους ηγέτες του κλάδου) μπορούν να φτάσουν τον μέσο άνθρωπο παίκτη και να χειριστούν μεμονωμένες μάχες με ακρίβεια. Ωστόσο, αποτυγχάνουν παταγωδώς στο «μακροπρόθεσμο παιχνίδι». Τους λείπει η ικανότητα να ξοδεύουν στρατηγικά πόρους —όπως η υγεία— για να αποκτήσουν μακροπρόθεσμη ισχύ. Αντίθετα, παραμένουν υπερβολικά προσεκτικά, διατηρώντας την άμεση υγεία εις βάρος της τελικής τους βιωσιμότητας.
Κάτω από το Καπό: Αποτυχίες Μνήμης και Συλλογισμού
Το μηχανικό σφάλμα εδώ είναι διπλό. Πρώτον, οι ερευνητές εφάρμοσαν μια πλήρη μετονομασία των όρων του παιχνιδιού για να δουν αν τα μοντέλα σκέφτονταν πραγματικά ή απλώς ανακαλούσαν δεδομένα εκπαίδευσης. Η απόδοση έπεσε, αποδεικνύοντας ότι ένα σημαντικό μέρος της «νοημοσύνης» τους είναι στην πραγματικότητα αποθηκευμένη γνώση. Δεύτερον, τα συστήματα μνήμης απέτυχαν· οι σημειώσεις που κρατούσαν τα μοντέλα ήταν συχνά ανακριβείς και εμπόδιζαν την απόδοση.
// Το Παράδοξο της Καινοτομίας στην Πράξη
If (Model_Tactics == High && Model_Strategy == Low) {
Return "Ταχύτερη μηχανή σε μια άμαξα με άλογα";
}Έχουμε το υλικό —το PHAROS AI Factory και η υποδομή Δαίδαλος στο Λαύριο είναι παγκόσμιας κλάσης. Αλλά όπως δείχνουν τα αποτελέσματα του SpireBench, ακόμα μαθαίνουμε την τέχνη της οικοδόμησης μοντέλων που μπορούν πραγματικά να λογικευτούν μέσα σε έναν λαβύρινθο μακροπρόθεσμων συνεπειών χωρίς να βασίζονται σε απομνημονευμένα μοτίβα.
