Η αξιολόγηση της στρατηγικής σκέψης σε βάθος χρόνου παραμένει μια από τις μεγαλύτερες προκλήσεις για τα μεγάλα γλωσσικά μοντέλα (LLMs). Ενώ τα μοντέλα-πράκτορες (agentic models) επιλύουν πλέον σύνθετες εργασίες, τα περισσότερα υπάρχοντα τεστ αξιολόγησης είναι σύντομα και επεισοδιακά. Μια νέα έρευνα παρουσιάζει το SpireBench, ένα πλαίσιο όπου τα μοντέλα καλούνται να παίξουν ολόκληρο το εμπορικό παιχνίδι deck-builder Slay the Spire (StS), όπου οι πρώιμες αποφάσεις καθορίζουν τη μακροπρόθεσμη επιτυχία.
Η απόσταση από τους ειδικούς
Στην έρευνα εξετάστηκαν 20 διαφορετικά LLMs στο υψηλότερο επίπεδο δυσκολίας του παιχνιδιού. Τα αποτελέσματα έδειξαν ότι τα κορυφαία μοντέλα («frontier models») ξεπερνούν τις βασικές ευρετικές μεθόδους και εξισώνονται με τον μέσο άνθρωπο παίκτη. Ωστόσο, παραμένουν πολύ πίσω από τους ειδικούς (experts). Αυτό το χάσμα διευρύνεται όσο προχωρά η παρτίδα: ενώ τα ισχυρότερα μοντέλα κερδίζουν την πρώτη πράξη (Act 1) εξίσου συχνά με τους ειδικούς, στη συνέχεια η απόδοσή τους καταρρέει.
Το πρόβλημα της διαχείρισης ρίσκου
Η ανάλυση της συμπεριφοράς των μοντέλων αποκάλυψε ότι η διαφορά μεταξύ ισχυρών και αδύναμων μοντέλων έγκειται στον τρόπο που διαχειρίζονται κάθε μεμονωμένη μάχη. Παρόλα αυτά, όλα τα μοντέλα απέτυχαν να εκτιμήσουν σωστά το ρίσκο σε βάθος χρόνου. Αντί να «ξοδέψουν» πόντους ζωής για να γίνουν ισχυρότερα μελλοντικά, επιλέγουν μια υπερβολικά προσεκτική στάση διατήρησης της υγείας τους, γεγονός που τελικά τα οδηγεί στην ήττα.
Γνώση έναντι Συλλογισμού
Ένα ενδιαφέρον εύρημα της μελέτης προέκυψε από τη μετονομασία όλων των όρων του παιχνιδιού. Η δοκιμή αυτή έδειξε ότι μέρος της απόδοσης των μοντέλων βασίζεται στην προϋπάρχουσα γνώση τους για το παιχνίδι από τα δεδομένα εκπαίδευσής τους. Επιπλέον, τα μοντέλα δεν παρουσίασαν βελτίωση μέσω των «αναμνήσεων» που καταγράφουν κατά τη διάρκεια των παιχνιδιών, καθώς αυτές οι σημειώσεις είναι συχνά λανθασμένες ή υπερβολικά επιφυλακτικές.
