Στον κόσμο της τεχνητής νοημοσύνης, η ικανότητα επίλυσης σύνθετων προβλημάτων συχνά προσκρούει σε έναν αμείλικτο περιορισμό: τον χρόνο. Μια νέα ερευνητική εργασία που δημοσιεύθηκε στο arXiv παρουσιάζει το RealtimeBench, ένα πλαίσιο αξιολόγησης που αναδεικνύει το χάσμα μεταξύ της θεωρητικής ευφυΐας και της πρακτικής αποτελεσματικότητας σε περιβάλλοντα που εξελίσσονται συνεχώς.
Η παγίδα της καθυστέρησης
Οι πράκτορες που βασίζονται σε Μεγάλα Γλωσσικά Μοντέλα (LLMs) μπορούν να εκτελούν περίπλοκες εργασίες, αλλά η διαδικασία συλλογιστικής και οι κλήσεις εργαλείων απαιτούν χρόνο. Σε περιβάλλοντα που αλλάζουν ζωντανά, μια σωστή ενέργεια μπορεί να καταστεί άχρηστη αν φτάσει πολύ αργά. Το RealtimeBench περιλαμβάνει 180 εργασίες σε έξι τύπους παιχνιδιών, όπου τα παιχνίδια συνεχίζουν να τρέχουν κατά τη διάρκεια της εξαγωγής συμπερασμάτων (inference) του μοντέλου.
Η ανατροπή στην απόδοση
Τα αποτελέσματα της έρευνας είναι αποκαλυπτικά. Το μοντέλο GPT-6.1-sol υπερέχει του ταχύτερου μοντέλου Jev όταν τα παιχνίδια είναι σε παύση. Ωστόσο, η κατάσταση αντιστρέφεται πλήρως όταν τα παιχνίδια τρέχουν σε πραγματικό χρόνο, με το GPT-6.1-sol να μένει πίσω λόγω της αργής του απόκρισης.
TORSI: Μια λύση δύο ταχυτήτων
Για την αντιμετώπιση αυτού του προβλήματος, οι ερευνητές προτείνουν τη μέθοδο Two-Timescale Offline Recursive Self-Improvement (TORSI). Η προσέγγιση αυτή χρησιμοποιεί έναν «αργό δάσκαλο» που μελετά τις αποτυχίες σε περιβάλλον παύσης και γράφει επαναχρησιμοποιήσιμες οδηγίες για έναν «γρήγορο μαθητή». Ο μαθητής στη συνέχεια ενεργεί κατά τη διάρκεια του παιχνιδιού χωρίς να χρειάζεται να καλέσει τον δάσκαλο.
Η εφαρμογή του TORSI ανέβασε τη μέση βαθμολογία του μοντέλου Jev από το 13,51 στο 24,19 σε μια κλίμακα 0-100, βελτιώνοντας την απόδοση και στους έξι τύπους παιχνιδιών. Αξιοσημείωτο είναι ότι οι οδηγίες αυτές βελτίωσαν τα σκορ και άλλων τριών μοντέλων χωρίς να απαιτηθεί επιπλέον συντονισμός.
