Μια νέα επιστημονική δημοσίευση αναλύει τα συστατικά στοιχεία που επιτρέπουν στους πράκτορες κώδικα (coding agents) να επιλύουν τις προκλήσεις του ARC-AGI-3. Η μελέτη επικεντρώνεται στην αποδόμηση της απόδοσης προηγούμενων πρακτόρων, εξετάζοντας αν αυτή οφείλεται στα εκτελέσιμα μοντέλα κόσμου, στην προγραμματισμένη απλούστευση ή στην επαλήθευση επανάληψης.

Η αρχιτεκτονική των τεσσάρων πρακτόρων

Οι ερευνητές χρησιμοποίησαν τέσσερις κλιμακούμενες παραλλαγές πρακτόρων βασισμένων στο Codex για να απομονώσουν την επίδραση κάθε στοιχείου:

  • Έναν κειμενικό πράκτορα βάσης (textual baseline).
  • Ένα εκτελέσιμο μοντέλο κόσμου με ευέλικτη διεπαφή, χωρίς επαλήθευση επανάληψης.
  • Το ίδιο εκτελέσιμο μοντέλο με την προσθήκη προγραμματισμένης απλούστευσης.
  • Μια πλήρη επεξεργασία επαλήθευσης που απαιτεί ακριβή αναπαραγωγή των καταγεγραμμένων παρατηρήσεων.

Η αξιολόγηση έγινε με τα μοντέλα gpt-5.4 και gpt-5.5 σε διαφορετικά επίπεδα συλλογιστικής προσπάθειας (high και xhigh), ενώ ακολούθησαν δοκιμές με το gpt-5.6-sol σε επίπεδα xhigh και max.

Τα ευρήματα της έρευνας

Το πιο σταθερό αποτέλεσμα της μελέτης είναι ότι κάθε παραλλαγή πράκτορα βελτιώνεται όταν χρησιμοποιείται ισχυρότερο μοντέλο και μεγαλύτερη συλλογιστική προσπάθεια. Παραδόξως, η απαίτηση για ένα μόνιμο εκτελέσιμο παραδοτέο δεν είναι πάντα επωφελής, καθώς ο κειμενικός πράκτορας ξεπέρασε την εκτελέσιμη παραλλαγή ευέλικτης διεπαφής και στις δύο ρυθμίσεις του gpt-5.5.

Η απλούστευση βελτίωσε την απόδοση σε τρεις από τις τέσσερις περιπτώσεις, ενώ η πλήρης επαλήθευση κατέλαβε την πρώτη θέση σε όλες τις δοκιμές, παρά τη σημαντική κατανάλωση πόρων. Στις δοκιμές με το gpt-5.6-sol, ο πράκτορας επαλήθευσης έλυσε κάθε δημόσιο παιχνίδι ARC-AGI-3, επιτυγχάνοντας περίπου 99% RHAE και χρησιμοποιώντας λιγότερες από τις μισές συνολικές ενέργειες σε σύγκριση με τη βάση αναφοράς των ανθρώπων.

Περιορισμοί και συμπεράσματα

Παρά την εντυπωσιακή απόδοση, οι ερευνητές υπογραμμίζουν ότι τα αποτελέσματα αντιπροσωπεύουν έναν κορεσμό του δημόσιου συνόλου παιχνιδιών ARC-AGI-3. Καθώς το μοντέλο κυκλοφόρησε μετά τη δημοσιοποίηση αυτών των παιχνιδιών και η απόδοση σε άγνωστα (held-out) δεδομένα παραμένει μη ελεγμένη, τα αποτελέσματα θα πρέπει να ερμηνεύονται ως κυριαρχία επί του γνωστού συνόλου.