Η συνεχιζόμενη εξέλιξη των μεγάλων γλωσσικών μοντέλων (LLMs) βασίζεται όλο και περισσότερο στη συνθετική εμπειρία. Ωστόσο, η αποτελεσματική σύνθεση δεδομένων για διαδραστικούς πράκτορες απαιτεί κάτι περισσότερο από απλές εκτελέσιμες διαδρομές· απαιτεί αλληλεπιδράσεις που προσφέρουν πραγματική μαθησιακή αξία. Μια νέα ερευνητική εργασία παρουσιάζει το EvoSyn, ένα πλαίσιο πολυ-πρακτορικής μάθησης που στοχεύει στην επίλυση του «χάσματος ανατροφοδότησης-απόφασης».
Το πρόβλημα της στατικής σύνθεσης
Οι υπάρχουσες μέθοδοι σύνθεσης δεδομένων συχνά ενσωματώνουν την ανατροφοδότηση από το περιβάλλον ή τις αποτυχίες του εκπαιδευόμενου μοντέλου, αλλά δυσκολεύονται να μεταφράσουν αυτές τις παρατηρήσεις σε συγκεκριμένες αλλαγές για τη μελλοντική παραγωγή δεδομένων. Το EvoSyn αντιμετωπίζει αυτό το ζήτημα οργανώνοντας τη σύνθεση γύρω από μια «αναθεωρήσιμη κατάσταση» (revisable state), η οποία προσδιορίζει ποιοι παράγοντες αλληλεπίδρασης μπορούν να παραχθούν σκόπιμα και πού πρέπει να επικεντρωθούν οι προσπάθειες σύνθεσης.
Η αρχιτεκτονική του EvoSyn
Το σύστημα χρησιμοποιεί εξειδικευμένους ρόλους για τη διαχείριση της διαδικασίας:
- Designer (Σχεδιαστής): Καθορίζει τις κατευθύνσεις της σύνθεσης και κατανέμει τους πόρους.
- Planner (Σχεδιαστής Δράσης): Μετατρέπει τις κατευθύνσεις σε εκτελέσιμες εμπειρίες στο περιβάλλον.
Αυτή η δομή επιτρέπει την προσαρμογή εντός του υπάρχοντος χώρου σύνθεσης για την κάλυψη αδύναμων περιοχών, αλλά και την επέκταση του ίδιου του χώρου σύνθεσης μέσω της ανακάλυψης νέων παραγόντων ελέγχου που δεν είχαν προβλεφθεί αρχικά.
Αποτελέσματα και επιδόσεις
Οι δοκιμές στα benchmarks $ au^2$-Bench και CAR-Bench έδειξαν ότι το EvoSyn βελτιώνει το μέσο ποσοστό επιτυχίας των εργασιών κατά 13,3 μονάδες σε σύγκριση με τις ισχυρότερες υπάρχουσες μεθόδους. Σύμφωνα με την έρευνα, το πλαίσιο παράγει συνθετική εμπειρία υψηλότερης ποιότητας και μεγαλύτερου δομικού εύρους, ανακαλύπτοντας ελέγξιμους παράγοντες που θα παρέμεναν άγνωστοι χωρίς τη χρήση ανατροφοδότησης από τον εκπαιδευόμενο.
