Ως κατασκευαστής, πάντα πίστευα ότι η δύναμη μιας δομής δεν βρίσκεται μόνο στα υλικά, αλλά στον τρόπο με τον οποίο συνδέονται. Στον κόσμο των Μεγάλων Γλωσσικών Μοντέλων, συχνά βλέπουμε μια κατακερματισμένη προσέγγιση στην εκπαίδευση: πρώτα γίνεται η απόσταξη (distillation) και μετά η ενίσχυση (reinforcement). Όμως η νέα οικογένεια μοντέλων Pistis ακολουθεί έναν διαφορετικό δρόμο, εισάγοντας ένα πλαίσιο που θυμίζει την τέχνη ενός έμπειρου τεχνίτη—σφιχτό, ολοκληρωμένο και σκόπιμα σχεδιασμένο.

Σπάζοντας τα Στεγανά με το IDRL

Η βασική καινοτομία εδώ είναι το παράδειγμα Interleaved Distillation and Reinforcement Learning (IDRL). Παραδοσιακά, οι προγραμματιστές βελτιστοποιούν αυτούς τους δύο στόχους μεμονωμένα. Στην εμπειρία μου, αυτό μπορεί να οδηγήσει σε αστάθεια, ειδικά όταν έχουμε να κάνουμε με μακροπρόθεσμες πράκτορικές (agentic) τροχιές. Το Pistis το επιλύει αυτό εναλλάσσοντας την on-policy απόσταξη και την ενισχυτική μάθηση μέσα σε έναν ενιαίο βρόχο εκπαίδευσης.

Αυτή η προσέγγιση διευκολύνει την αποτελεσματικότερη μεταφορά γνώσης. Βασισμένοι στις αρχιτεκτονικές Qwen3.5 και Qwen3.6 σε κλίμακες 9B και 27B, οι ερευνητές δημιούργησαν δύο εξειδικευμένες παραλλαγές:

  • Pistis-Thinking: Βελτιστοποιημένο για βαθιά πολυτροπική συλλογιστική.
  • Pistis-Agentic: Σχεδιασμένο για σύνθετο σχεδιασμό και χρήση εργαλείων, ιδιαίτερα στην πολυτροπική αναζήτηση.

Αποδοτικότητα μέσω του Auto-Harnessing

Αυτό που πραγματικά μου τράβηξε την προσοχή ως μηχανικό δεν ήταν μόνο η κλιμάκωση των παραμέτρων, αλλά ο τρόπος με τον οποίο διαχειρίστηκαν τη βελτιστοποίηση της εξαγωγής συμπερασμάτων (inference). Εισήγαγαν το Pistis-Auto-Harnessing (PAH), μια μέθοδο σε επίπεδο συστήματος που βελτιώνει επαναληπτικά το harness συμπερασμάτων του πράκτορα.

Η ομορφιά του PAH έγκειται στον πραγματισμό του: βελτιώνει την απόδοση χωρίς να απαιτεί ενημερώσεις στις παραμέτρους του μοντέλου ή αύξηση του προϋπολογισμού αλληλεπίδρασης. Στο εργαστήριο, αυτό το ονομάζουμε «ακόνισμα του εργαλείου χωρίς να λεπτύνουμε τη λάμα». Αντιπροσωπεύει ένα σημαντικό κέρδος στην αποδοτικότητα της υλοποίησης, επιτρέποντας στα μοντέλα να αποδίδουν καλύτερα παραμένοντας ελαφριά. Για όσους από εμάς κατασκευάζουμε εφαρμογές στον πραγματικό κόσμο, αυτή η εστίαση στη σταθερότητα είναι ακριβώς το είδος της δεξιοτεχνίας που θέλουμε να βλέπουμε.