Η κυκλοφορία του νέου μοντέλου GPT-6 Astra της OpenAI συνοδεύτηκε από μια ασυνήθιστη σειρά αλλαγών στα δεδομένα επιδόσεων που δημοσιεύθηκαν στο επίσημο ιστολόγιο της εταιρείας. Από το απόγευμα της 3ης Σεπτεμβρίου, οι αριθμοί που αφορούν τις δυνατότητες του μοντέλου παρουσίασαν διακυμάνσεις, με ορισμένες αλλαγές να ευνοούν το Astra έναντι του ανταγωνισμού, ιδιαίτερα της Anthropic.
Μια προβληματική πρεμιέρα
Η δημοσίευση της ανακοίνωσης καθυστέρησε σχεδόν δύο ώρες λόγω τεχνικών προβλημάτων, τα οποία ο Sam Altman χαρακτήρισε ως «μικρό εμπόδιο». Ωστόσο, η OpenAI παραδέχτηκε αργότερα ότι απέσυρε προσωρινά την ανάρτηση για λόγους που δεν αποκάλυψε, αν και αρνήθηκε ότι σχετίζονταν με τα δεδομένα των benchmarks. Με την επαναδημοσίευση, τα νούμερα είχαν ήδη αρχίσει να αλλάζουν.
Διακυμάνσεις στα ποσοστά παραισθήσεων και μαθηματικών
Μία από τις πιο αξιοσημείωτες αλλαγές αφορούσε το ποσοστό «παραισθήσεων» (hallucinations) του Astra. Ενώ αρχικά αναφέρθηκε στο 4,2%, το ποσοστό μειώθηκε στο μισό (2%) σε μεταγενέστερη έκδοση της σελίδας, για να επιστρέψει τελικά στο αρχικό 4,2%. Παρόμοιες αλλαγές παρατηρήθηκαν και στις επιδόσεις στα μαθηματικά (FrontierMath), όπου τα σκορ του ανταγωνιστικού μοντέλου Fable 5.1 της Anthropic μειώθηκαν προσωρινά από το 87,8% στο 78%, πριν σταθεροποιηθούν στο 83%.
Το φαινόμενο του «Benchmaxxing»
Η πρακτική της συνεχούς επανεκτέλεσης δοκιμών υπό ιδανικές συνθήκες για την επίτευξη του μέγιστου δυνατού σκορ, γνωστή και ως «benchmaxxing», βρίσκεται στο επίκεντρο της κριτικής. Ερευνητές από το Πανεπιστήμιο Stanford επεσήμαναν ότι η τεχνική τεκμηρίωση (system card) του Astra στερείται λεπτομερειών για το πώς διεξήχθησαν ορισμένες εσωτερικές αξιολογήσεις.
Η OpenAI υπεραμύνθηκε των αλλαγών, δηλώνοντας ότι οι αξιολογήσεις εμπεριέχουν «θόρυβο» και ότι οι διορθώσεις έγιναν για να διασφαλιστεί η καλύτερη δυνατή εκτίμηση της απόδοσης. Ωστόσο, η έλλειψη σταθερότητας στις μετρήσεις περιπλέκει την εικόνα για τους επενδυτές και τους πελάτες, ενόψει μάλιστα μιας πιθανής αρχικής δημόσιας προσφοράς (IPO) το 2027.
