Η απόκτηση πρόσβασης σε μοντέλα τεχνητής νοημοσύνης μέσω API περιλαμβάνει κάτι περισσότερο από την απλή επιλογή ενός ονόματος· αποτελεί μια χρονικά προσδιορισμένη συμφωνία. Μια πρόσφατη μελέτη υποδεικνύει ότι αυτά τα συμβόλαια περιλαμβάνουν τη συγκεκριμένη έκδοση του μοντέλου, τις ρυθμίσεις προσπάθειας σκέψης (reasoning effort), τους περιορισμούς ασφαλείας και τις δομές τιμολόγησης.
Το Πείραμα με το Sonnet 5
Οι ερευνητές ανέλυσαν αυτό το πλαίσιο χρησιμοποιώντας το μοντέλο Sonnet 5, συγκρίνοντας αιτήματα με ρητές ρυθμίσεις υψηλής προσπάθειας έναντι εκείνων όπου η παράμετρος προσπάθειας παραλείφθηκε. Το πείραμα χρησιμοποίησε 30 προβλήματα από τον μαθηματικό διαγωνισμό AIME 2026, πραγματοποιώντας πέντε κλήσεις API για κάθε θέμα.
Τα δεδομένα ανέδειξαν σημαντικές διαφορές στα οικονομικά αποτελέσματα και τα αποτελέσματα απόδοσης:
- Αυξημένο Κόστος: Το μέσο κόστος ανά κλήση ήταν $0,01031 υψηλότερο όταν ζητήθηκε ρητά υψηλή προσπάθεια.
- Χάσμα Αποδοτικότητας: Το κόστος για κάθε σωστή απάντηση έφτασε τα $0,08665 στο συμβόλαιο υψηλής προσπάθειας, σε σύγκριση με $0,07662 όταν ο όρος προσπάθειας παραλείφθηκε.
- Ευρήματα Ακρίβειας: Αν και παρατηρήθηκε μια μικρή αύξηση στην ακρίβεια κατά 0,0133, αυτή δεν ήταν στατιστικά σημαντική. Ωστόσο, η μελέτη σημειώνει ότι ένα κέρδος έως και 4,67 ποσοστιαίων μονάδων δεν μπορεί να αποκλειστεί εντελώς.
Σημασιολογία Ειδική για Κάθε Μοντέλο
Η έρευνα διαπίστωσε ότι οι επιπτώσεις της παράλειψης της προσπάθειας σκέψης διαφέρουν ανάλογα με το μοντέλο, ακόμη και μεταξύ προϊόντων του ίδιου παρόχου. Όταν η υποκείμενη δομή απόκρισης είναι ασαφής, οι ισχυρισμοί απόδοσης κατηγοριοποιούνται ως «επιπέδου τεκμηρίωσης» (documentation grade). Για τη διατήρηση της επιστημονικής αυστηρότητας, η μεθοδολογία της μελέτης —συμπεριλαμβανομένου του πλάνου ανάλυσης και του στατιστικού σχεδιασμού— οριστικοποιήθηκε πριν από την εξέταση των αποτελεσμάτων. Κατά συνέπεια, τα ευρήματα αφορούν αποκλειστικά το μοντέλο, τις εργασίες και το χρονικό πλαίσιο που αναλύθηκαν.
