Μια νέα μελέτη που δημοσιεύθηκε στο ArXiv (cs.AI) αμφισβητεί την επικρατούσα άποψη ότι η κλίμακα είναι ο μοναδικός καθοριστικός παράγοντας για την κατανόηση της ανθρώπινης γνωστικής λειτουργίας από την τεχνητή νοημοσύνη. Οι ερευνητές εκπαίδευσαν 14 μοντέλα, με μέγεθος από 135 εκατομμύρια έως 14 δισεκατομμύρια παραμέτρους, χρησιμοποιώντας το σύνολο δεδομένων Psych-101, το οποίο περιλαμβάνει 10,7 εκατομμύρια επιλογές από 160 πειράματα.
Το Ζήτημα της Κλίμακας
Τα αποτελέσματα δείχνουν ότι για δεδομένα εντός κατανομής (in-distribution), το μέγεθος του μοντέλου παίζει ελάχιστο ρόλο. Συγκεκριμένα, μοντέλα με 0,6 έως 1 δισεκατομμύριο παραμέτρους κατάφεραν να εξισωθούν με τις επιδόσεις ενός μοντέλου αναφοράς 70 δισεκατομμυρίων παραμέτρων. Ωστόσο, η εικόνα αλλάζει δραματικά όταν τα μοντέλα καλούνται να γενικεύσουν σε νέες, άγνωστες εργασίες (out-of-distribution). Εκεί, τα μεγαλύτερα μοντέλα παρουσιάζουν σαφές πλεονέκτημα, αναδεικνύοντας μια απότομη κλίση απόδοσης ανάλογα με την κλίμακα.
Αποκωδικοποιώντας τη Λήψη Αποφάσεων
Για να κατανοήσουν πώς τα μοντέλα λαμβάνουν αποφάσεις, οι ερευνητές αφαίρεσαν σταδιακά κανάλια πληροφοριών, όπως οδηγίες εργασίας, ερεθίσματα, ανατροφοδότηση αποτελεσμάτων και ιστορικό επιλογών. Η αφαίρεση του περιεχομένου των ερεθισμάτων και της ανατροφοδότησης κατέστρεψε το 75,7% της μαθημένης πληροφορίας, αποδεικνύοντας ότι το ιστορικό επιλογών από μόνο του δεν επαρκεί για την πρόβλεψη της συμπεριφοράς.
Τα μικρά αυτά μοντέλα, αν και περιορισμένα από τα παραδείγματα εκπαίδευσής τους, δείχνουν σημαντική προοπτική ως εργαλεία εκτίμησης του «ορίου θορύβου» (noise ceiling) σε ψυχολογικά πειράματα, προσφέροντας μια πιο αποδοτική εναλλακτική λύση στα μοντέλα τεράστιας κλίμακας.
