Καθώς η ανάπτυξη της τεχνητής νοημοσύνης επιταχύνεται, τα παραδοσιακά σημεία αναφοράς (benchmarks) που βασίζονται στις ανθρώπινες ικανότητες ή στα τρέχοντα συστήματα AI τείνουν να κορέζονται γρήγορα. Μια νέα ερευνητική εργασία που δημοσιεύθηκε στο arXiv προτείνει μια ριζοσπαστική λύση: τη χρήση της πολυπλοκότητας Levin’s Kt για τη δημιουργία δοκιμασιών που υπερβαίνουν τις δυνατότητες τόσο των ανθρώπων όσο και των σημερινών κορυφαίων μοντέλων.
Η Θεωρητική Βάση της Πολυπλοκότητας
Η προσέγγιση βασίζεται σε προβλήματα επαγωγικής συμπερασματολογίας, όπου η δυσκολία εξαρτάται από την πολυπλοκότητα του υποκείμενου μηχανισμού. Οι ερευνητές χρησιμοποιούν το Levin’s Kt, μια υπολογίσιμη παραλλαγή της πολυπλοκότητας Kolmogorov, η οποία εξισορροπεί την απλούστερη αναπαράσταση ενός μηχανισμού με τον λογάριθμο του χρόνου εκτέλεσής του.
Τα LLM ως Μηχανές Αναφοράς
Σε αντίθεση με παλαιότερα τεστ που βασίζονταν σε μινιμαλιστικές Καθολικές Μηχανές Turing (UTM), η νέα μέθοδος χρησιμοποιεί τα Μεγάλα Γλωσσικά Μοντέλα (LLM) ως μηχανές αναφοράς. Τα LLM θεωρούνται UTM που ενσωματώνουν την ανθρώπινη κουλτούρα ως γνώση, χρησιμοποιώντας τις προτροπές (prompts) ως προγράμματα φυσικής γλώσσας. Αυτό επιτρέπει τη δημιουργία θεμάτων σε κλίμακα bits, τα οποία μπορούν να πιστοποιηθούν ως προς τη δυσκολία τους πριν καν λυθούν από οποιονδήποτε άνθρωπο ή μοντέλο.
Το Παράθυρο της Υπερνοημοσύνης
Η έρευνα περιελάμβανε τη χορήγηση μιας πρώτης σειράς πιστοποιημένων θεμάτων σε δώδεκα διαφορετικά LLM. Τα αποτελέσματα έδειξαν ότι οι καμπύλες απόδοσης των μοντέλων μειώνονται καθώς αυξάνεται η δυσκολία, εισερχόμενες σε μια «περιοχή υπερνοημοσύνης». Αυτό το παράθυρο περιλαμβάνει στοιχεία που η μέθοδος μπορεί να πιστοποιήσει, αλλά παραμένουν πέρα από τις δυνατότητες των σημερινών συστημάτων αιχμής.
