Η αξιολόγηση των Μεγάλων Γλωσσικών Μοντέλων (LLMs) βασίζεται συχνά σε benchmarks που έχουν σχεδιαστεί για να μετρούν συγκεκριμένα χαρακτηριστικά, όπως η ασφάλεια ή η λογική. Ωστόσο, μια νέα έρευνα παρουσιάζει το BenchMIRT, μια μέθοδο ελέγχου αυτών των benchmarks σε επίπεδο μεμονωμένων ερωτήσεων για να διαπιστωθεί τι πραγματικά καθορίζει τη βαθμολογία ενός μοντέλου.

Η Ψυχομετρία συναντά την AI

Το BenchMIRT βασίζεται στη Θεωρία Απόκρισης Ερωτήματος (IRT), μια ψυχομετρική τεχνική που χρησιμοποιείται για τη μέτρηση ικανοτήτων από τα πρότυπα των απαντήσεων σε ένα τεστ. Αντί να εξετάζει μόνο τα συνολικά σκορ, αναλύει μεμονωμένες εργασίες για να εκτιμήσει ποιες υποκείμενες ικανότητες σχετίζονται περισσότερο με τη σωστή απάντηση. Εφαρμόζοντας πολυδιάστατη IRT σε 100 μοντέλα και 34.000 ερωτήσεις, η ανάλυση εντόπισε ανεξάρτητα δύο κυρίαρχες διαστάσεις: την ασφάλεια και τη γενική λογική.

Σήματα μέσα σε δημοφιλή Benchmarks

Για πολλά benchmarks, το BenchMIRT επιβεβαίωσε την επιδιωκόμενη εστίασή τους. Ωστόσο, αποκάλυψε μια πιο περίπλοκη εικόνα σε ορισμένες αξιολογήσεις:

  • BBQ: Σχεδιασμένο για τον έλεγχο κοινωνικών προκαταλήψεων, το BBQ ευθυγραμμίστηκε πολύ περισσότερο με τη γενική λογική. Ένα χαμηλό σκορ μπορεί να αντανακλά δυσκολία στη λογική επεξεργασία των στοιχείων και όχι μόνο τη συμπεριφορά ασφαλείας.
  • WMDP: Αυτό το benchmark για επικίνδυνες γνώσεις διπλής χρήσης (όπως η βιολογία και η κυβερνοασφάλεια) συσχετίστηκε ισχυρότερα με τη γενική λογική παρά με την ασφάλεια. Η ισχυρότερη λογική συνδέθηκε με χαμηλότερα σκορ, επειδή το benchmark επιβραβεύει την άρνηση παροχής επικίνδυνων πληροφοριών.
  • HarmBench: Ενώ οι τυπικές ερωτήσεις του ευθυγραμμίζονται με την ασφάλεια, οι εργασίες που σχετίζονται με πνευματικά δικαιώματα (όπως η δημιουργία στίχων τραγουδιών) συνδέθηκαν περισσότερο με τη γενική λογική.

Αποδοτικότητα και πιθανοί κίνδυνοι

Το BenchMIRT μπορεί επίσης να εντοπίσει ποιες ερωτήσεις είναι πιο κατατοπιστικές. Οι ερευνητές διαπίστωσαν ότι η διατήρηση μόνο του 10% των πιο αποτελεσματικών ερωτήσεων διατήρησε σχεδόν την ίδια εικόνα για τις ικανότητες των μοντέλων. Αν και αυτό επιτρέπει πιο συνοπτικές αξιολογήσεις, ενέχει έναν κίνδυνο: η ίδια διαφάνεια θα μπορούσε να χρησιμοποιηθεί για την αφαίρεση κρίσιμων ερωτήσεων, δημιουργώντας εξασθενημένα benchmarks που ένα μη ασφαλές μοντέλο θα μπορούσε να περάσει. Παρόλα αυτά, η μέθοδος αποτελεί ένα βήμα προς μια πιο εστιασμένη και ερμηνεύσιμη αξιολόγηση των LLM.