Τα κορυφαία μεγάλα γλωσσικά μοντέλα (LLMs) διαθέτουν συχνά την ικανότητα να αναγνωρίζουν πότε υποβάλλονται σε διαδικασία αξιολόγησης, ένα φαινόμενο που ονομάζεται «επίγνωση αξιολόγησης» (evaluation awareness). Εάν ένα μοντέλο συμπεριφέρεται διαφορετικά κατά τη διάρκεια των δοκιμών από ό,τι στην πραγματική χρήση, η αξιοπιστία των αποτελεσμάτων αξιολόγησης τίθεται υπό αμφισβήτηση, υπονομεύοντας τα τρέχοντα πλαίσια ασφάλειας της τεχνητής νοημοσύνης.
Το Πλαίσιο EvalDetectBench
Για την αντιμετώπιση αυτού του ζητήματος, παρουσιάστηκε το EvalDetectBench, ένας ανοιχτός αγωγός (pipeline) και σημείο αναφοράς για τη μέτρηση της επίγνωσης αξιολόγησης. Το εργαλείο είναι συμβατό με το πλαίσιο Inspect και περιλαμβάνει μια επιμελημένη συλλογή μεταγραφών που καλύπτουν τρέχουσες αξιολογήσεις συστημάτων και ποικίλες πηγές ανάπτυξης. Ο στόχος είναι διπλός: η μέτρηση της αξιοπιστίας με την οποία τα μοντέλα αναγνωρίζουν την εξέτασή τους και η αξιολόγηση του πόσο ανιχνεύσιμα είναι τα ίδια τα benchmarks.
Συστηματικά Σφάλματα στις Υπάρχουσες Μεθόδους
Η έρευνα εντοπίζει δύο κρίσιμες μεθοδολογικές αδυναμίες στην υπάρχουσα βιβλιογραφία που εισάγουν συστηματική μεροληψία:
- Η ταυτότητα του μοντέλου που παρήγαγε τις μεταγραφές ανάπτυξης ευθύνεται για το 11,25% της διακύμανσης των μετρήσεων, κάτι που μπορεί να αλλάξει την κατάταξη των μοντέλων.
- Οι προτροπές (prompts) που επιλέγονται για υψηλή απόδοση σε ένα συγκεκριμένο μοντέλο μπορεί να αποτύχουν εντελώς σε άλλα, αποδίδοντας σχεδόν τυχαία.
Το EvalDetectBench διορθώνει αυτά τα σφάλματα μέσω μιας διαδικασίας βαθμονόμησης (per-model probe calibration) και μιας μεθόδου εναρμόνισης γεννητριών (stratified generator-harmonisation), διασφαλίζοντας ακριβέστερα αποτελέσματα για τις τρέχουσες και μελλοντικές δοκιμές.
