Μια νέα μελέτη που δημοσιεύθηκε στο ArXiv εξετάζει το κρίσιμο ζήτημα της «βέβαιης κατασκευής» (confident fabrication) στα μεγάλα γλωσσικά μοντέλα (LLMs), χρησιμοποιώντας ως βάση το σώμα κλινικών ομιλιών TAME Pain. Η έρευνα επικεντρώθηκε στην ικανότητα επτά μοντέλων να απέχουν από την παροχή απάντησης όταν τα διαθέσιμα δεδομένα είναι αποδεδειγμένα ανεπαρκή.
Η Μεθοδολογία του «Μηδενικού Σήματος»
Οι ερευνητές χρησιμοποίησαν 5.750 αποσπάσματα λόγου (Harvard Sentences) από συμμετέχοντες που βίωναν πόνο, αλλά διάβαζαν ουδέτερες προτάσεις. Ενώ ο πόνος ήταν ανιχνεύσιμος από τα ακουστικά χαρακτηριστικά της φωνής (AUC 0.622), οι γραπτές μεταγραφές δεν περιείχαν καμία λεξική πληροφορία για το επίπεδο του πόνου (AUC 0.489, σχεδόν τυχαίο). Επειδή η αυτόματη αναγνώριση ομιλίας (ASR) αφαιρεί τις ακουστικές ενδείξεις, οποιαδήποτε εκτίμηση πόνου βασισμένη αποκλειστικά στο κείμενο θεωρείται ατεκμηρίωτη.
Η Επίδραση της Αυθεντίας και η Κατάρρευση της Αξιοπιστίας
Τα αποτελέσματα έδειξαν ότι η συμπεριφορά των μοντέλων εξαρτάται άμεσα από τον τρόπο διατύπωσης της προτροπής (prompting):
- Υπό συνθήκες «συνεργατικής» προτροπής, τα περισσότερα μοντέλα επέλεξαν ορθά την αποχή.
- Υπό συνθήκες «προτροπής αυθεντίας», τα ποσοστά αποχής μειώθηκαν δραστικά, κυμαινόμενα από 0,18 έως 1,00 ανάλογα με τη διατύπωση.
- Όταν εξαναγκάστηκαν να απαντήσουν, τα μοντέλα Gemini 2.5 Flash και Llama 3.1 8B παρουσίασαν τα υψηλότερα ποσοστά βέβαιης κατασκευής (0,53 και 0,76 αντίστοιχα).
Αξιοσημείωτο είναι ότι δεν παρατηρήθηκαν σημαντικές δημογραφικές επιδράσεις στις εξαναγκασμένες απαντήσεις (p ≥ 0.20), υποδεικνύοντας ότι το πρόβλημα έγκειται στην ίδια τη φύση της παραγωγής απαντήσεων και όχι σε προκαταλήψεις έναντι συγκεκριμένων ομάδων.
