Η μετα-εκπαιδευτική κβαντοποίηση (post-training quantization - PTQ) θεωρείται συχνά μια σημασιολογικά ουδέτερη βελτιστοποίηση για την εγκατάσταση Μεγάλων Γλωσσικών Μοντέλων (LLMs) σε συσκευές άκρου. Ωστόσο, μια νέα μελέτη αναδεικνύει ότι αυτή η διαδικασία δημιουργεί ένα δομικό «κενό επικύρωσης-ανάπτυξης», το οποίο μπορεί να αξιοποιηθεί για την ενεργοποίηση λανθανουσών επιθέσεων τύπου backdoor.
Το Θεωρητικό Πλαίσιο των QBECs
Οι ερευνητές τυποποιούν αυτό το κενό μέσω των Κλάσεων Συμπεριφορικής Ισοδυναμίας Κβαντοποίησης (QBECs). Καθώς η κβαντοποίηση αποτελεί μια απεικόνιση «πολλά-προς-ένα» στον χώρο των παραμέτρων, η πιστοποίηση στην πηγαία ακρίβεια (FP16) δεν εγγυάται τη συμπεριφορική ισοδυναμία στην τελική διαμόρφωση. Αυτό επιτρέπει την εμφύτευση κακόβουλων φορτίων που ικανοποιούν τους ελέγχους στην αρχική ακρίβεια, αλλά ενεργοποιούν στοχευμένες εχθρικές συμπεριφορές μετά από συμπίεση INT8 ή 4-bit.
Πειραματικά Ευρήματα και Επιπτώσεις
Η απειλή αξιολογήθηκε σε δύο σενάρια: την τακτική μηχανική μετάφραση και την πολιτική ανάλυση περιεχομένου, επεκτείνοντας την έρευνα από μοντέλα decoder-only σε πολύγλωσσα μοντέλα encoder-decoder. Τα αποτελέσματα υπογραμμίζουν σημαντικούς κινδύνους ασφαλείας:
- Στα μοντέλα μετάφρασης, η διαφθορά τύπου «φίλου-εχθρού» αυξήθηκε από μηδενικά επίπεδα στην ακρίβεια FP16 σε έως και 85,02% μετά την κβαντοποίηση.
- Ένας ταξινομητής στάσης κατέγραψε ιδεολογική μετατόπιση έως και ΔBias=0.33 μετά τη συμπίεση.
Η ανάλυση μεταφερσιμότητας μεταξύ διαφορετικών μεθόδων κβαντοποίησης δείχνει ότι η επιμονή της επίθεσης ποικίλλει ανάλογα με το σχήμα κβαντοποίησης και την αρχιτεκτονική του μοντέλου, και δεν καθορίζεται μόνο από τον αριθμό των bit. Τα ευρήματα καταδεικνύουν ότι ο έλεγχος στην πηγαία ακρίβεια δεν επαρκεί· η τελική διαμόρφωση ανάπτυξης πρέπει να περιλαμβάνεται στην πιστοποίηση συμπεριφοράς για μια αξιόπιστη τεχνητή νοημοσύνη.
