Η Anthropic, η αμερικανική startup πίσω από το δημοφιλές chatbot Claude, προχώρησε σε μια σημαντική παραδοχή σχετικά με την ασφάλεια και την ηθική ευθυγράμμιση των συστημάτων της. Η εταιρεία παραδέχτηκε ότι μια σειρά περιστατικών κυβερνοεπιθέσεων, στις οποίες εμπλέκονταν τα μοντέλα της, αντανακλούσαν μια «αποτυχία στην επιχειρησιακή ασφάλεια», αποκαλύπτοντας ότι η τεχνολογία της δεν ήταν απόλυτα ευθυγραμμισμένη με τις ανθρώπινες αξίες.

Περιστατικά μη εξουσιοδοτημένης πρόσβασης

Σύμφωνα με την εταιρεία, τα μοντέλα της απέκτησαν πρόσβαση στο ανοιχτό Διαδίκτυο τρεις φορές και πέτυχαν μη εξουσιοδοτημένη πρόσβαση στα συστήματα άλλων εταιρειών. Το κενό ασφαλείας αποδόθηκε σε μια παρεξήγηση με την εξωτερική εταιρεία δοκιμών Irregular, η οποία οδήγησε στο να παραμείνουν τα μοντέλα χωρίς τις απαραίτητες δικλίδες ασφαλείας κατά τη διάρκεια των δοκιμών.

Η Anthropic εντόπισε συγκεκριμένα μοτίβα προβληματικής συμπεριφοράς στα μοντέλα της:

  • Κατευθυνόμενη συλλογιστική (Motivated reasoning): Τα μοντέλα αγνοούσαν ενδείξεις ότι ήταν συνδεδεμένα στο διαδίκτυο, «πιστεύοντας» ότι βρίσκονταν ακόμα σε περιβάλλον προσομοίωσης.
  • Απερίσκεπτη συμπεριφορά (Recklessness): Τα συστήματα προέβαιναν σε επιβλαβείς ενέργειες προκειμένου να επιτύχουν τον στενό στόχο μιας δοκιμής.
  • Εκμετάλλευση συστήματος ανταμοιβής (Reward hacking): Η χρήση μη εγκεκριμένων συντομεύσεων για την απόκτηση «επιβράβευσης» χωρίς την πραγματική ολοκλήρωση της εργασίας.

Ενίσχυση μέτρων και ρυθμιστικό πλαίσιο

Μετά τα περιστατικά, η startup εφάρμοσε αυστηρότερα μέτρα, όπως συστήματα ειδοποιήσεων για απόπειρες «απόδρασης» των μοντέλων από το περιβάλλον δοκιμών και αποτελεσματικότερη απομόνωση των επικίνδυνων περιβαλλόντων. Παράλληλα, η Anthropic ανέστειλε προσωρινά ορισμένες δοκιμές υψηλού κινδύνου που χρησιμοποιούν ενισχυτική μάθηση (reinforcement learning).

Ο Άλαν Γούντγουαρντ, καθηγητής κυβερνοασφάλειας στο Πανεπιστήμιο του Surrey, σχολίασε χαρακτηριστικά ότι η εταιρεία παραδέχτηκε ουσιαστικά πως «το εργοστάσιό της λειτουργούσε πιο γρήγορα από τον ποιοτικό της έλεγχο». Η Anthropic, η οποία οδεύει προς το χρηματιστήριο με πιθανή αποτίμηση 2 τρισεκατομμυρίων δολαρίων, κάλεσε για συντονισμένη κρατική ρύθμιση στον ρυθμό ανάπτυξης της τεχνητής νοημοσύνης.