Καθώς οι οργανισμοί ενσωματώνουν ολοένα και περισσότερο τα Μεγάλα Γλωσσικά Μοντέλα (LLMs) σε διαδικασίες λήψης αποφάσεων που αφορούν τη συμμόρφωση, τον κίνδυνο και τις λειτουργικές πολιτικές, η ανάγκη για διαφάνεια και έλεγχο γίνεται επιτακτική. Μια νέα ερευνητική εργασία παρουσιάζει το Policy-as-Skill (PaS), ένα αρθρωτό περιβάλλον εκτέλεσης (runtime) που έχει σχεδιαστεί για να παρέχει εκτελέσιμες και ελεγχόμενες δυνατότητες πολιτικής.
Αρχιτεκτονική και Λειτουργικότητα
Το PaS δεν αντιμετωπίζει την πολιτική ως απλή προτροπή (prompt), αλλά ως μια συσκευασμένη δεξιότητα που περιλαμβάνει επικύρωση αποδεικτικών στοιχείων, δρομολόγηση αναθεωρήσεων και έλεγχο εκδόσεων. Σύμφωνα με τη μελέτη, το σύστημα επιτρέπει τον προσδιορισμό του τρόπου με τον οποίο το LLM αλληλεπιδρά με τους κανόνες του οργανισμού, διασφαλίζοντας ότι κάθε απόφαση συνοδεύεται από την απαραίτητη τεκμηρίωση.
Επιδόσεις και Αποτελέσματα
Η αξιολόγηση πραγματοποιήθηκε με τη χρήση 13 διαφορετικών μεθόδων και τη χρήση του μοντέλου Gemma4 ως βάση σε 600 εργασίες ανάπτυξης. Τα αποτελέσματα για την έκδοση «PaS+Audit» έδειξαν:
- Ακρίβεια αναφοράς πολιτικής (policy-reference recall) στο 0,984.
- Απόλυτη ακρίβεια παραπομπών (citation precision) 1,000.
- Πλήρη πληρότητα ελέγχου (audit completeness) 1,000.
- Ακρίβεια 53,8%, η οποία αυξήθηκε στο 61,2% με τη χρήση ντετερμινιστικού ελέγχου.
Το πλαίσιο PaS υπερτερεί των παραδοσιακών προσεγγίσεων LLM+RAG (Retrieval-Augmented Generation) στους περισσότερους δείκτες διακυβέρνησης και αναθεώρησης, αν και η αποτελεσματικότητα του ντετερμινιστικού ελέγχου αποδείχθηκε ότι εξαρτάται σε μεγάλο βαθμό από τη φύση της εκάστοτε εργασίας.
