Η απάντηση σε χρηματοοικονομικά ερωτήματα που απαιτούν έντονους υπολογισμούς αποτελεί μια διαρκή πρόκληση για τα Μεγάλα Γλωσσικά Μοντέλα (LLMs). Παρά την ικανότητά τους στη φυσική γλώσσα, τα LLMs συχνά παράγουν αριθμητικά λανθασμένες, αν και αληθοφανείς, απαντήσεις όταν καλούνται να διαχειριστούν σύνθετους τύπους και χρονικούς περιορισμούς. Για την αντιμετώπιση αυτού του προβλήματος, ερευνητές παρουσίασαν το CIFQA (Calculation-Intensive Financial Query Answering), ένα πλαίσιο που βασίζεται σε ντετερμινιστικά εργαλεία και τη συνεργασία πολλαπλών πρακτόρων.
Αρχιτεκτονική και Λειτουργία
Η βασική καινοτομία του CIFQA έγκειται στον πλήρη διαχωρισμό της γλωσσικής κατανόησης από την αριθμητική εκτέλεση. Το σύστημα αναθέτει συγκεκριμένους ρόλους σε εξειδικευμένους πράκτορες:
- Ερμηνεία ερωτήματος και δρομολόγηση.
- Εξαγωγή παραμέτρων.
- Σχεδιασμός υπολογισμών.
- Παραγωγή τελικής απόκρισης.
Ενώ οι πράκτορες διαχειρίζονται τη λογική της γλώσσας, οι πραγματικοί υπολογισμοί και η εφαρμογή κανόνων εκτελούνται από ντετερμινιστικά εργαλεία βασισμένα σε Python. Αυτό διασφαλίζει ότι οι χρηματοοικονομικοί τύποι και οι μεταβλητές επιτοκίων εφαρμόζονται με απόλυτη ακρίβεια.
Επιδόσεις και Συμπεράσματα
Σε δοκιμές που αφορούσαν ερωτήματα προθεσμιακών καταθέσεων, το CIFQA πέτυχε ακρίβεια 95,54% σε εργασίες έντονων υπολογισμών και 90,87% συνολικά. Το πιο αξιοσημείωτο εύρημα της μελέτης είναι ότι ένα μοντέλο ανοιχτού κώδικα 17 δισεκατομμυρίων παραμέτρων (17B), λειτουργώντας εντός του πλαισίου CIFQA, ξεπέρασε σημαντικά πολύ μεγαλύτερα μοντέλα «αιχμής» (frontier models). Αυτό υποδηλώνει ότι ο αρχιτεκτονικός σχεδιασμός είναι σημαντικότερος παράγοντας για την αριθμητική αξιοπιστία από ό,τι το μέγεθος του ίδιου του μοντέλου.
