Η IBM ανακοίνωσε την κυκλοφορία των μοντέλων Granite-Switch-4.1-8B και -30B, τα οποία ενσωματώνουν πολλαπλές λειτουργίες τεχνητής νοημοσύνης σε ένα ενιαίο endpoint. Η νέα αρχιτεκτονική επιτρέπει την ταυτόχρονη εκτέλεση εργασιών συνομιλίας, λήψης αποφάσεων και μεταγραφής ομιλίας (ASR), διατηρώντας παράλληλα τις απαιτήσεις σε μνήμη VRAM στο επίπεδο ενός απλού βασικού μοντέλου.

Τεχνική Σύνθεση και Απόδοση

Τα μοντέλα Granite Switch 4.1 χρησιμοποιούν την τεχνολογία Activated LoRAs (aLoRAs) για να συνθέσουν διαφορετικές δυνατότητες:

  • Decision aLoRA: Για γενική λήψη αποφάσεων.
  • Guardian aLoRA: Εξειδικευμένο επίπεδο ασφάλειας που υπερέχει έναντι ανταγωνιστών όπως το Jev 1.13 και το Microsoft-Decision-1 σε δοκιμές ασφαλείας.
  • Granite-Speech-5.0-Turbo-CTC: Το ταχύτερο μοντέλο ASR στο OpenASR Leaderboard, ενσωματωμένο για άμεση μεταγραφή.

Λόγω της χρήσης των Switch adapters, η προσωρινή μνήμη (KV cache) του βασικού μοντέλου επαναχρησιμοποιείται για οποιαδήποτε επακόλουθη απόφαση, εξασφαλίζοντας εξαιρετικά υψηλές ταχύτητες εναλλαγής μεταξύ διαφορετικών τύπων αιτημάτων.

Εξειδίκευση και Προσαρμοστικότητα

Η IBM τονίζει ότι τα εξειδικευμένα adapters της βιβλιοθήκης Granite Libraries μπορούν να ξεπεράσουν σε απόδοση τα γενικά μοντέλα λήψης αποφάσεων. Σε δοκιμές ροής εργασιών RAG, το Granite-Switch-4.1-30B ολοκλήρωσε τη διαδικασία σημαντικά ταχύτερα από το Jev-27B. Επιπλέον, ένα ειδικά διαμορφωμένο μοντέλο 3B κατάφερε να πλοηγηθεί στο παιχνίδι Doom με ταχύτητα 60-100 αποφάσεων ανά δευτερόλεπτο, την ώρα που απαντούσε σε ερωτήσεις του χρήστη.

Οι χρήστες έχουν τη δυνατότητα να δημιουργήσουν τα δικά τους μοντέλα Granite Switch, συνδυάζοντας adapters από τις Granite Libraries ή χρησιμοποιώντας το επερχόμενο Adapter SDK για εκπαίδευση προσαρμοσμένων λύσεων.