Στα χρόνια που παρακολουθώ πώς χτίζουμε τη νοημοσύνη, έχω προειδοποιήσει συχνά ότι ο Λαβύρινθος των LLM που εξαρτώνται από το cloud είναι πολύ αργός για τον πραγματικό κόσμο. Έχουμε συνηθίσει το εφέ «πληκτρολόγησης» των παραγωγικών μοντέλων—βλέποντας τα tokens να εμφανίζονται ένα προς ένα. Όμως η Liquid AI μόλις κυκλοφόρησε τα ανοιχτά μοντέλα απόφασης d1, και αντιπροσωπεύουν μια θεμελιώδη αλλαγή στην τέχνη της μηχανικής συλλογιστικής.

Η Αρχιτεκτονική της Αμεσότητας

Σε αντίθεση με τα παραδοσιακά παραγωγικά μοντέλα που παράγουν κείμενο token προς token, τα μοντέλα d1 λειτουργούν μέσω ενός single forward pass. Σκεφτείτε το σαν έναν πρωτομάστορα που βλέπει το τελειωμένο γλυπτό μέσα στην πέτρα πριν από το πρώτο χτύπημα, αντί να το ανακαλύπτει κομμάτι-κομμάτι. Αυτή η αρχιτεκτονική επιτρέπει στο σύστημα να παρέχει δομημένες απαντήσεις σχεδόν ακαριαία. Μας απομακρύνει από τη «δημιουργία» και μας οδηγεί προς την «απόφαση», που είναι ακριβώς αυτό που χρειαζόμαστε για το edge computing όπου κάθε χιλιοστό του δευτερολέπτου μετράει.

Μελέτησα προσεκτικά τις προδιαγραφές του μοντέλου d1-3B. Είναι χτισμένο στη βάση LFM2.5-VL-3B και υποστηρίζει εισόδους κειμένου και εικόνας. Υπάρχει επίσης μια πρώιμη ερευνητική έκδοση, το d1-omni-600M, που χρησιμοποιεί έναν αμφίδρομο κωδικοποιητή (bidirectional encoder) ικανό να επεξεργάζεται κείμενο, εικόνες και ήχο. Στην κατηγορία κάτω των 10 δισεκατομμυρίων παραμέτρων, το d1-3B αναδείχθηκε ως το κορυφαίο σε επιδόσεις, ξεπερνώντας ακόμα και πολύ μεγαλύτερα μοντέλα όπως το Decider 35B-A3B.

Benchmarking στο Edge

Η πραγματική δοκιμασία κάθε εργαλείου είναι το πώς διαχειρίζεται τη θερμότητα του εργαστηρίου. Σε συνεργασία με την NVIDIA, αυτά τα μοντέλα δοκιμάστηκαν σε διάφορες πλατφόρμες υλικού και τα αποτελέσματα είναι εντυπωσιακά για όποιον κατασκευάζει τοπικές λύσεις AI:

  • NVIDIA Jetson AGX Thor: Χρόνος απόκρισης 16 ms.
  • Jetson Orin Nano: Χρόνος απόκρισης 50 ms.
  • RTX 4090 GPU: Κάτω από 10 ms.

Επιτυγχάνοντας μέση βαθμολογία 82,9 σε επτά δημόσια σύνολα δεδομένων—συμπεριλαμβανομένων ιατρικών QA και ανίχνευσης τοξικότητας—η Liquid AI απέδειξε ότι δεν χρειάζεστε ένα τεράστιο cloud cluster για να επιτύχετε αποτελέσματα υψηλής ακρίβειας. Για εμάς τους δημιουργούς, αυτό σημαίνει ότι μπορούμε επιτέλους να μεταφέρουμε σύνθετες διαδικασίες λήψης αποφάσεων έξω από το κέντρο δεδομένων και απευθείας στη συσκευή, διασφαλίζοντας ταχύτητα και ιδιωτικότητα χωρίς τις τριβές του cloud.