Η ByteDance, η μητρική εταιρεία του TikTok, προχωρά σε μια από τις πιο φιλόδοξες κινήσεις στην ιστορία της τεχνητής νοημοσύνης, εκπαιδεύοντας ένα νέο μοντέλο που θα μπορούσε να φτάσει έως και τα 10 τρισεκατομμύρια παραμέτρους. Αν και το project βρίσκεται σε πρώιμο στάδιο και η τελική κλίμακα δεν έχει οριστικοποιηθεί, η κίνηση αυτή σηματοδοτεί την προσπάθεια του κινεζικού κολοσσού να πλησιάσει την κορυφή της παγκόσμιας αγοράς.
Στόχος η Anthropic και η παγκόσμια πρωτοκαθεδρία
Το νέο μοντέλο της ByteDance βρίσκεται ήδη στη φάση του pre-training, μια διαδικασία που αναμένεται να διαρκέσει από τρεις έως έξι μήνες. Εφόσον επιτευχθεί ο στόχος των 10 τρισεκατομμυρίων παραμέτρων, το σύστημα θα είναι περίπου τρεις φορές μεγαλύτερο από το Kimi K3 της Moonshot, το οποίο θεωρείται σήμερα το μεγαλύτερο κινεζικό μοντέλο.
Η κλίμακα αυτή τοποθετεί την ByteDance στην ίδια κατηγορία με την αμερικανική Anthropic. Παρότι η Anthropic δεν δημοσιοποιεί επίσημα στοιχεία, εκτιμήσεις της αγοράς φέρουν το μοντέλο Mythos 5 στα 8 τρισεκατομμύρια παραμέτρους και το Fable 5 στα 5 τρισεκατομμύρια. Ωστόσο, η εταιρεία αναγνωρίζει ότι ο αριθμός των παραμέτρων δεν είναι ο μόνος παράγοντας επιτυχίας, καθώς η αρχιτεκτονική και η ποιότητα των δεδομένων παραμένουν κρίσιμες.
Η στρατηγική της ομάδας «Seed»
Στην καρδιά αυτής της προσπάθειας βρίσκεται η ομάδα Seed, η οποία αποτελείται από περίπου 2.000 εργαζομένους, συμπεριλαμβανομένων ερευνητών, μηχανικών και μεταφραστών. Επικεφαλής της ομάδας είναι ο Γου Γιονγκχούι, πρώην επιστήμονας της Google DeepMind.
Η ByteDance ακολουθεί μια διαφοροποιημένη στρατηγική, αποφεύγοντας το λεγόμενο «model distillation» — την τεχνική εκπαίδευσης μικρότερων μοντέλων με βάση τη γνώση μεγαλύτερων «δασκάλων». Η διοίκηση της εταιρείας πιστεύει ότι η πραγματική τεχνολογική υπεροχή απαιτεί ανεξάρτητη ανάπτυξη, ακόμα κι αν αυτό συνεπάγεται προσωρινή καθυστέρηση έναντι των ανταγωνιστών.
Επενδύσεις σε υποδομές και custom chips
Για να υποστηρίξει αυτές τις φιλοδοξίες, η ByteDance επενδύει επιθετικά σε:
- Δίκτυα data centers και cloud υπηρεσίες μέσω του Volcano Engine.
- Ανάπτυξη δικών της AI chips για μεγαλύτερο έλεγχο της υπολογιστικής ισχύος.
- Ενίσχυση του Doubao, του consumer AI προϊόντος της που ήδη αριθμεί 324 εκατομμύρια μηνιαίους ενεργούς χρήστες.
Ο ιδρυτής της εταιρείας, Ζανγκ Γιμίνγκ, έχει δώσει σαφή κατεύθυνση για τη δημιουργία δυνατοτήτων που θα είναι «world-leading», επιδιώκοντας η ByteDance να μετατραπεί από έναν όμιλο κοινωνικών δικτύων σε έναν από τους κυρίαρχους παίκτες της παγκόσμιας τεχνητής νοημοσύνης.
