Η AWS και το Hugging Face παρουσίασαν μια ολοκληρωμένη ροή εργασίας που επιτρέπει στους προγραμματιστές ρομποτικής να καταγράφουν δεδομένα, να εκπαιδεύουν μοντέλα και να τα αναπτύσσουν σε υλικό (hardware) μέσα από έναν ενιαίο κύκλο. Η λύση βασίζεται στο Strands Robots SDK, το LeRobot και τα Hugging Face Storage Buckets, αντιμετωπίζοντας το παραδοσιακό πρόβλημα του υψηλού κόστους μεταφοράς δεδομένων σε συνεχή συστήματα εκπαίδευσης.
Η τεχνολογία πίσω από τον κύκλο δεδομένων
Το Strands Robots είναι ένα SDK ανοιχτού κώδικα (Apache 2.0) από την AWS που παρέχει αφαιρέσεις ρομπότ και προσομοίωση. Ενσωματώνεται με το LeRobot του Hugging Face, επιτρέποντας στους πράκτορες (agents) να καταγράφουν επιδείξεις σε μορφή LeRobotDataset. Το κλειδί για την αποδοτικότητα είναι η χρήση των Storage Buckets, μιας μεταβλητής υπηρεσίας αποθήκευσης αντικειμένων που ανακοινώθηκε τον Μάρτιο του 2026, η οποία χρησιμοποιεί την τεχνολογία Xet για αποδιπλασιασμό (deduplication) σε επίπεδο byte.
- Αποδοτική Αποθήκευση: Με τον αποδιπλασιασμό, οι επόμενες μεταφορές δεδομένων ανεβάζουν μόνο τα τμήματα που άλλαξαν, μειώνοντας τον όγκο μεταφοράς έως και τέσσερις φορές.
- Streaming Εκπαίδευση: Αντί για τη λήψη εκατοντάδων gigabytes, οι GPU μπορούν πλέον να κάνουν streaming των δεδομένων απευθείας από το Hub, ξεκινώντας την εκπαίδευση αμέσως.
- Ενιαίο SDK: Η ίδια λογική κώδικα χρησιμοποιείται τόσο για την προσομοίωση όσο και για φυσικά ρομπότ, όπως το SO-101.
Από την καταγραφή στην ανάπτυξη
Η διαδικασία ξεκινά με την καταγραφή επεισοδίων μέσω ενός φυσικού ή προσομοιωμένου ρομπότ. Τα δεδομένα συγχρονίζονται σε ένα Storage Bucket, όπου η τεχνολογία περιεχομενοκεντρικού τεμαχισμού (content-defined chunking) διασφαλίζει ότι μόνο οι νέες πληροφορίες καταλαμβάνουν χώρο και εύρος ζώνης. Στη συνέχεια, ο εκπαιδευτής (trainer) διαβάζει τα δεδομένα μέσω streaming, εξαλείφοντας τον χρόνο αναμονής για τη λήψη του συνόλου δεδομένων. Τέλος, το παραγόμενο σημείο ελέγχου (checkpoint) αναπτύσσεται πίσω στο ρομπότ με μια απλή αλλαγή παραμέτρου στον κώδικα.
