Η ανάδυση του agentic AI στα κέντρα δεδομένων φέρνει στο προσκήνιο νέες αρχιτεκτονικές προκλήσεις που παραμένουν σε μεγάλο βαθμό ανεξερεύνητες. Μια νέα έρευνα, η οποία περιλαμβάνει μελέτη παραγωγής στο Microsoft Azure και ανάλυση πλαισίων ανοιχτού κώδικα, καταγράφει για πρώτη φορά πώς αυτά τα «πρακτορικά» συστήματα (agentic systems) επιβαρύνουν τις υπάρχουσες υποδομές.
Ο Κατακερματισμός της Εκτέλεσης
Σύμφωνα με την έρευνα, η εκτέλεση των agentic workflows χαρακτηρίζεται από έντονη ετερογένεια. Κάθε αίτημα επεκτείνεται σε μια αλληλουχία από συμπεράσματα (inferences) μεγάλων γλωσσικών μοντέλων (LLM), κλήσεις εργαλείων και αποφάσεις ενορχήστρωσης. Αυτή η διαδικασία αναγκάζει το σύστημα να διασχίζει επανειλημμένα το όριο μεταξύ CPU και GPU.
Το κύριο εύρημα είναι ότι η CPU βρίσκεται πλέον στο «κρίσιμο μονοπάτι», καθώς εκεί εκτελούνται η ενορχήστρωση και τα εργαλεία. Η ζήτηση πόρων δεν είναι σταθερή, αλλά παρουσιάζει χαμηλά επίπεδα με ξαφνικές κορυφώσεις (spikes), γεγονός που καθιστά τους παραδοσιακούς ομοιόμορφους servers αναποτελεσματικούς.
Η Πρόταση Agora
Για την αντιμετώπιση αυτών των αναντιστοιχιών, οι ερευνητές παρουσίασαν το Agora, ένα πρωτότυπο για commodity servers. Το Agora εφαρμόζει τις εξής στρατηγικές:
- Δυναμική αξιοποίηση των αδρανών πυρήνων CPU για εργασίες υψηλής απόδοσης.
- Προστασία της καθυστέρησης (tail latency) των agents από τις απότομες αυξήσεις φορτίου των εργαλείων.
- Υπερπλήρωση (oversubscription) της μνήμης GPU, τοποθετώντας περισσότερους agents σε κάθε μονάδα.
- Χρήση prefetching για την απόκρυψη της καθυστέρησης κατά την εναλλαγή καταστάσεων των agents.
Τα αποτελέσματα δείχνουν ότι η ομαδοποίηση των πυρήνων ανάλογα με τον ρόλο τους και η χρήση affinity-aware scheduling μπορούν να αποκαταστήσουν την τοπικότητα (locality) και να βελτιώσουν σημαντικά την αξιοποίηση των πόρων του server.
