Η παραγωγή μακροσκελών απαντήσεων κατά τη διαδικασία συλλογιστικής (reasoning) έχει καταστήσει την προσωρινή μνήμη key-value (KV cache) ένα κρίσιμο εμπόδιο για την αποδοτική λειτουργία των Μεγάλων Γλωσσικών Μοντέλων (LLMs). Οι υπάρχουσες μέθοδοι συμπίεσης KV συνήθως βασίζονται σε έναν προκαθορισμένο προϋπολογισμό ανά αίτημα, διατηρώντας τη συνολική χωρητικότητα σταθερή κατά τη διάρκεια της αποκωδικοποίησης.
Η Πρόκληση της Μεταβλητής Ζήτησης
Σύμφωνα με την ερευνητική εργασία, οι εργασίες συλλογιστικής παρουσιάζουν σημαντικές διακυμάνσεις στη ζήτηση πόρων. Διαφορετικά αιτήματα απαιτούν διαφορετικές χωρητικότητες KV, ενώ οι ανάγκες προσοχής (attention) ενός μεμονωμένου αιτήματος εξελίσσονται κατά τη διάρκεια της παραγωγής κειμένου. Οι στατικοί προϋπολογισμοί αποτυγχάνουν να προσαρμοστούν σε αυτές τις δυναμικές αλλαγές.
Η Καινοτομία του GrowPage
Το GrowPage προτείνει ένα πλαίσιο προϋπολογισμού KV «κατόπιν ζήτησης», το οποίο αντιμετωπίζει τη χωρητικότητα της μνήμης ως έναν δυναμικό πόρο χρόνου εκτέλεσης. Το σύστημα χρησιμοποιεί δύο βασικούς μηχανισμούς:
- Περιλήψεις Ερωτημάτων Διπλής Χρονικής Κλίμακας: Καταγράφουν τόσο τις πρόσφατες όσο και τις μακροπρόθεσμες συμπεριφορές προσοχής.
- Εκτίμηση Εξέλιξης Ζήτησης: Χρησιμοποιεί τα σχετικά σύνολα εργασίας προσοχής για να προβλέψει τις μελλοντικές ανάγκες σε μνήμη.
Σε κάθε όριο χωρητικότητας, το GrowPage είτε συμπιέζει τις υπάρχουσες καταστάσεις KV εντός της τρέχουσας κατανομής, είτε δεσμεύει μια επιπλέον φυσική σελίδα μνήμης όταν προκύπτει ευρύτερη ζήτηση. Μέσω της ενοποίησης με την αφαίρεση μνήμης PagedAttention, το GrowPage διατηρεί δυνατότητες όπως το continuous batching και το prefix caching, επιτυγχάνοντας ανώτερη ισορροπία μεταξύ απόδοσης και ρυθμοαπόδοσης (throughput).
