Modelli linguistici fino a 3 volte più veloci: non serve avere una mega GPU

Un gruppo di ricercatori del Weizmann Institute of Science, Intel Labs e d-Matrix ha presentato una nuova serie di algoritmi che promette di migliorare sensibilmente le prestazioni dei grandi modelli linguistici (LLM) durante la generazione di testo.

Il lavoro, portato all'onere delle cronache da The Register, è stato discusso in occasione dell'International Conference on Machine Learning e descritto in un paper intitolato "Accelerating LLM Inference with Lossless Speculative Decoding Algorithms for Heterogeneous Vocabularies". L'obiettivo è ambizioso: ottenere fino a 2,8 volte in più di velocità nell'inferenza senza sacrificare la qualità del risultato.

Alla base del miglioramento c'è una nuova variante della tecnica nota come speculative decoding, che consiste nell'utilizzare un modello linguistico più piccolo (detto "drafter") per anticipare la generazione del modello principale. Se le previsioni del drafter si rivelano corrette, il modello maggiore può risparmiarsi il calcolo di quei token, con un guadagno di tempo notevole. In caso contrario, si ricade sul metodo classico e preciso.

Il limite principale dei sistemi esistenti risiedeva nella necessità che drafter e modello target condividessero lo stesso vocabolario/tokenizer - una condizione spesso non verificata in scenari reali. La nuova proposta risolve esattamente questo problema, introducendo tre algoritmi capaci di operare anche con modelli che utilizzano vocabolari diversi, mantenendo la coerenza del risultato.

I tre algoritmi

String-Level Exact Match (SLEM)

Questo metodo traduce i token del drafter in testo "naturale", che viene poi retokenizzato dal modello principale. Così facendo, si garantisce che la sequenza proposta sia esattamente compatibile con il target. È attualmente la soluzione predefinita nella libreria Hugging Face Transformers e ha mostrato ottimi risultati in compiti come il riassunto o la generazione di codice.

Token-Level Intersection (TLI)

Qui si lavora solo con i token condivisi da entrambi i modelli, ignorando quelli incompatibili. Il vantaggio principale è la semplicità: si evitano errori legati alla differente segmentazione del testo. Anche se in media meno efficace di SLEM, può rappresentare un'alternativa leggera e utile in molti contesti.

String-Level Rejection Sampling (SLRS)

Questo approccio più tecnico mira a migliorare i tassi di accettazione nelle situazioni in cui i vocabolari sono molto diversi. Opera valutando le probabilità a livello di stringa, ma il costo computazionale è più elevato, e al momento la sua applicabilità resta confinata a casi specifici.

Accelerazione senza compromessi

Tutti e tre gli algoritmi sono progettati per essere lossless, ovvero senza alterare la distribuzione statistica dell'output rispetto al modello principale. Non si tratta quindi di compromessi sulla qualità, ma di ottimizzazioni intelligenti nel processo di generazione. In particolare, nei test interni, SLEM ha mostrato accelerazioni fino a 2,8 volte rispetto alla generazione autoregressiva standard.

Disponibilità e futuro

La buona notizia per gli sviluppatori è che l'integrazione con la libreria Hugging Face Transformers rende queste tecniche immediatamente utilizzabili, spesso con una sola riga di codice. Non è più necessario allenare o adattare modelli appositi per beneficiare della speculative decoding, abbattendo di fatto uno dei principali ostacoli alla sua adozione.

Il team di ricerca continua, inoltre, a lavorare su temi correlati, come la riduzione della dimensione dei vocabolari - un aspetto sempre più rilevante con modelli come Llama 4 che arrivano a gestire centinaia di migliaia di token, molti dei quali raramente utilizzati.

In sintesi, questo lavoro rappresenta un passo importante verso un uso più efficiente e flessibile dei modelli linguistici, sia in ambito produttivo che di ricerca. I risvolti sono evidenti: impattare su rapidità ed economicità dell'inferenza è fondamentale per guidare un'adozione diffusa dell'intelligenza artificiale.