DiffusionGemma sfida gli LLM tradizionali: generazione parallela e fino a 4 volte più veloce su GPU

Google DeepMind ha annunciato DiffusionGemma, un nuovo modello sperimentale open source che esplora un approccio alternativo alla generazione del testo rispetto agli attuali Large Language Model (LLM) autoregressivi. Distribuito con licenza Apache 2.0, il progetto nasce con l'obiettivo di ridurre drasticamente la latenza nell'inferenza locale, sfruttando una tecnica derivata dai modelli di diffusione già ampiamente utilizzati nella generazione di immagini.

La caratteristica distintiva di DiffusionGemma è l'abbandono della tradizionale generazione sequenziale token per token. Invece di produrre una parola alla volta seguendo un ordine strettamente lineare, il modello genera e perfeziona interi blocchi di testo in parallelo, elaborando fino a 256 token per ogni passaggio. Secondo Google DeepMind, questo approccio permette di ottenere prestazioni fino a quattro volte superiori rispetto a modelli autoregressivi equivalenti quando vengono eseguiti in scenari a bassa concorrenza, come quelli tipici dell'utilizzo locale da parte di un singolo utente.

DiffusionGemma è costruito sulla base dell'architettura Gemma 4 e utilizza una configurazione Mixture of Experts (MoE) da 26 miliardi di parametri complessivi. Durante l'inferenza, tuttavia, vengono attivati soltanto 3,8 miliardi di parametri, riducendo significativamente il carico computazionale. Il modello integra, inoltre, una nuova "diffusion head" progettata specificamente per massimizzare la velocità di generazione.

Clicca per ingrandire

L'idea alla base del progetto è simile a quella impiegata dai generatori di immagini basati sulla diffusione: il sistema parte da una sequenza composta da token casuali e la raffina progressivamente attraverso passaggi successivi fino a convergere verso un testo coerente. Questo processo consente al modello di considerare simultaneamente l'intero blocco di testo durante la generazione, introducendo capacità difficili da ottenere con i modelli autoregressivi tradizionali.

Tra i vantaggi evidenziati da Google DeepMind figura l'adozione dell'attenzione bidirezionale. Poiché tutti i token del blocco possono essere analizzati contemporaneamente, ogni elemento dispone del contesto completo della frase o del paragrafo in costruzione. Ciò può risultare particolarmente utile in attività come l'editing in linea, il completamento di codice, l'infilling, la generazione di sequenze biologiche e la costruzione di strutture matematiche complesse. Il modello è inoltre in grado di correggere iterativamente il proprio output durante la generazione, valutando il testo nella sua interezza anziché limitarsi al contesto precedente.

Le prestazioni dichiarate mostrano risultati particolarmente interessanti sulle GPU moderne. Google indica velocità superiori a 1.000 token al secondo su una singola NVIDIA H100 e oltre 700 token al secondo su una GeForce RTX 5090. NVIDIA, che ha collaborato all'ottimizzazione del software, fornisce ulteriori dati relativi alle proprie piattaforme: circa 150 token al secondo su DGX Spark e fino a 2.000 token al secondo su DGX Station. Secondo l'azienda, il motivo risiede nella natura stessa del carico di lavoro. Mentre gli LLM tradizionali sono spesso limitati dalla banda di memoria, il paradigma di diffusione trasforma gran parte dell'elaborazione in un problema maggiormente orientato al calcolo parallelo, un ambito in cui le GPU e i Tensor Core risultano particolarmente efficaci.

Sul fronte hardware, DiffusionGemma è stato progettato per funzionare anche su sistemi consumer di fascia alta. Una versione quantizzata del modello può essere eseguita entro il limite di circa 18 GB di VRAM, rendendolo compatibile con schede video come GeForce RTX 4090 e RTX 5090. Sono inoltre previste ottimizzazioni per le architetture Hopper e Blackwell, incluso il supporto al formato NVFP4 a 4 bit, che punta a incrementare il throughput mantenendo una precisione vicina a quella delle configurazioni tradizionali.

Clicca per ingrandire

Google DeepMind sottolinea comunque che DiffusionGemma rimane un progetto sperimentale. La priorità assegnata alla velocità e alla generazione parallela comporta compromessi in termini di qualità dell'output rispetto ai modelli Gemma 4 standard, che restano la soluzione consigliata per applicazioni produttive dove la qualità del testo rappresenta il requisito principale.

L'azienda vede però un potenziale significativo per sviluppatori e ricercatori interessati a workflow interattivi a bassa latenza, chatbot locali, assistenti AI eseguiti direttamente sul dispositivo e applicazioni agentiche che richiedono risposte rapide. A supportare questa visione contribuisce l'integrazione immediata con strumenti diffusi nell'ecosistema open source, tra cui Hugging Face Transformers, vLLM, Unsloth e NVIDIA NeMo, mentre il supporto ufficiale a llama.cpp è attualmente in fase di sviluppo.