Nemotron 3 Super: modello AI open da 120 miliardi di parametri di NVIDIA per sistemi agentici

NVIDIA ha annunciato il rilascio di Nemotron 3 Super, nuovo modello linguistico open progettato per l'esecuzione di sistemi di AI agentica complessi. La soluzione introduce un'architettura da 120 miliardi di parametri totali, ma con soli 12 miliardi di parametri attivi durante l'inferenza, un approccio pensato per migliorare efficienza computazionale e costi operativi nelle applicazioni multi-agente.

Il modello è stato progettato per affrontare alcune delle principali limitazioni che emergono quando i modelli linguistici vengono utilizzati come motore decisionale in pipeline autonome. In questi scenari, infatti, l'esecuzione di workflow complessi comporta un forte aumento del volume di dati elaborati: secondo NVIDIA, i sistemi multi-agente possono generare fino a 15 volte più token rispetto alle normali conversazioni.

Questo fenomeno, definito "context explosion", deriva dalla necessità di reinviare continuamente lo storico delle interazioni, le risposte degli strumenti utilizzati e i passaggi intermedi di ragionamento. Con il tempo ciò può portare a un disallineamento rispetto all'obiettivo iniziale (goal drift) e a un aumento significativo dei costi computazionali.

Per mitigare questi problemi, Nemotron 3 Super introduce una finestra di contesto nativa da 1 milione di token, pensata per consentire agli agenti di mantenere in memoria l'intero stato di un workflow complesso. In teoria questo permette al modello di analizzare simultaneamente grandi quantità di dati, come interi codebase software o migliaia di pagine di documentazione.

L'obiettivo è ridurre la necessità di rielaborare continuamente le informazioni durante conversazioni o processi di lunga durata, migliorando al contempo l'allineamento del modello con il compito iniziale.

Uno degli elementi tecnici distintivi di Nemotron 3 Super è l'architettura ibrida Mamba-Transformer combinata con un sistema Mixture-of-Experts (MoE).

Un'altra caratteristica chiave è la multi-token prediction (MTP). A differenza dei modelli tradizionali che prevedono un token alla volta, Nemotron 3 Super genera simultaneamente più token futuri in un singolo passaggio.

Questo approccio garantisce una maggiore capacità di modellare sequenze logiche lunghe durante l'addestramento e  un'inferenza più rapida grazie a una forma di speculative decoding integrato. Secondo NVIDIA, questa tecnica può portare a fino a tre volte la velocità di generazione nelle attività strutturate come codice o chiamate di strumenti.

Nemotron 3 Super è stato addestrato utilizzando NVFP4, formato floating-point a 4 bit progettato per l'architettura GPU Blackwell. Diversamente da molti modelli quantizzati dopo l'addestramento, in questo caso la riduzione di precisione è stata utilizzata direttamente durante il training.

Clicca per ingrandire

L'approccio consente di ridurre significativamente il fabbisogno di memoria mantenendo la stabilità numerica del modello. NVIDIA sostiene che l'inferenza possa risultare fino a quattro volte più veloce rispetto al formato FP8 utilizzato su GPU Hopper, mantenendo livelli di accuratezza comparabili.

NVIDIA distribuisce Nemotron 3 Super con pesi open, dataset e pipeline di addestramento pubblicate. Il modello può essere eseguito su workstation, datacenter o cloud ed è disponibile tramite piattaforme come Hugging Face, OpenRouter e build.nvidia.com.