Il segreto di Blackwell non è l'hardware: NVIDIA svela dove nasce il vero vantaggio nell'AI

Con la progressiva adozione dell'IA da parte delle aziende, NVIDIA ritiene che il parametro più importante non sia più rappresentato esclusivamente dalla potenza teorica delle GPU, bensì dall'efficienza economica dell'inferenza. L'indicatore di riferimento diventa quindi il costo per token, ovvero il numero di token elaborati per dollaro/euro investito, per watt consumato e nel rispetto dei requisiti di latenza richiesti dalle applicazioni.

Secondo NVIDIA, il risultato dipende sempre più dal software che affianca l'hardware. L'azienda sostiene che il proprio stack completo di inferenza, sviluppato insieme alle GPU, CPU, reti NVLink e sistemi Blackwell, abbia già permesso di ridurre fino a cinque volte il costo per token del modello DeepSeek V4 nell'arco di circa un mese grazie a continui aggiornamenti software, senza modifiche dell'infrastruttura fisica.

Clicca per ingrandire

NVIDIA evidenzia come le moderne applicazioni di AI agentica siano molto diverse dai tradizionali servizi web. Se questi ultimi eseguivano richieste relativamente prevedibili verso database e servizi backend, i nuovi agenti AI possono orchestrare contemporaneamente modelli linguistici, strumenti esterni, memoria, componenti di sicurezza e numerosi sottoprocessi distribuiti.

Una singola richiesta può così trasformarsi in centinaia di sotto-attività eseguite su GPU, CPU, DPU e sistemi di storage differenti. In questo scenario, sostiene NVIDIA, è il software a determinare quanto efficacemente vengano utilizzate le risorse disponibili e, di conseguenza, il costo finale dell'inferenza.

L'azienda suddivide il proprio stack software in tre livelli principali:

• gestione operativa della produzione, con orchestrazione, autoscaling e allocazione della memoria
• accelerazione delle applicazioni tramite ottimizzazioni runtime, fusione dei kernel e sovrapposizione tra calcolo e comunicazione
• accesso diretto alle funzionalità hardware delle GPU, della rete e della memoria senza richiedere agli sviluppatori una gestione a basso livello

L'obiettivo è coordinare tutti questi elementi affinché i miglioramenti ottenuti in ciascun livello si sommino anziché rimanere isolati.

Clicca per ingrandire

NVIDIA sostiene che diverse tecnologie introdotte negli ultimi mesi producano benefici significativi già singolarmente, ma offrano il massimo vantaggio quando vengono utilizzate insieme. Tra queste figurano il disaggregated serving, il Large Expert Parallelism sfruttando l'interconnessione NVLink, la precisione numerica NVFP4 e la Multi-Token Prediction (MTP), tecnica che consente di prevedere più token contemporaneamente.

La combinazione di queste ottimizzazioni, secondo i benchmark presentati dall'azienda, può incrementare il throughput fino a venti volte rispetto alla configurazione di base, purché l'intero stack software sia in grado di coordinare correttamente runtime, librerie di comunicazione, kernel e gestione delle risorse.

Le dichiarazioni di NVIDIA sono supportate da esempi forniti da aziende che utilizzano Blackwell in produzione. Baseten, per esempio, dichiara di aver ottenuto fino al 50% di token al secondo in più grazie a TensorRT-LLM e a ulteriori ottimizzazioni proprietarie nell'esecuzione di DeepSeek V4 Pro. DigitalOcean, collaborando con Hippocratic AI nel settore sanitario, afferma invece di aver aumentato il throughput dell'inferenza del 30% mantenendo un tempo di prima risposta inferiore a mezzo secondo durante circa dieci milioni di chiamate dei pazienti.

Una parte importante della strategia NVIDIA riguarda l'integrazione con l'ecosistema open source. Molti framework AI, tra cui PyTorch, vLLM e SGLang, sono sviluppati con supporto nativo a CUDA, consentendo alle nuove tecniche di inferenza di sfruttare immediatamente le caratteristiche hardware delle GPU NVIDIA.

Clicca per ingrandire

L'azienda cita, ad esempio, DFlash per la speculative decoding, che promette incrementi di throughput fino a 15 volte sull'hardware esistente, e FastVideo, tecnologia capace di generare video Full HD in meno di cinque secondi. Secondo NVIDIA, l'integrazione diretta di queste innovazioni nei framework più diffusi permette di trasferire rapidamente i risultati della ricerca alle implementazioni in produzione.

Per NVIDIA, quindi, il vantaggio competitivo non risiede quindi esclusivamente nell'hardware Blackwell, ma nella continua evoluzione dell'intero stack software e dell'ecosistema open source, che consente di aumentare l'efficienza delle cosiddette "AI factory" anche dopo l'installazione dell'infrastruttura.