Nemotron 3 Super: modello AI open da 120 miliardi di parametri di NVIDIA per sistemi agentici

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/web/ne...ci_151215.html

NVIDIA ha presentato Nemotron 3 Super, un modello AI open da 120 miliardi di parametri progettato per applicazioni multi-agente. Grazie a una finestra di contesto da 1 milione di token, architettura ibrida Mamba-Transformer e inferenza ottimizzata per GPU Blackwell, punta a ridurre costi e complessità nei workflow autonomi.

Click sul link per visualizzare la notizia.

[io78bis]

Premetto che non so quasi nulla di AI ma giusto per capire.
Il modello è open ma questa ottimizzazione

stato addestrato utilizzando NVFP4, formato floating-point a 4 bit progettato per l'architettura GPU Blackwell

vincola all'uso di architettura Nvidia?

[supertigrotto]

Originariamente inviato da io78bis

Premetto che non so quasi nulla di AI ma giusto per capire.
Il modello è open ma questa ottimizzazione


vincola all'uso di architettura Nvidia?

Si fp4 è lo standard generico (4bit) mentre nvfp4 è una tecnica per manipolare i piccoli numeri che si è inventata Nvidia, comunque sempre di matematica parliamo,ovvero manipolazione dei numeri.
Nvfp4 richiede hardware Nvidia,potrebbe girare anche su altro hardware ma ci girerà male naturalmente.

[s12a]

Originariamente inviato da io78bis

vincola all'uso di architettura Nvidia?

Nella pratica non ci sono molte alternative reali ad NVidia se vuoi usare LLM localmente, ma è sempre possible convertire da NVFP4 ad altri formati compatibili anche con CPU (se hai memoria RAM multicanale sufficientemente veloce), come è stato già fatto qui:

https://huggingface.co/unsloth/NVIDI...120B-A12B-GGUF

Blackwell ha supporto nativo (hardware) per il formato NVFP4, ma alla fine per l'inferenza il limite prestazionale è dato principalmente dalla larghezza di banda della memoria.