NVIDIA prepara un LLM gigante da oltre mille miliardi di parametri: la strategia per l'IA open source

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/web/nv...ce_157705.html

Nvidia ha ufficializzato il rilascio di Nemotron 3.5 Lightning, ma per il futuro ha in programma il rilascio della serie Nemotron 4, con un modello flagship nell'ordine del triliardo di parametri. Ecco quale sarà la strategia IA del colosso, con l'open-source sempre in primo iano.

Click sul link per visualizzare la notizia.

[mmorselli]

1000 miliardi oggi è considerato grande, non gigante, i modelli di frontiera, anche open, sono parecchio più grossi.

comunque:

con un modello flagship nell'ordine del triliardo di parametri

Ho accettato "trilione" come indicatore dei 1000 miliardi in Italiano perché mi piace quando ci si mette d'accordo per parlare tutti la stessa lingua, ma triliardo direi proprio di no.

[Unrue]

Secondo il management dell'azienda, i modelli a pesi aperti consentono a ricercatori e sviluppatori indipendenti di esaminare i comportamenti dell'IA, identificare tempestivamente le vulnerabilità e progettare contromisure adeguate

Insomma, con i soli pesi fai fino ad un certo punto, servirebbe il codice sorgente che lo genera...

[supertigrotto]

Sentire la parola open source e Nvidia nella stessa frase mi turba.
Proprio Nvidia che del closed ha fatto la sua bandiera.

[mmorselli]

Originariamente inviato da Unrue

Insomma, con i soli pesi fai fino ad un certo punto, servirebbe il codice sorgente che lo genera...

Per fare la cosa che hai citato sopra ti bastano i pesi e il codice per l'inferenza, di solito se ti danno il primo ti danno anche il secondo. Il codice di pre-training e post-training, cioè quelli che "generano" i pesi, ti servono invece a poco per quello scopo.

nVidia comunque ti dà tutto, è uno dei pochi, se non l'unico, modello veramente di grandi dimensioni che mette open tutto, compresi i dati di addestramento.

La ragione è ovvia, loro vendono hardware, più persone usano l'AI e più loro guadagnano, puntare solo sui modelli closed USA che vietano a mezzo mondo non sarebbe una buona strategia.

[Rubberick]

più che altro penso sia molto meglio per loro se i modelli sono rilasciati open così che qualunque ditta in giro per il mondo possa farsi il suo dc o mini dc locale, tanto l'hardware glielo possono vendere anche loro o no?

[mmorselli]

Originariamente inviato da Rubberick

più che altro penso sia molto meglio per loro se i modelli sono rilasciati open così che qualunque ditta in giro per il mondo possa farsi il suo dc o mini dc locale, tanto l'hardware glielo possono vendere anche loro o no?

Praticamente solo loro, nVidia ha un market share del 92% sull'addestramento e del 74% sull'inferenza. La concorrenza, se così si può chiamare, produce soprattutto per sé stessa e per pochi grandi player, l'azienda in giro per il mondo se vuole fare girare modelli grandi in locale deve comprare nVidia, pregando di trovarle e aspettando molti mesi per la consegna.

[Unrue]

Originariamente inviato da mmorselli

Per fare la cosa che hai citato sopra ti bastano i pesi e il codice per l'inferenza, di solito se ti danno il primo ti danno anche il secondo. Il codice di pre-training e post-training, cioè quelli che "generano" i pesi, ti servono invece a poco per quello scopo.

nVidia comunque ti dà tutto, è uno dei pochi, se non l'unico, modello veramente di grandi dimensioni che mette open tutto, compresi i dati di addestramento.

La ragione è ovvia, loro vendono hardware, più persone usano l'AI e più loro guadagnano, puntare solo sui modelli closed USA che vietano a mezzo mondo non sarebbe una buona strategia.

Per un'analisi profonda servirebbe anche la struttura completa del modello, quanti livelli di embedding, di attenzione, come sono collegati tra di loro, bias ecc. quindi appunto come è stato generato, ma quello col cavolo che te lo danno.

Per carità meglio di nulla, però siamo ben lontani dal vero open.

[mmorselli]

Originariamente inviato da Unrue

Per un'analisi profonda servirebbe anche la struttura completa del modello, quanti livelli di embedding, di attenzione, come sono collegati tra di loro, bias ecc. quindi appunto come è stato generato

Di nuovo, ti basta l'inferenza per fare queste cose, anzi, lo puoi fare solo con l'inferenza, sono proprietà emergenti che in quanto tali non si possono evincere dal codice di addestramento.

Guardati DwarfStar di Salvatore Sanfilippo per l'inferenza su DeepSeek 4

https://github.com/antirez/ds4

tra le tante cose che ci ha infilato ci sono vector generation e steering, puoi analizzare (e modificare) il comportamento del modello al livello che desideri.

ma quello col cavolo che te lo danno.
Per carità meglio di nulla, però siamo ben lontani dal vero open.

E sempre di nuovo ti ripeto che nel caso del modello di nVidia di cui stiamo parlando ti viene dato TUTTO, persino i dati di addestramento, per cui non siamo lontani dal "vero open", ma è la cosa più open che puoi trovare a riguardo.

Lo avevo scritto nel messaggio precedente, perché ho dovuto ripeterlo come se lo avessi totalmente ignorato?

[Unrue]

Originariamente inviato da mmorselli

E sempre di nuovo ti ripeto che nel caso del modello di nVidia di cui stiamo parlando ti viene dato TUTTO, persino i dati di addestramento, per cui non siamo lontani dal "vero open", ma è la cosa più open che puoi trovare a riguardo.

Lo avevo scritto nel messaggio precedente, perché ho dovuto ripeterlo come se lo avessi totalmente ignorato?

E io ti ho detto che più informazioni hai, quindi idealmente se avessi l'intera architettura del modello, e più puoi andare a fondo, perché devo ripeterlo? Non ho detto che con quello che hanno fornito non puoi fare nulla. Vogliono fare le cose open ma non troppo, proprio perché sennò catturi troppi segreti e puoi andare nelle viscere del modello.

[mmorselli]

Originariamente inviato da Unrue

E io ti ho detto che più informazioni hai, quindi idealmente se avessi l'intera architettura del modello, e più puoi andare a fondo, perché devo ripeterlo?

Perché semplicemente non è vero. Posso chiederti a questo punto se hai conoscenze specifiche in materia oppure stai solo andando ad intuito?

Non ho detto che con quello che hanno fornito non puoi fare nulla. Vogliono fare le cose open ma non troppo, proprio perché sennò catturi troppi segreti e puoi andare nelle viscere del modello.

La parte in cui ti dico che in questo caso hanno rilasciato TUTTO, ma proprio TUTTO, TUTTO, TUTTO, l'hai letta, o sei uno di quelli che risponde dopo aver dedicato un massimo di 5 secondi alla lettura di un post? (in tal caso non sarai nemmeno arrivato a questa domanda)

[Unrue]

Originariamente inviato da mmorselli

Perché semplicemente non è vero. Posso chiederti a questo punto se hai conoscenze specifiche in materia oppure stai solo andando ad intuito?

Si, è proprio il mio campo di specializzazione e lavoro tutti giorni con queste robe Se secondo te avere o non avere l'architettura di un modello non cambia nulla come conoscenze, ho dei dubbi che sia tu ad ad andare ad intuito.

Originariamente inviato da mmorselli

La parte in cui ti dico che in questo caso hanno rilasciato TUTTO, ma proprio TUTTO, TUTTO, TUTTO, l'hai letta, o sei uno di quelli che risponde dopo aver dedicato un massimo di 5 secondi alla lettura di un post? (in tal caso non sarai nemmeno arrivato a questa domanda)

va beh dai, stai trollando, probabilmente sei sempre in ferie

[mmorselli]

Originariamente inviato da Unrue

Si, è proprio il mio campo di specializzazione e lavoro tutti giorni con queste robe Se secondo te avere o non avere l'architettura di un modello non cambia nulla come conoscenze, ho dei dubbi che sia tu ad ad andare ad intuito.

Meglio così, ora so che possiamo andare un po' più sul tecnico. La premessa era che avevi il codice d'inferenza, e in genere per un modello open weight ce l'hai, altrimenti il modello è inutile. Se hai l'inferenza hai l'architettura del modello. Il "software di training" (poi vediamo perché tra virgolette), invece non ti dice molto, perché l'AI è una proprietà emergente, che emerge appunto in fase d'inferenza, il training dice solo come un certo dato finisce per influenzare i pesi, è l'equivalente di voler descrivere l'esperienza di una nuotata al mare avendo a disposizione un'equazione molto precisa che descrive una singola molecola di H2O... Non molto utile, decisamente. Del resto se il software d'addestramento ci fornisse una vista su quello che farà il modello non staremmo parlando di proprietà emergenti, ma di un sistema deterministico, inserisco il dato A durante l'addestramento ed in fase d'inferenza dovrei ottenere f(A), ma sappiamo che non è neppure lontanamente così.

va beh dai, stai trollando, probabilmente sei sempre in ferie

Cito dall'articolo:

"Per sostenere la propria visione open, Nvidia sta mettendo a disposizione risorse di addestramento ad altissimo volume, tra cui dataset aperti contenenti oltre 10 mila miliardi (10T) di token e più di 40 milioni di campioni post-training, corredati da ricette di fine-tuning e report tecnici completi. "

Ovvero ti danno:
- dataset di pre-training
- dataset di post-training
- ricette di fine-tuning

di preciso che altro vorresti per chiamarlo "vero open"?

Tieni presente che la creazione di un modello non passa per un software chiamato "software di addestramento del modello", è un processo complesso da centinaia di milioni di dollari che richiede tantissima interazione umana. Il transformer per il pre-training non lo crei, ma usi una delle sue varianti moderne, a meno che non vuoi creare tu stesso una nuova variante, ma è un lavoro che fanno a parte i ricercatori e che lo pubblicano in un paper scientifico. Durante l'addestramento non supervisionato, cioè il pre-training, hai centinaia di ricercatori, ingegneri, annotatori, che fanno monitoraggio continuo di loss, gradient norms, throughput, instabilità varie, ecc... Siamo molto lontani dal semplice concetto di un "software che elabora dei dati", è un sistema, che procede per mesi coinvolgendo figure di ogni tipo.

Ora, fatta questa premessa, questo è il "software di training" di Nemotron

https://github.com/NVIDIA-NeMo/Nemotron

se sei convinto che leggendolo ti farà capire come il modello si comporterà, accomodati, non puoi comunque dire che non c'è.

[Unrue]

l "software di training" (poi vediamo perché tra virgolette), invece non ti dice molto, perché l'AI è una proprietà emergente, che emerge appunto in fase d'inferenza,

Insomma, è proprio durante il training che emergono problematiche di questo tipo, non durante l'inferenza. Che poi anche durante il training si fa inferenza eh. (validazione)

. Del resto se il software d'addestramento ci fornisse una vista su quello che farà il modello non staremmo parlando di proprietà emergenti, ma di un sistema deterministico, inserisco il dato A durante l'addestramento ed in fase d'inferenza dovrei ottenere f(A), ma sappiamo che non è neppure lontanamente così.

In realtà se tu disabiliti tutte la parti randomiche ed imposti la temperatura a zero, un LLM ritorna sempre lo stesso risultato, perché l'input farà sempre esattamente lo stesso giro e a parità di pesi sempre quel risultato dà. Un LLM in fondo si può vedere come tante grosse moltiplicazioni matriciali, se fissi tutto, il risultato è sempre lo stesso.

Originariamente inviato da mmorselli

di preciso che altro vorresti per chiamarlo "vero open"?

E' sicuramente molto più open di altri, ma dallo stesso README:

Note: These recipes train exclusively on the open-sourced subset of training data. Results will differ from the published model-card benchmarks, which used additional proprietary data. Use these recipes as reference implementations to apply the methodology with your own data.

Quindi anche se replichi l'intera pipeline, non arriverai ai loro risultati, dato che spesso sono proprio quei dati proprietari a fare la differenza. Insomma, da una parte o dall'altra qualcosa di closed c'è sempre.

[mmorselli]

Originariamente inviato da Unrue

Insomma è proprio durante il training che emergono problematiche di questo tipo, non durate l'inferenza.

Non ho capito di che problematiche parli.

In realtà se tu disabiliti tutte la parti randomiche ed imposti la temperatura a zero, un LLM ritorna sempre lo stesso risultato

Sì, a patto di usare lo stesso hardware con un modello locale non quantizzato, con una precisione molto alta tipo FP32, altrimenti avrai comunque delle fluttuazioni. Ma ho scritto che se vogliamo possiamo renderlo deterministico, ma non lo facciamo perché non vogliamo che lo sia. Gli LLM che la gente normalmente usa non sono deterministici nella pratica.

Quindi anche se replichi l'intera pipeline, non arriverai ai loro risultati, dato che spesso sono proprio quei dati proprietari a fare la differenza. Insomma, da una parte o dall'altra qualcosa di closed c'è sempre.

Frena, tu sei partito a dire, cito testualmente:

"servirebbe il codice sorgente che lo genera"

in risposta a chi diceva

"i modelli a pesi aperti consentono a ricercatori e sviluppatori indipendenti di esaminare i comportamenti dell'IA, identificare tempestivamente le vulnerabilità e progettare contromisure adeguate"


E adesso mi stai dicendo che invece vorresti il dataset completo di quei dati che non possono essere divulgati per ragioni di licenza, rispetto ai 10TB che ti danno? E tu da questi dati ricavi le informazioni sopra?

Sicuro di quello che stai dicendo? Guarda che io non faccio mai passare le affermazioni in cavalleria, sei ancora in tempo a dire che ti sei sbagliato, però se vuoi andare avanti io sono a tua disposizione.

Lo scopo tra l'altro non doveva essere "ottenere i loro risultati" anche perché non ha senso rifare tutta la pipeline per ottenere lo stesso modello... se vuoi lo stesso modello te lo danno loro. Lo scopo era "capire come si comporta il modello", cosa che ovviamente fai in inferenza, ma tu hai preferito sostenere questa tesi bislacca, e ti sei infilato in un cul-de-sac

[Unrue]

Originariamente inviato da mmorselli

Non ho capito di che problematiche parli.

E' durante il training che si forma il "ragionamento" del modello, ed è lì che si interviene se si vedono derive. In inferenza si possono mettere delle pezze, ma se l'errore è a monte fai poco.

PS, curiosità, ma lo hai mai addestrato un LLM? Intendo seriamente, per farci cose magari industriali o di larga scala, non uno giocattolo. Visto che tu mi hai chiesto le qualifiche adesso io chiedo le tue. Io si, lo sto facendo proprio in questo periodo, e sto sbattendo il naso su tutte le problematiche che emergono per far funzionare bene le cose.

Originariamente inviato da mmorselli

Sì, a patto di usare lo stesso hardware con un modello locale non quantizzato, con una precisione molto alta tipo FP32, altrimenti avrai comunque delle fluttuazioni.

Si beh ovvio, grazie al razzo, se cambi hardware nessun calcolo verrà mai identico al bit, LLM o meno.

Originariamente inviato da mmorselli

E adesso mi stai dicendo che invece vorresti il dataset completo di quei dati che non possono essere divulgati per ragioni di licenza, rispetto ai 10TB che ti danno? E tu da questi dati ricavi le informazioni sopra?

Sicuro di quello che stai dicendo? Guarda che io non faccio mai passare le affermazioni in cavalleria, sei ancora in tempo a dire che ti sei sbagliato, però se vuoi andare avanti io sono a tua disposizione.

Veramente ho detto altro, ovvero che se leggi la model-card, ed usi il dataset fornito, non arrivi ai loro benchmark.

Originariamente inviato da mmorselli

Lo scopo tra l'altro non doveva essere "ottenere i loro risultati" anche perché non ha senso rifare tutta la pipeline per ottenere lo stesso modello... se vuoi lo stesso modello te lo danno loro. Lo scopo era "capire come si comporta il modello", cosa che ovviamente fai in inferenza, ma tu hai preferito sostenere questa tesi bislacca, e ti sei infilato in un cul-de-sac

Tecnicamente l'open source implica di poter replicare i risultati di altri, avendo esattamente tutti la stessa base di partenza. Ma sarà che sono vecchia scuola ed in questo caso non è strettamente necessario, dato che si può ovviare con dati propri.

Ma ripeto, quello che ha fatto Nvidia è ottimo, molto più di altri, quindi bene così.