NVIDIA ha creato un LLM open-source che non teme LLaMa e GPT-4o

NVIDIA ha creato un LLM open-source che non teme LLaMa e GPT-4o

NVIDIA non realizza solo GPU per l'IA, ma lavora su qualsiasi cosa graviti attorno a quel concetto. Lo dimostra NVLM 1.0, una nuova famiglia di LLM multimodali di frontiera in cui spicca NVLM-D-72B formato da 72 miliardi di parametri.

di pubblicata il , alle 09:21 nel canale Web
NVIDIA
 

NVIDIA non progetta semplicemente GPU, ma fa un lavoro a 360 gradi volto a dare vita a quei chip altrimenti inanimati. La società statunitense, sostanzialmente, lavora su tecnologie capaci di sfruttare le sue architetture, in modo da creare quella "domanda-offerta" che l'ha resa dappria regina della grafica e, oggi, dell'intelligenza artificiale.

Il suo focus sull'intelligenza artificiale è così ampio che nelle scorse settimane la società ha annunciato di aver sviluppato un LLM open-source che, secondo quanto riportato, ha prestazioni pari a quelle dei principali modelli proprietari di OpenAI, Anthropic, Meta e Google.

Il tutto è spiegato in un white paper, in cui NVIDIA parla della famiglia NVLM 1.0 guidata dal modello NVLM-D-72B basato su 72 miliardi di parametri. "Presentiamo NVLM 1.0, una famiglia di modelli linguistici multimodali di frontiera che raggiungono risultati all'avanguardia nei compiti di visione e linguaggio, rivaleggiando con i principali modelli proprietari (ad esempio, GPT-4o) e con i modelli ad accesso libero", scrivono i ricercatori.

NVIDIA afferma che la nuova famiglia di modelli è già in grado di garantire una "multimodalità di livello produttivo", con prestazioni eccezionali in una serie di compiti di visione e di linguaggio, oltre a migliorare le risposte basate sul testo rispetto all'LLM di base su cui si fonda la famiglia NVLM.

"Per ottenere questo risultato, abbiamo creato e integrato un set di dati di alta qualità per il solo testo nell'addestramento multimodale, insieme a una quantità sostanziale di dati matematici e di ragionamento multimodali, che hanno portato a un miglioramento delle capacità matematiche e di codifica in tutte le modalità", hanno spiegato i ricercatori.

Il risultato è un LLM che può spiegare perché un meme è divertente con la stessa facilità con cui può risolvere complesse equazioni matematiche. Attuando le nuove tecniche, NVIDIA è riuscita anche a incrementare l'accuratezza del modello per il solo testo di una media di 4,3 punti nei comuni benchmark di settore.

NVIDIA punta a rendere il modello open source in tutto e per tutto e, nel prossimo futuro, rilascerà il codice sorgente; tutti i dettagli disponibili al momento li trovate qui. NVIDIA non sembra voglia competere con OpenAI o Google, bensì dare agli sviluppatori di terze parti le basi per costruire i propri chatbot e applicazioni di intelligenza artificiale, così da incentivare l'acquisto di acceleratori e GPU.

25 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - info
giovanni6903 Ottobre 2024, 09:37 #1

Nvidia ed...

Open Source...parola magica!
marcram03 Ottobre 2024, 10:03 #2
Ormai è di moda accostare "open source" a ciò che open source non è...
Ti fa sembrare generoso e altruista...
!fazz03 Ottobre 2024, 10:20 #3
Originariamente inviato da: marcram
Ormai è di moda accostare "open source" a ciò che open source non è...
Ti fa sembrare generoso e altruista...


anche perchè rendere open source un modello di LLM non significa altro che mettere online un grosso file con miliardi di numeri e basta
supertigrotto03 Ottobre 2024, 10:21 #4
Open source Nvidia?
Ma che è sto sproloquio?
MikTaeTrioR03 Ottobre 2024, 10:54 #5
ottimizzato per GPU NVIDIA che chiaramente non saranno per niente "open source"...

mica scemi
s12a03 Ottobre 2024, 10:57 #6
Quale GPU NVidia vorrebbe che venisse usata per tale modello? Una singola 4090 non basta a meno di degradare notevolmente le prestazioni del modello (quantizzazione in 2 bit o giù di lì; con due (in 4 bit) il degrado potrebbe non essere accettabile in molti casi di utilizzo.
marcram03 Ottobre 2024, 11:12 #7
Originariamente inviato da: !fazz
anche perchè rendere open source un modello di LLM non significa altro che mettere online un grosso file con miliardi di numeri e basta

Bisogna anche rendere disponibili tutti i dati di apprendimento, perché il modello deve essere replicabile...

Considerando poi che la licenza di Nvidia ne vieta l'uso commerciale e la possibilità di distribuirne una versione modificata, di "open source" non ha proprio nulla...
pachainti03 Ottobre 2024, 11:40 #8
Originariamente inviato da: marcram
Ormai è di moda accostare "open source" a ciò che open source non è...
Ti fa sembrare generoso e altruista...


Si ormai è diventato un termine di marketing.

Originariamente inviato da: !fazz
anche perchè rendere open source un modello di LLM non significa altro che mettere online un grosso file con miliardi di numeri e basta


La definizione di open source è dibattuta. Secondo molti il solo modello (i pesi) non rende automaticamente open source LLM, ma ci vuole la possibilità di riprodurlo ovvero i dataset e le condizioni iniziali (giustamente secondo me).

Chissà se questo modello sa contare le vocali/consonanti in una parola o è come GPT-4o.
MikTaeTrioR03 Ottobre 2024, 16:24 #9
Originariamente inviato da: pachainti
Si ormai è diventato un termine di marketing.



La definizione di open source è dibattuta. Secondo molti il solo modello (i pesi) non rende automaticamente open source LLM, ma ci vuole la possibilità di riprodurlo ovvero i dataset e le condizioni iniziali (giustamente secondo me).

Chissà se questo modello sa contare le vocali/consonanti in una parola o è come GPT-4o.


A parte che valutare un LLM basandosi su domande di utilità praticamente nulla è un po' bizzarro ma a parte uno svarione iniziale poi si adegua alla grande:


Hai detto:
quante r contienre la parola ramarro
ChatGPT ha detto:
ChatGPT
La parola "ramarro" contiene due lettere "r".



Hai detto:
???
ChatGPT ha detto:
ChatGPT
Scusa per la confusione! Forse intendi chiedere quante "r" contiene la parola "ramarro"? Se sì, la risposta è che la parola "ramarro" contiene 3 lettere "r".




Hai detto:
la parola irrorare?
ChatGPT ha detto:
ChatGPT
La parola "irrorare" contiene 4 lettere "r".


Hai detto:
e strasberry?
ChatGPT ha detto:
ChatGPT
La parola "strasberry" non è comune in italiano o in inglese. Forse intendevi "strawberry" (che significa fragola in inglese)? Se sì, la parola "strawberry" contiene 3 lettere "r".

Se "strasberry" è un termine specifico che intendevi, fammi sapere!
pachainti03 Ottobre 2024, 16:29 #10
Originariamente inviato da: MikTaeTrioR
A parte che valutare un LLM basandosi su domande di utilità praticamente nulla è un po' bizzarro ma a parte uno svarione iniziale poi si adegua alla grande:


Hai detto:
quante r contienre la parola ramarro
ChatGPT ha detto:
ChatGPT
La parola "ramarro" contiene due lettere "r".



Hai detto:
???
ChatGPT ha detto:
ChatGPT
Scusa per la confusione! Forse intendi chiedere quante "r" contiene la parola "ramarro"? Se sì, la risposta è che la parola "ramarro" contiene 3 lettere "r".




Hai detto:
la parola irrorare?
ChatGPT ha detto:
ChatGPT
La parola "irrorare" contiene 4 lettere "r".


Hai detto:
e strasberry?
ChatGPT ha detto:
ChatGPT
La parola "strasberry" non è comune in italiano o in inglese. Forse intendevi "strawberry" (che significa fragola in inglese)? Se sì, la parola "strawberry" contiene 3 lettere "r".

Se "strasberry" è un termine specifico che intendevi, fammi sapere!


Si mi sembra veramente intelligente
Un ottimo generatore di stronzate:
ChatGPT is bullshit
DK 7x10 Stronzate Artificiali

Devi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".

La discussione è consultabile anche qui, sul forum.
 
^