PDA

View Full Version : NVIDIA ha creato un LLM open-source che non teme LLaMa e GPT-4o


Redazione di Hardware Upg
03-10-2024, 08:21
Link alla notizia: https://www.hwupgrade.it/news/web/nvidia-ha-creato-un-llm-open-source-che-non-teme-llama-e-gpt-4o_131407.html

NVIDIA non realizza solo GPU per l'IA, ma lavora su qualsiasi cosa graviti attorno a quel concetto. Lo dimostra NVLM 1.0, una nuova famiglia di LLM multimodali di frontiera in cui spicca NVLM-D-72B formato da 72 miliardi di parametri.

Click sul link per visualizzare la notizia.

giovanni69
03-10-2024, 08:37
Open Source...parola magica!

marcram
03-10-2024, 09:03
Ormai è di moda accostare "open source" a ciò che open source non è...
Ti fa sembrare generoso e altruista...

!fazz
03-10-2024, 09:20
Ormai è di moda accostare "open source" a ciò che open source non è...
Ti fa sembrare generoso e altruista...

anche perchè rendere open source un modello di LLM non significa altro che mettere online un grosso file con miliardi di numeri e basta

supertigrotto
03-10-2024, 09:21
Open source Nvidia?
Ma che è sto sproloquio?

MikTaeTrioR
03-10-2024, 09:54
ottimizzato per GPU NVIDIA che chiaramente non saranno per niente "open source"...

mica scemi

s12a
03-10-2024, 09:57
Quale GPU NVidia vorrebbe che venisse usata per tale modello? Una singola 4090 non basta a meno di degradare notevolmente le prestazioni del modello (quantizzazione in 2 bit o giù di lì); con due (in 4 bit) il degrado potrebbe non essere accettabile in molti casi di utilizzo.

marcram
03-10-2024, 10:12
anche perchè rendere open source un modello di LLM non significa altro che mettere online un grosso file con miliardi di numeri e basta
Bisogna anche rendere disponibili tutti i dati di apprendimento, perché il modello deve essere replicabile...

Considerando poi che la licenza di Nvidia ne vieta l'uso commerciale e la possibilità di distribuirne una versione modificata, di "open source" non ha proprio nulla...

pachainti
03-10-2024, 10:40
Ormai è di moda accostare "open source" a ciò che open source non è...
Ti fa sembrare generoso e altruista...

Si ormai è diventato un termine di marketing.

anche perchè rendere open source un modello di LLM non significa altro che mettere online un grosso file con miliardi di numeri e basta

La definizione di open source è dibattuta. Secondo molti il solo modello (i pesi) non rende automaticamente open source LLM, ma ci vuole la possibilità di riprodurlo ovvero i dataset e le condizioni iniziali (giustamente secondo me).

Chissà se questo modello sa contare le vocali/consonanti (https://community.openai.com/t/incorrect-count-of-r-characters-in-the-word-strawberry/829618/4) in una parola o è come GPT-4o (https://www.spreaker.com/episode/dk9x01-psicosi--62026164).

MikTaeTrioR
03-10-2024, 15:24
Si ormai è diventato un termine di marketing.



La definizione di open source è dibattuta. Secondo molti il solo modello (i pesi) non rende automaticamente open source LLM, ma ci vuole la possibilità di riprodurlo ovvero i dataset e le condizioni iniziali (giustamente secondo me).

Chissà se questo modello sa contare le vocali/consonanti (https://community.openai.com/t/incorrect-count-of-r-characters-in-the-word-strawberry/829618/4) in una parola o è come GPT-4o (https://www.spreaker.com/episode/dk9x01-psicosi--62026164).

A parte che valutare un LLM basandosi su domande di utilità praticamente nulla è un po' bizzarro ma a parte uno svarione iniziale poi si adegua alla grande:


Hai detto:
quante r contienre la parola ramarro
ChatGPT ha detto:
ChatGPT
La parola "ramarro" contiene due lettere "r".



Hai detto:
???
ChatGPT ha detto:
ChatGPT
Scusa per la confusione! Forse intendi chiedere quante "r" contiene la parola "ramarro"? Se sì, la risposta è che la parola "ramarro" contiene 3 lettere "r".




Hai detto:
la parola irrorare?
ChatGPT ha detto:
ChatGPT
La parola "irrorare" contiene 4 lettere "r".


Hai detto:
e strasberry?
ChatGPT ha detto:
ChatGPT
La parola "strasberry" non è comune in italiano o in inglese. Forse intendevi "strawberry" (che significa fragola in inglese)? Se sì, la parola "strawberry" contiene 3 lettere "r".

Se "strasberry" è un termine specifico che intendevi, fammi sapere!

pachainti
03-10-2024, 15:29
A parte che valutare un LLM basandosi su domande di utilità praticamente nulla è un po' bizzarro ma a parte uno svarione iniziale poi si adegua alla grande:


Hai detto:
quante r contienre la parola ramarro
ChatGPT ha detto:
ChatGPT
La parola "ramarro" contiene due lettere "r".



Hai detto:
???
ChatGPT ha detto:
ChatGPT
Scusa per la confusione! Forse intendi chiedere quante "r" contiene la parola "ramarro"? Se sì, la risposta è che la parola "ramarro" contiene 3 lettere "r".




Hai detto:
la parola irrorare?
ChatGPT ha detto:
ChatGPT
La parola "irrorare" contiene 4 lettere "r".


Hai detto:
e strasberry?
ChatGPT ha detto:
ChatGPT
La parola "strasberry" non è comune in italiano o in inglese. Forse intendevi "strawberry" (che significa fragola in inglese)? Se sì, la parola "strawberry" contiene 3 lettere "r".

Se "strasberry" è un termine specifico che intendevi, fammi sapere!

Si mi sembra veramente intelligente :D
Un ottimo generatore di stronzate:
ChatGPT is bullshit (https://link.springer.com/article/10.1007/s10676-024-09775-5)
DK 7x10 Stronzate Artificiali (https://www.spreaker.com/episode/dk-7x10-stronzate-artificiali--52160617)

MikTaeTrioR
03-10-2024, 15:47
Si mi sembra veramente intelligente :D
Un ottimo generatore di stronzate:
ChatGPT is bullshit (https://link.springer.com/article/10.1007/s10676-024-09775-5)
DK 7x10 Stronzate Artificiali (https://www.spreaker.com/episode/dk-7x10-stronzate-artificiali--52160617)

sei sarcastico?

edit:
si penso proprio di si...

bhe sai che ti dico, e cosa dico a tutti quelli che la pensano cosi....avete ragione, continuate a pensarla cosi...auguri!! :D


edit2:
Madre di dio sto ascoltando quel podcast...addirittura fa il pippone iniziale sulla parola "stronzata"....MA VADA A ZAPPARE QUESTO VA :D..tra l'altro è del 2022, invecchiato malissimo sto podcast, veramente male... :asd: ..ma d'altronde chi poteva immaginare se non chi ci capisce qualcosa veramente.

edit3:
Ossignore con grande fatica sto andando avanti a sentire.... ma quante ne spara questo??...dovrebbe vergognarsi e rimuove le "stronzate reali" che dice... visione superficiale, senza visione futura...fosse nato quando fu scoperto il fuoco avrebbe notato solo che bruciava le dita.

pachainti
03-10-2024, 15:55
sei sarcastico?

edit:
si penso proprio di si...



Nessun sarcasmo, pura realtà basata sui fatti.


bhe sai che ti dico, e cosa dico a tutti quelli che la pensano cosi....avete ragione, continuate a pensarla cosi...auguri!! :D


Quando i fatti mi/ci daranno torto, cambierò idea.


edit2:
Madre di dio sto ascoltando quel podcast...addirittura fa il pippone iniziale sulla parola "stronzata"....MA VADA A ZAPPARE QUESTO VA :D..tra l'altro è del 2022, invecchiato malissimo sto podcast, veramente male... :asd: ..ma d'altronde chi poteva immaginare se non chi ci capisce qualcosa veramente.

In realtà dice le stesse cose dell'articolo del 2024, due anni prima e ci aveva preso in pieno.

P.S.
Ti ricordo cosa dicevano i "padri" dell'IA negli anni 60-70 (https://web.eecs.umich.edu/~kuipers/opinions/AI-progress.html).

In 1958, Herbert Simon and Allen Newell wrote, “within ten years a digital computer will be the world’s chess champion”, and “within ten years a digital computer will discover and prove an important new mathematical theorem.”

In 1965, Herbert Simon predicted that “machines will be capable, within twenty years, of doing any work a man can do.”

In 1967, Marvin Minsky predicted that “Within a generation . . . the problem of creating `artificial intelligence’ will substantially be solved.”

In 1970, Marvin Minsky, in an interview with Life Magazine, stated “In from three to eight years we will have a machine with the general intelligence of an average human being.”

MikTaeTrioR
03-10-2024, 16:07
Quando i fatti mi/ci daranno torto, cambierò idea.





Mha, io sono un programmatore, questa roba mi risparmia ore di lavoro e questo è un fatto.

Per le traduzioni idem.

Per il parsing idem.

E potrei andare avanti..


Se ti aspetti che un LLM serva a ragionare al posto tuo sei tu che stai sbagliando.
E' uno strumento che serve a velocizzare (enormemente) i propri ragionamenti.

Reputi questa una stronzata?

Complimenti, che ti posso dire ... :D

edit:

non ho capito cosa centra quel che dicevano i padri fondatori dell AI..non ci siamo ancora? siamo in ritardo? non ci arriveremo mai?....E ALLORA? Oggi c'è uno strumento che preso per quello che è funziona egregiamente, e non potrà che migliorare...dire che è una stronzata perchè non "ragiona veramente" è assurdo IMHO..

pachainti
03-10-2024, 16:17
Mha, io sono un programmatore, questa roba mi risparmia ore di lavoro e questo è un fatto.

Per le traduzioni idem.

Per il parsing idem.

E potrei andare avanti..


Se ti aspetti che un LLM serva a ragionare al posto tuo sei tu che stai sbagliando.
E' uno strumento che serve a velocizzare (enormemente) i propri ragionamenti.

Reputi questa una stronzata?

Complimenti, che ti posso dire ... :D

Purtroppo gli LLM vengo spacciati come IA, ma non hanno niente di intelligente e poco di artificiale.
Gli LLM hanno due grossi problemi:

Non hanno alcuna consapevolezza di quello che fanno, sono dei modelli probabilistici che scelgono la parola più probabile in base al loro "addestramento".
Non hanno alcun concetto di realtà non avendo consapevolezza di quello che fanno. Generalmente danno risposte verosimili per una persona che non conosce l'argomento, ma con un minimo di informazione tale persona trova subito i limiti "le presunte allucinazioni".


E' stato mostrato che utilizzare la presunta IA per programmare, riduce la qualità e la sicurezza del codice.

Coding on Copilot: 2023 Data Suggests Downward Pressure on Code Quality (https://www.gitclear.com/coding_on_copilot_data_shows_ais_downward_pressure_on_code_quality)

Do Users Write More Insecure Code with AI Assistants? (https://arxiv.org/abs/2211.03622)

Per quale motivo gli LLM, la presunta IA, non servono a nulla? Poiché se già conosci l'argomento ti accorgi delle supercazzole che spara, viceversa se non lo conosci non puoi prendere per buono quello che ti dice e devi comunque verificare da altre fonti (perdendo lo stesso tempo). Quindi a cosa serve?

MikTaeTrioR
03-10-2024, 16:31
Purtroppo gli LLM vengo spacciati come IA, ma non hanno niente di intelligente e poco di artificiale.
Gli LLM hanno due grossi problemi:

Non hanno alcuna consapevolezza di quello che fanno, sono dei modelli probabilistici che scelgono la parola più probabile in base al loro "addestramento".
Non hanno alcun concetto di realtà non avendo consapevolezza di quello che fanno. Generalmente danno risposte verosimili per una persona che non conosce l'argomento, ma con un minimo di informazione tale persona trova subito i limiti "le presunte allucinazioni".


E' stato mostrato che utilizzare la presunta IA per programmare, riduce la qualità e la sicurezza del codice.

Coding on Copilot: 2023 Data Suggests Downward Pressure on Code Quality (https://www.gitclear.com/coding_on_copilot_data_shows_ais_downward_pressure_on_code_quality)

Do Users Write More Insecure Code with AI Assistants? (https://arxiv.org/abs/2211.03622)

Per quale motivo gli LLM, la presunta IA, non servono a nulla? Poiché se già conosci l'argomento ti accorgi delle supercazzole che spara, viceversa se non lo conosci non puoi prendere per buono quello che ti dice e devi comunque verificare da altre fonti (perdendo lo stesso tempo). Quindi a cosa serve?

il programmatore scrive peggio se è scarso e se pensa che GPT ragioni per lui e non il contrario...altrimenti addirittura ti fa scoprire cose nuove di un linguaggio che utilizzi quotidianamente da più di 10 anni....

chiedi, leggi, capisci cosa ha partorito, correggi, riadatti....non è che prendi copi e incolli...cosi è da stupidi.


gli LLM non sono una vera AI..... che scoperta incredibile....e io che pensavo di affidagli il mio pacchetto azionario........grazie mi hai salvato :asd:


Non ti piace che venga chiamata AI, questo posso capirlo ma penso che sia sbagliato non valutare ed approfittare dello strumento per quello che è..


E mi sbilancio per dire che gli LLM sono IMHO una tappa fondamentale della strada da percorrere per raggiungere una vera AI..


Pero voglio ribadire che sentire dire che è "una stronzata" mi fa cascare le braccia...se non si fosse gia capito :D

pachainti
03-10-2024, 16:39
il programmatore scrive peggio se è scarso e se pensa che GPT ragioni per lui e non il contrario...altrimenti addirittura ti fa scoprire cose nuove di un linguaggio che utilizzi quotidianamente da più di 10 anni....

chiedi, leggi, capisci cosa ha partorito, correggi, riadatti....non è che prendi copi e incolli...cosi è da stupidi.


gli LLM non sono una vera AI..... che scoperta incredibile....e io che pensavo di affidagli il mio pacchetto azionario........grazie mi hai salvato :asd:


Non ti piace che venga chiamata AI, questo posso capirlo ma penso che sia sbagliato non valutare ed approfittare dello strumento per quello che è..


E mi sbilancio per dire che gli LLM sono IMHO una tappa fondamentale della strada da percorrere per raggiungere una vera AI..


Pero voglio ribadire che sentire dire che è "una stronzata" mi fa cascare le braccia...se non si fosse gia capito :D

Articoli scientifici e dati dimostrano quanto ho scritto. Poi sarò il primo a cambiare idea in presenza di evidenza contraria.
Al momento gli LLM sono generatori di stronzate, leggi l'articolo (https://link.springer.com/article/10.1007/s10676-024-09775-5) e capirai molte cose.

P.S. sono in attesa dell'IA dagli anni 60-70, ogni anno è quello buono.

MikTaeTrioR
03-10-2024, 16:48
Articoli scientifici e dati dimostrano quanto ho scritto. Poi sarò il primo a cambiare idea in presenza di evidenza contraria.
Al momento gli LLM sono generatori di stronzate, leggi l'articolo (https://link.springer.com/article/10.1007/s10676-024-09775-5) e capirai molte cose.

P.S. sono in attesa dell'IA dagli anni 60-70, ogni anno è quello buono.

E il mercato dimostra esattamente il contrario. E come ben saprai, da intellettuale quale sembri essere, il mercato ha sempre ragione.

D'altra parte se già milioni di di persone lo usano proficuamente un motivo ci sarà no?!

:)


o forse siamo tutti scemi, chi lo sa, puo essere :D

pachainti
03-10-2024, 16:51
E il mercato dimostra esattamente il contrario. E come ben saprai, da intellettuale quale sembri essere, il mercato ha sempre ragione.

D'altra parte se già milioni di di persone lo usano proficuamente un motivo ci sarà no?!

:)


o forse siamo tutti scemi, chi lo sa, puo essere :D

In realtà è proprio il contrario. Quando qualcosa la utilizzano tutti in modo "bovino" si dovrebbe accendere la lampadina.
Il mercato libero non esiste è sempre influenzato dalla pubblicità e dai monopoli.

P.S. comunque se prendi gli utenti che utilizzano la presunta IA sono molto pochi, per ora e per fortuna, rispetto a quelli che accedono alla rete.

MikTaeTrioR
03-10-2024, 17:17
In realtà è proprio il contrario. Quando qualcosa la utilizzano tutti in modo "bovino" si dovrebbe accendere la lampadina.
Il mercato libero non esiste è sempre influenzato dalla pubblicità e dai monopoli.

P.S. comunque se prendi gli utenti che utilizzano la presunta IA sono molto pochi, per ora e per fortuna, rispetto a quelli che accedono alla rete.

ergo
internet is a bullshit :D

rimani pure della tua idea, io rimango della mia.

buona serata

pachainti
03-10-2024, 20:44
ergo
internet is a bullshit :D

rimani pure della tua idea, io rimango della mia.

buona serata

Il mio obiettivo non è quello di convincere, non faccio ne il politico ne il venditore, ma di informare.

Si Internet è diventato bullshit a causa dei suoi contenuti. Gli LLM sono dei generatori di bullshit.

Come disse Umberto Eco (https://www.repubblica.it/le-storie/2019/01/05/news/umberto_eco_i_social_gli_imbecilli_e_cosa_disse_veramente_quel_giorno-215761508/):
I social media danno diritto di parola a legioni di imbecilli che prima parlavano solo al bar senza danneggiare la collettività mentre ora hanno lo stesso diritto di parola di un Premio Nobel. Il dramma di Internet è che ha promosso lo scemo del villaggio a portatore di verità.
La scuola dovrebbe insegnare a filtrare le informazioni bislacche di Internet. I giornali dovrebbero verificarle e smascherarle quotidianamente. La Rete stessa dovrebbe fabbricarsi gli anticorpi.
La difesa istintiva del pubblico: può avvenire su Internet? Dipende solo dalla capacità critica di chi ci naviga. Lo scemo del villaggio non trionfa mai per forza propria, ma solo per debolezza del sensato del villaggio.

Se fosse ancora vivo probabilmente direbbe che gli LLM amplificano i poteri degli scemi del villaggio e rendono ancora più deboli i sensati del villaggio con il rischio di avere una valanga informazioni false, ma verosimili difficilmente eliminabili.

Buona serata

MikTaeTrioR
03-10-2024, 21:03
Il mio obiettivo non è quello di convincere, non faccio ne il politico ne il venditore, ma di informare.

Si Internet è diventato bullshit a causa dei suoi contenuti. Gli LLM sono dei generatori di bullshit.

Come disse Umberto Eco (https://www.repubblica.it/le-storie/2019/01/05/news/umberto_eco_i_social_gli_imbecilli_e_cosa_disse_veramente_quel_giorno-215761508/):
I social media danno diritto di parola a legioni di imbecilli che prima parlavano solo al bar senza danneggiare la collettività mentre ora hanno lo stesso diritto di parola di un Premio Nobel. Il dramma di Internet è che ha promosso lo scemo del villaggio a portatore di verità.
La scuola dovrebbe insegnare a filtrare le informazioni bislacche di Internet. I giornali dovrebbero verificarle e smascherarle quotidianamente. La Rete stessa dovrebbe fabbricarsi gli anticorpi.
La difesa istintiva del pubblico: può avvenire su Internet? Dipende solo dalla capacità critica di chi ci naviga. Lo scemo del villaggio non trionfa mai per forza propria, ma solo per debolezza del sensato del villaggio.

Se fosse ancora vivo probabilmente direbbe che gli LLM amplificano i poteri degli scemi del villaggio e rendono ancora più deboli i sensati del villaggio con il rischio di avere una valanga informazioni false, ma verosimili difficilmente eliminabili.

Buona serata




sbagli (https://gaming.hwupgrade.it/news/videogames/chatgpt-migliora-il-matchmaking-di-deadlock-un-ingegnere-di-valve-non-puo-piu-farne-a-meno_131417.html)

Non è lA che sostituirà l' uomo, è l' uomo che sa usare l'AI che sostituirà l'uomo che non sa usarla o non vuole per strani principi

pachainti
04-10-2024, 08:48
sbagli (https://gaming.hwupgrade.it/news/videogames/chatgpt-migliora-il-matchmaking-di-deadlock-un-ingegnere-di-valve-non-puo-piu-farne-a-meno_131417.html)

Non è lA che sostituirà l' uomo, è l' uomo che sa usare l'AI che sostituirà l'uomo che non sa usarla o non vuole per strani principi

Purtroppo peggiorerà la situazione come mostrano vari esempi reali.
Anche solo limitatamente al codice è stato mostrato che utilizzare la presunta IA per programmare, riduce la qualità e la sicurezza.

Coding on Copilot: 2023 Data Suggests Downward Pressure on Code Quality (https://www.gitclear.com/coding_on_copilot_data_shows_ais_downward_pressure_on_code_quality)

Do Users Write More Insecure Code with AI Assistants? (https://arxiv.org/abs/2211.03622)

marcram
04-10-2024, 09:23
Come tutti gli strumenti, gli LLM vanno usati con consapevolezza, nei limiti della loro utilità.
Io avrò usato la versione free di Copilot una decina di volte, e si è rivelato utile ogni volta per districarmi dubbi, darmi conferme, o aiutarmi a capire, in modo molto più veloce e riassuntivo che non facendo ricerche su internet o facendo richieste di aiuto sui forum...

MikTaeTrioR
04-10-2024, 09:36
Purtroppo peggiorerà la situazione come mostrano vari esempi reali.
Anche solo limitatamente al codice è stato mostrato che utilizzare la presunta IA per programmare, riduce la qualità e la sicurezza.

Coding on Copilot: 2023 Data Suggests Downward Pressure on Code Quality (https://www.gitclear.com/coding_on_copilot_data_shows_ais_downward_pressure_on_code_quality)

Do Users Write More Insecure Code with AI Assistants? (https://arxiv.org/abs/2211.03622)

scusa ma sei del mesterie??

smetti di diffondere disinformazione..

se ti rivolgi ad un professionista che pre LLM scriveva codice sicuro questo scriverà codice ancora più sicuro post LLM...

il problema possono essere improvvisati che fanno copia incolla, questo sarà piu facile da fare...ma il problema è chi vuole risparmiare affidandosi ad un non professionista o l'LLM di turno usato dal copa incollatore scellerato??

E c'è anche scritto nel "paper universitario" ( :asd: che se hanno usato studenti universitari come campione siamo apposto... ) da te postato, lo hai almeno letto con attenzione?
"Furthermore, we find that participants who trusted the AI less and engaged more with the language and format of their prompts (e.g. re-phrasing, adjusting temperature) provided code with fewer security vulnerabilities."

Come tutti gli strumenti, gli LLM vanno usati con consapevolezza, nei limiti della loro utilità.
Io avrò usato la versione free di Copilot una decina di volte, e si è rivelato utile ogni volta per districarmi dubbi, darmi conferme, o aiutarmi a capire, in modo molto più veloce e riassuntivo che non facendo ricerche su internet o facendo richieste di aiuto sui forum...

*

è uno stagista un po' ingenuo ma super diligente ed informato che comprende anche domande complesse...basta prenderlo per quello che è.

nebuk
04-10-2024, 10:38
GPT mi è stato fondamentale sia per scoprire funzioni di un linguaggio di programmazione che conosco a malapena ma ero costretto a metterci mano, sia per scrivere paragrafi di chiacchiere al volo in documenti.

Mi ha risparmiato giornate intere di lavoro.