DiffusionGemma sfida gli LLM tradizionali: generazione parallela e fino a 4 volte più veloce su GPU

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/web/di...pu_154694.html

Google DeepMind ha annunciato DiffusionGemma, un modello open source sperimentale basato sulla generazione testuale tramite diffusione. Grazie alla produzione parallela di blocchi di testo, il sistema raggiunge velocità fino a quattro volte superiori rispetto agli LLM autoregressivi tradizionali in scenari locali.

Click sul link per visualizzare la notizia.

[pengfei]

Bene che diventi un hot topic, magari qualcuno glieli ammolla tre o quattro miliardi di dollari per la startup del mio ex compagno di scuola che si occupa giusto di queste cose

[UtenteHD]

Beh che siamo alla preistoria per AI è chiaro, non so se questo metodo rende veramente, vedremo, ma è normalissimo che tutto quanto investito serva ad ottenere nuovi software AI e nuovi HW AI con sempre migliore potenza all'inversamente proporzionale consumo di energia e si spera consumo di acqua.

[mmorselli]

Usare diffusion al posto di transformer per la generazione del testo non è affatto una novità, sarà una novità questo modello specifico di google, ma non la tecnica in sé

Il problema di diffusion è che non ragiona, è come se rispondesse con la prima cosa che gli viene in mente, mentre uno dei principali progressi negli LLM si è dovuto proprio al ragionamento, la catena di pensieri, dove gli errori vengono corretti perché non tornano con il resto del ragionamento. Inoltre diffusion funziona sul testo come fa per le immagini (dove è il modello che va per la maggiore), cioè prima ancora di fare la domanda stabilisci quanto è grande la risposta, altezza e larghezza nel caso di una immagine, cioè non solo le risposte saranno la prima che gli viene in mente, ma avranno anche tutte la stessa lunghezza, e va da sé che questo sia a discapito della precisione.

In alcuni compiti specifici ha senso, ma per chiedere all'AI di studiare una strategia di marketing anche no.

[Piedone1113]

Originariamente inviato da mmorselli

Usare diffusion al posto di transformer per la generazione del testo non è affatto una novità, sarà una novità questo modello specifico di google, ma non la tecnica in sé

Il problema di diffusion è che non ragiona, è come se rispondesse con la prima cosa che gli viene in mente, mentre uno dei principali progressi negli LLM si è dovuto proprio al ragionamento, la catena di pensieri, dove gli errori vengono corretti perché non tornano con il resto del ragionamento. Inoltre diffusion funziona sul testo come fa per le immagini (dove è il modello che va per la maggiore), cioè prima ancora di fare la domanda stabilisci quanto è grande la risposta, altezza e larghezza nel caso di una immagine, cioè non solo le risposte saranno la prima che gli viene in mente, ma avranno anche tutte la stessa lunghezza, e va da sé che questo sia a discapito della precisione.

In alcuni compiti specifici ha senso, ma per chiedere all'AI di studiare una strategia di marketing anche no.

La diffusione mi ha sempre fatto pensare ad accontentarti di quello che ti viene dato e non di quello che hai chiesto