LLM forti solo nel linguaggio? Non proprio: c'è chi li sta allenando nel ragionamento non verbale

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/web/ll...le_133805.html

Un recente studio di Meta, insieme a UC San Diego, rivela come l'elaborazione nello spazio latente possa rivoluzionare il modo in cui i modelli linguistici affrontano problemi logici complessi, superando le limitazioni dell'elaborazione del linguaggio naturale.

Click sul link per visualizzare la notizia.

[s12a]

Non esattamente la stessa cosa dell'architettura JEPA di Yann LeCun (che ancora non ha trovato applicazione negli LLM), ma un passo verso quella direzione.

Quest'altro paper di un paio di giorni fa da Meta FAIR esplora altre idee in quel senso; un'architettura dove non viene predetta solo la successiva parola (o token), ma un intero concetto/frase:

Large Concept Models: Language Modeling in a Sentence Representation Space
https://arxiv.org/abs/2412.08821

[pachainti]

Facebook/Meta ha a capo del settore ricerca uno dei migliori ricercatori, LeCun, premio Turing 2018.
Tuttavia, dopo il flop di Galactica, non c'è da aspettarsi nulla. Anzi, il contrario.

Why Meta’s latest large language model survived only three days online

[s12a]

Originariamente inviato da pachainti

Facebook/Meta ha a capo del settore ricerca uno dei migliori ricercatori, LeCun, premio Turing 2018.
Tuttavia, dopo il flop di Galactica, non c'è da aspettarsi nulla. Anzi, il contrario.

Archeologia nel campo; cambia disco.

[pachainti]

Originariamente inviato da s12a

Archeologia nel campo; cambia disco.

Se vogliamo parlare di archeologia, dobbiamo andare ai tempi dei "padri" dell'IA, anni 70.

In 1958, Herbert Simon and Allen Newell wrote, “within ten years a digital computer will be the world’s chess champion”, and “within ten years a digital computer will discover and prove an important new mathematical theorem.”
In 1965, Herbert Simon predicted that “machines will be capable, within twenty years, of doing any work a man can do.”
In 1967, Marvin Minsky predicted that “Within a generation . . . the problem of creating `artificial intelligence’ will substantially be solved.”
In 1970, Marvin Minsky, in an interview with Life Magazine, stated “In from three to eight years we will have a machine with the general intelligence of an average human being.”

Come vedi ci hanno preso pienamente

Io mi baso sull'evidenza dei fatti, al momento gli LLM e chatGPT sono generatori di stronzate, come dimostrato anche da accademici: chatGPT is bullshit (archeologia di giugno-luglio 2024).
Se in futuro le cose cambieranno, poco probabile visto il funzionamento intrinseco degli algoritmi, potrò cambiare idea.

[Nui_Mg]

Originariamente inviato da pachainti

al momento gli LLM e chatGPT sono generatori di stronzate, come dimostrato anche da accademici

Comunque già allo stato attuale ci sono diversi compiti che sono molto ben serviti da specifici llm, per esempio nella ricerca semantica e infatti per i segnalibri la uso sempre più al posto dei tag strutturati.

[pachainti]

Originariamente inviato da Nui_Mg

Comunque già allo stato attuale ci sono diversi compiti che sono molto ben serviti da specifici llm, per esempio nella ricerca semantica e infatti per i segnalibri la uso sempre più al posto dei tag strutturati.

Si, in casi particolari, contesti limitati qualcosa funziona. Tuttavia, non c'è niente di intelligente, come spiegato praticamente ovunque.