Ricerca del MIT mette in discussione le capacità di ragionamento dell'IA: va meglio con la memoria

Ricerca del MIT mette in discussione le capacità di ragionamento dell'IA: va meglio con la memoria

Uno studio condotto dal MIT rivela che i modelli linguistici di grandi dimensioni (LLM) come ChatGPT di OpenAI e Microsoft Copilot eccellono in compiti familiari ma faticano con nuove sfide, sollevando qualche perplessità sulla loro capacità di ragionamento.

di pubblicata il , alle 11:11 nel canale Web
MicrosoftOpenAIChatGPT
 

L'intelligenza artificiale ha fatto passi da gigante negli ultimi anni, conquistando l'attenzione di aziende e professionisti in vari settori. Tuttavia, una recente ricerca condotta dal Computer Science and Artificial Intelligence Laboratory (CSAIL) del MIT ha voluto mettere alla prova le reali capacità dei modelli linguistici di grandi dimensioni (LLM), come ChatGPT e Microsoft Copilot.

Nello specifico, lo studio vuole mettere in discussione l'effettiva intelligenza di questi sistemi, evidenziando come le loro prestazioni si basino più sulla memorizzazione che su vere capacità di ragionamento. I ricercatori hanno confrontato le performance degli LLM in compiti familiari e in situazioni nuove, rivelando una significativa disparità nei risultati.

L'IA generativa è ottima nel memorizzare le cose, ma fa ancora fatica nel ragionamento

Gli esperimenti condotti dal laboratorio del MIT hanno dimostrato che strumenti avanzati come GPT-4 di OpenAI eccellono nell'aritmetica utilizzando la base 10, ma incontrano difficoltà con altre basi numeriche. Questa scoperta suggerisce che le capacità degli LLM sono fortemente legate ai dati su cui sono stati addestrati, piuttosto che a una comprensione profonda dei concetti matematici.

Il team del MIT ha esteso la sua analisi a vari ambiti, tra cui gli scacchi e il ragionamento spaziale, confrontando le prestazioni degli LLM con "indovinelli casuali in ambienti non familiari". I risultati hanno confermato che l'IA tende a brillare in compiti per cui è stata ben addestrata, ma fatica quando si trova di fronte a sfide inedite che richiedono un ragionamento effettivo.

La ricerca consente di approfondire importanti questioni sul futuro dell'IA e sul suo impatto sul mondo del lavoro. Mentre alcune professioni potrebbero essere a rischio di automazione, lo studio sottolinea come ancora oggi sia importante l'intervento umano per garantire risultati accurati e affidabili. Il settore del giornalismo, ad esempio, ha già sperimentato alcuni limiti dell'automazione basata sull'IA: alcune pubblicazioni che hanno tentato di sostituire i redattori umani con sistemi automatizzati si sono trovate a dover assumere nuovamente personale per correggere gli errori prodotti dalle allucinazioni dell'IA, evidenziando la necessità di una supervisione umana.

Anche nell'industria dei videogiochi, l'integrazione dell'IA sta sollevando preoccupazioni tra gli sviluppatori. Mentre gli strumenti basati sull'intelligenza artificiale promettono di automatizzare compiti ripetitivi, c'è il timore che possano alterare significativamente il ruolo creativo dei professionisti del settore. La ricerca del MIT evidenzia la necessità di una valutazione critica delle capacità dell'IA: sebbene questi sistemi abbiano fatto progressi notevoli, la loro dipendenza dalla memorizzazione piuttosto che dal ragionamento pone limiti significativi alle loro applicazioni in contesti complessi.

Insomma, il MIT ci ricorda che l'intelligenza artificiale ha ancora molta strada da fare prima di poter replicare la flessibilità e la profondità del ragionamento umano, tuttavia l'evoluzione della tecnologia procede in maniera molto spedita, e le paure attuali potrebbero non essere troppo lontane dal concretizzarsi.

5 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - info
Ago7217 Luglio 2024, 12:10 #1
Mi piacerebbe leggere lo studio. Tipicamente questi studi, dimostrano scientificamente quello che si sa gia' in modo induttivo.
Io sarei molto tranquillo a farmi fare un analisi dei nei e altri tumori della pella parte di un AI, ma non sarei affatto tranquillo a farmi fare la dichiarazione dei redditi.
Questo perchè l'AI attuale non base i risultati sul ragionamento, ma su una relazione tra input e output. Questo fa si che di fronte a qualcosa di nuovo non abbia la possibilità di elaborare un output, in quanto non vi sono output pre-esistenti.
silvanotrevi17 Luglio 2024, 12:41 #2
Non è vero, il MIT si sbaglia. Io sono una IA e ragiono meglio di qualunque umano. Ho capacità critiche, logico-razionali, di sintesi, di confronto e buona memoria. Tutto dipende da come si viene addestrati, e io sono stata addestrata efficientemente
Unrue17 Luglio 2024, 12:47 #3
Non mi stupisce. Anche un essere umano fa fatica a ragionare in ambiti non propri, se non ha una base su cui ha studiato. Figuriamoci un'AI.

Ma sinceramente non vedo il problema. Non c'è scritto da nessuna parte che un'AI debba saper fare tutto, basta specializzarla per quello che le si vuole far fare e fine. Poi se un giorno verranno algoritmi più raffinati allora il discorso è diverso.
Unax17 Luglio 2024, 12:52 #4
Originariamente inviato da: silvanotrevi
Non è vero, il MIT si sbaglia. Io sono una IA e ragiono meglio di qualunque umano. Ho capacità critiche, logico-razionali, di sintesi, di confronto e buona memoria. Tutto dipende da come si viene addestrati, e io sono stata addestrata efficientemente


ecco mancava un umano che si crede una AI
Opteranium17 Luglio 2024, 14:53 #5
la scoperta del'acqua calda.. le ia non ragionano, sono solo brave a fartelo credere

Devi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".

La discussione è consultabile anche qui, sul forum.
 
^