Apple distrugge il mito dell'Intelligenza Artificiale: ecco perché la vera AI è solo un'illusione!

[Luke2011]

Originariamente inviato da Ago72

Se non ha un poco studiato l'AI, l'impressione che ragioni te la da'.

Se poi la studi meglio e magari sottoscrivi anche un abbonamento scopri che è esattamente quello che fa: negli ultimi due anni i più recenti modelli di IA come OpenAI o3 hanno evidenziato capacità deduttive molto forti, specialmente nel campo della logica, della matematica e del codice, capacità induttive, che possono sovrageneralizzare, ma che riescono a identificare pattern occulti basandosi su pochi esempi, e abduttive, con la capacità di esplorare ipotesi alternative (skill che erano stati già notati, nel campo della criminologia, della medicina e della ricerca, dal nostro Remo Pareschi nel suo "Abductive Reasoning with the GPT-4 Language Model: Case studies from criminal investigation, medical practice, scientific research").

Sono inoltre emerse capacità di problem solving zero-shot ("Large Language Models are Zero-Shot Reasoners" di Kojima, Matsuo, Iwasawa et al), ovvero la capacità di risolvere un problema al primo tentativo senza averne mai vista la soluzione, un modello della realtà (che inferisce strutture spaziali e causali dal linguaggio e da input multimodali), una "teoria della mente" ("Evaluating Large Language Models in Theory of Mind Tasks" di Michal Kosinski), ovvero la capacità di attribuire stati mentali come intenzioni o desideri ad altri soggetti, e perfino una stratificazione psicologica ("A Three-Layer Model of LLM Psychology", Jan Kulveit, 2024).

Originariamente inviato da Ago72

Apple ha fatto uno studio, e ha cercato di dimostrare le conclusioni a cui molti di noi erano arrivati empiricamente.

... ed empiricamente sbagliando, considerato che a distanza di pochi giorni è emerso che nello studio in oggetto 1) I limiti di token sono stati scambiati per fallimenti nel ragionamento (soprattutto nei puzzle della Torre di Hanoi) 2) Le valutazioni automatiche non riuscivano a distinguere tra vincoli pratici ed errori logici reali 3) I puzzle dell’attraversamento del fiume includevano istanze impossibili — e i modelli venivano penalizzati per non averle risolte.

Una volta corretti questi problemi, i modelli precedentemente etichettati come “fallimenti” hanno risolto i quesiti con successo ("Comment on The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models via the Lens of Problem Complexity" di C. Opus e A. Lawsen).

[abbatheking]

Originariamente inviato da Luke2011

Se poi la studi meglio e magari sottoscrivi anche un abbonamento scopri che è esattamente quello che fa: negli ultimi due anni i più recenti modelli di IA come OpenAI o3 hanno evidenziato capacità deduttive molto forti, specialmente nel campo della logica, della matematica e del codice, capacità induttive, che possono sovrageneralizzare, ma che riescono a identificare pattern occulti basandosi su pochi esempi, e abduttive, con la capacità di esplorare ipotesi alternative (skill che erano stati già notati, nel campo della criminologia, della medicina e della ricerca, dal nostro Remo Pareschi nel suo "Abductive Reasoning with the GPT-4 Language Model: Case studies from criminal investigation, medical practice, scientific research").

Sono inoltre emerse capacità di problem solving zero-shot ("Large Language Models are Zero-Shot Reasoners" di Kojima, Matsuo, Iwasawa et al), ovvero la capacità di risolvere un problema al primo tentativo senza averne mai vista la soluzione, un modello della realtà (che inferisce strutture spaziali e causali dal linguaggio e da input multimodali), una "teoria della mente" ("Evaluating Large Language Models in Theory of Mind Tasks" di Michal Kosinski), ovvero la capacità di attribuire stati mentali come intenzioni o desideri ad altri soggetti, e perfino una stratificazione psicologica ("A Three-Layer Model of LLM Psychology", Jan Kulveit, 2024).




... ed empiricamente sbagliando, considerato che a distanza di pochi giorni è emerso che nello studio in oggetto 1) I limiti di token sono stati scambiati per fallimenti nel ragionamento (soprattutto nei puzzle della Torre di Hanoi) 2) Le valutazioni automatiche non riuscivano a distinguere tra vincoli pratici ed errori logici reali 3) I puzzle dell’attraversamento del fiume includevano istanze impossibili — e i modelli venivano penalizzati per non averle risolte.

Una volta corretti questi problemi, i modelli precedentemente etichettati come “fallimenti” hanno risolto i quesiti con successo ("Comment on The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models via the Lens of Problem Complexity" di C. Opus e A. Lawsen).

Tutto vero e tutto bello ma sai perché le IA riescono a risolvere problemi col ragionamento?
Perché lo hanno appreso precedentemente e lo hanno modellizzato (con le fasi di auto-apprendimento).
In pratica usano le nostre capacità di ragionare con una potenza computazionale ovviamente superiore.
Il problema non è tanto questo, che come ho scritto in un post precedente è molto bello, efficacie e, già oggi, molto utile, quanto più la capacità di convergere ad una soluzione plausibile qualora non ci siano strumenti o dati sufficienti.
In quel caso le AI si ingarbugliano in soluzioni che perdono sempre più di significato fisico offrendo risposte sempre più astratte e contraddittorie. Ergo non si possono, a mio avviso, definire "Intelligenze" Artificiali.
Detto ciò, ribadisco che le attuali AI possono essere estremamente efficaci nell'automazione di tutta una serie di processi che oggi coinvolge ancora la manodopera umana.

[TorettoMilano]

le discussioni sono interessanti ma in merito al "ragionamento" trovo il tutto più filosofico che tecnico. ormai da anni l'IA "ruba" lavori, domani potrebbe rubare il nostro e personalmente troverei avvilente dover ammettere di essere stato rimpiazzato da qualcosa che non ragiona

[tedebus]

La fotocamera frontale non serve a niente (fino ad iPhone 3), gli smartphone devono essere piccoli e le padelle non servono, una finestra alla volta sul desktop per MacOS, il tasto destro del mouse non serve,... La lista è lunga.
Ma stiamo parlando di quelli che hanno fatto quella immondizia di Apple Intelligence?

[PierPang]

Da profano mi viene da osservare che anche l'intelligenza umana tende a collassare quando si tratta di applicare algoritmi con troppe iterazioni, 23*3 a mente ci riusciamo ma 6728*68977 è un altro discorso, ci perdiamo. La mia risposta sarebbe "comprati una calcolatrice" che è più o meno quello che rispondono gli LM.
Resto perplesso quando qualcuno dice "le macchine non pensano come noi". Ma come pensiamo noi, lo sappiamo? L'architettura della nostra rete neurale non è poi così nota, quindi è difficile dire quali siano le differenze. I neuroni si assomigliano: dendriti come ingressi, sinapsi come pesi, soglia di attivazione sia nei neuroni biologici che in quelli artificiali. Sento dire che è "simulazione" ma cambia solo il materiale, l'elaborazione del segnale è identica, in entrambi i casi sono miliardi di piccoli interruttori elettrici. Posso credere che l'architettura del cervello umano possa funzionare meglio, ma non saremo pappagalli stocastici anche noi?

[abbatheking]

Originariamente inviato da PierPang

Da profano mi viene da osservare che anche l'intelligenza umana tende a collassare quando si tratta di applicare algoritmi con troppe iterazioni, 23*3 a mente ci riusciamo ma 6728*68977 è un altro discorso, ci perdiamo. La mia risposta sarebbe "comprati una calcolatrice" che è più o meno quello che rispondono gli LM.
Resto perplesso quando qualcuno dice "le macchine non pensano come noi". Ma come pensiamo noi, lo sappiamo? L'architettura della nostra rete neurale non è poi così nota, quindi è difficile dire quali siano le differenze. I neuroni si assomigliano: dendriti come ingressi, sinapsi come pesi, soglia di attivazione sia nei neuroni biologici che in quelli artificiali. Sento dire che è "simulazione" ma cambia solo il materiale, l'elaborazione del segnale è identica, in entrambi i casi sono miliardi di piccoli interruttori elettrici. Posso credere che l'architettura del cervello umano possa funzionare meglio, ma non saremo pappagalli stocastici anche noi?

La moltiplicazione non è prova di pensiero o ragionamento deduttivo ma di capacità computazionale e inseguimento di un metodo.
Se hai abbastanza fogli puoi risolvere la seconda moltiplicazione ma ovviamente una calcolatrice (che può essere un modulo di una IA ma non rappresenta una IA) la risolverà molto prima.
Quello di cui si discute è il fatto che una IA non è in grado di eseguire autonomamente un controllo sul proprio ragionamento in modo efficacie come la nostra mente. Siccome l'IA cerca sempre e comunque di darti una risposta fino ad astrarla sulla base delle informazioni in suo possesso e della complessità dei suoi algoritmi, essa potrebbe chiudersi in un circolo vizioso contraddicendosi pur di elaborare la richiesta.
La mente umana non lo fa... o non dovrebbe quanto meno... o potrebbe non farlo
Laddove la mente non riesca sarebbe il caso di dire che sia quella mente ad essere come una IA e non viceversa.

[zoomx]

Quelli esposti qui mi sembrano tutti argomenti che si potrebbero applicare anche agli umani.

Quanti umani saprebbero rispondere alle domande di @lemuel?
Quanti umani si incartano pur di darti una risposta?

[pachainti]

Originariamente inviato da Luke2011

E sì, in effetti è vero: non è più necessario "fare dichiarazioni" circa la capacità della IA di ragionare, perché vari studi hanno già dimostrato che possono, dato che i modelli più avanzati come OpenAI o3, Gemini 2.5 Pro ecc, sono capaci di pensiero deduttivo, induttivo e abduttivo.

Certo, certo

Oltre a quanto riportato qui.

Ottobre 2024 The LLM Reasoning Debate Heats Up
In conclusion, there’s no consensus about the conclusion! There are a lot of papers out there demonstrating what looks like sophisticated reasoning behavior in LLMs, but there’s also a lot of evidence that these LLMs aren’t reasoning abstractly or robustly, and often over-rely on memorized patterns in their training data, leading to errors on “out of distribution” problems. Whether this is going to doom approaches like OpenAI’s o1, which was directly trained on people’s reasoning traces, remains to be seen. In the meantime, I think this kind of debate is actually really good for the science of LLMs, since it spotlights the need for careful, controlled experiments to test robustness—experiments that go far beyond just reporting accuracy—and it also deepens the discussion of what reasoning actually consists of, in humans as well as machines.

Ottobre 2024 GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models
To address these concerns, we conduct a largescale study on several state-of-the-art open and closed models. To overcome the limitations of existing evaluations, we introduce GSM-Symbolic, an improved benchmark created from symbolic templates that allow for the generation of a diverse set of questions. GSM-Symbolic enables more controllable evaluations, providing key insights and more reliable metrics for measuring the reasoning capabilities of models. Our findings reveal that LLMs exhibit noticeable variance when responding to different instantiations of the same question. Specifically, the performance of all models declines when only the numerical values in the question are altered in the GSM-Symbolic benchmark. Furthermore, we investigate the fragility of mathematical reasoning in these models and demonstrate that their performance significantly deteriorates as the number of clauses in a question increases. We hypothesize that this decline is due to the fact that current LLMs are not capable of genuine logical reasoning; instead, they attempt to replicate the reasoning steps observed in their training data. When we add a single clause that appears relevant to the question, we observe significant performance drops (up to 65%) across all state-of-the-art models, even though the added clause does not contribute to the reasoning chain needed to reach the final answer. Overall, our work provides a more nuanced understanding of LLMs’ capabilities and limitations in mathematical reasoning.


Trusting your own judgement on ‘AI’ is a huge risk
You can’t trust your own instincts or judgement about Large Language Models and chatbots because they trigger a number of cognitive biases and psychological “effects” that short-circuit our judgement.

A big risk of exposure to con artists, such as a psychic, is when a smart person is fooled by their own subjective experience and cognitive blindness to probabilities and distribution, refuses to believe they were fooled, and becomes and evangelist for the con.

It’s no surprise that an almost religious faith in “AI” spreads fast among those open to the idea.

Attenzione a usare troppo questa presunta IA
Your Brain on ChatGPT: Accumulation of Cognitive Debt when Using an AI Assistant for Essay Writing Task