Gli LLM riescono a risolvere problemi matematici complessi: cosa significa e perché è importante

[pachainti]

Originariamente inviato da Fantapollo

Secondo i bimbiminkia l'IA non ragiona...

Non tutta l'IA, quella sub simbolica come il machine learning e di conseguenza gli LLM ovvero apprendimento induttivo da esempi. L'IA simbolica, come i sistemi esperti, i dimostratori di teoremi, etc. ovvero la parte apprendimento deduttivo basato su logica e ragionamento, si, ma non è IA, il nome è forviante.
Gli LLM, come tutte le reti neurali e il machine learning, sono dei modelli probabilistici che generano i contenuti più probabili in base a quanto visto durante la fase di addestramento, nessuna consapevolezza, nessun senso di realtà, nessun ragionamento.
Gli LLM "riescono" a risolvere problemi matematici-algoritmici, copiando le soluzioni di problemi simili risolti da umani, niente di nuovo, per questo sono un vicolo cieco. Per esempio LeCun l'ha capito e ha cambiato idea sugli LLM.

OpenAI Researcher Forced to Delete "Embarrassing" Tweet Claiming Huge Breakthrough

Alcuni esempi di articoli scientifici:

Marzo 2025 Proof or Bluff? Evaluating LLMs on 2025 USA Math Olympiad
Our results reveal that all tested models struggled significantly: only Gemini-2.5-Pro achieves a non-trivial score of 25%, while all other models achieve less than 5%. Through detailed analysis of reasoning traces, we identify the most common failure modes and find several unwanted artifacts arising from the optimization strategies employed during model training. Overall, our results suggest that current LLMs are inadequate for rigorous mathematical reasoning tasks, highlighting the need for substantial improvements in reasoning and proof generation capabilities.

Giugno 2025 LiveCodeBench Pro: How Do Olympiad Medalists Judge LLMs in Competitive Programming?
We introduce LiveCodeBench Pro, a benchmark composed of problems from Codeforces, ICPC, and IOI that are continuously updated to reduce the likelihood of data contamination. A team of Olympiad medalists annotates every problem for algorithmic categories and conducts a line-by-line analysis of failed model-generated submissions. Using this new data and benchmark, we find that frontier models still have significant limitations: without external tools, the best model achieves only 53% pass@1 on medium-difficulty problems and 0% on hard problems, domains where expert humans still excel. We also find that LLMs succeed at implementation-heavy problems but struggle with nuanced algorithmic reasoning and complex case analysis, often generating confidently incorrect justifications. High performance appears largely driven by implementation precision and tool augmentation, not superior reasoning.

Settembre 2025 Brains vs. Bytes: Evaluating LLM Proficiency in Olympiad Mathematics
Our study reveals that current LLMs fall significantly short of solving challenging Olympiad-level problems and frequently fail to distinguish correct mathematical reasoning from clearly flawed solutions. Our analyses demonstrate that the occasional correct final answers provided by LLMs often result from pattern recognition or heuristic shortcuts rather than genuine mathematical reasoning. These findings underscore the substantial gap between LLM performance and human expertise in advanced mathematical reasoning and highlight the importance of developing benchmarks that prioritize the soundness of the reasoning used to arrive at an answer rather than the mere correctness of the final answers.

[sbaffo]

inutile rispondergli, il bimbominkia è lui che non sa nemmeno di cosa parla.

Anche Apple aveva messo alla prova una IA matemetica e aveva visto che appena si usciva dai soliti pattern sbarellava, ovviamente i pattern erano quelli tipici dell addestramento o dei comuni test ormai noti (e inseriti negli addestramenti).
llms cant perform genuine logical reasoning apple researchers suggest
https://arstechnica.com/ai/2024/10/l...chers-suggest/

[LMCH]

Originariamente inviato da UtenteHD

Vorrei sottolineare che attualmente, manco gli Scienziati capiscono bene come funziona un'AI, (dicono che e' come il Calabrone in quanto Scientificamente non dovrebbe volare, ma Lui non lo sa e vola benissimo), quindi pretendere che altri lo capiscano al 100% come funziona dettagliatamente e perfettamente, la vedo dura, ma tutto e' possibile.

"Gli scienziati" lo capiscono eccome come fa a volare il calabrone.

Quelli che non lo capiscono sono quelli che applicano al calabrone il modello di funzionamento SEMPLIFICATO di aerei ed elicotteri invece di ragionare in termini di fluidodinamica applicata al modello del calabrone.

A suo tempo avevo fatto la mia tesi magistrale su un argomento di visione computazionale (Computer Vision, uno dei problemi che in forma generale sono AI completi) e mi sono imbattuto in una situazione analoga.

C'erano vari algoritmi di feature matching che sembravano "piovuto dal cielo", così mi son messo a cercare da dove spuntassero fuori (eccetto alcune che indicavano la fonte d'ispirazione biologica), le pubblicazioni originali ed altre successive non erano di aiuto, così mi sono messo a cercare anche in pubblicazioni di biologia relative ad occhio e sistema nervoso centrale.
Per farla breve, un sacco di quegli algoritmi si basavano su VECCHI modelli biologici senza dirlo esplicitamente ed algoritmi successivi in larga parte hanno solo cercato di migliorare quelli esistenti invece di "ritornare alle origini" e prendere in considerazione cosa avevano scoperto i biologi ed i neurobiologi nel frattempo. Il motivo principale era che i "veccchi" modelli si applicano facilmente all'hardware esistente mentre quelli nuovi danno il meglio di se con event camera oppure richiedono risorse computazionali molto più potenti (per "simulare in software" una event camera e parte del lobo frontale).
Questo é anche uno dei motivi per cui trovo ridicola la fissa di Elon Musk di usare solo telecamere convenzionali sulle Tesla.

Con i LLM si sta verificando una situazione analoga: é tutta una corsa allo scaling, a crescere la potenza computazionale usando algoritmi "vecchi", i soldi spesi per vera ricerca di base sono briciole ed i risultati vengono ignorati se rischiano di compromettere i giochi di soldi che sostengono la bolla speculativa dei LLM.

[Fantapollo]

Originariamente inviato da pachainti

nessuna consapevolezza, nessun senso di realtà, nessun ragionamento.

Parole a caso, come sempre fanno i detrattori dell'IA.
Dammi una metrica per capire chi ha piu' consapevolezza, chi ha piu' senso di realta', chi ragiona e chi no.

Tu dici di avere piu' consapevolezza di Gemini? E come si misura questa cosa?
Hai piu' senso di realta'? E come si fa a dirlo?
Tu ragioni e l'IA no? E come conti il numero di ragionamenti?

Ci vogliono *** METRICHE ***, se non le hai sono parole a caso, pura spazzatura.

[Fantapollo]

Originariamente inviato da pachainti

sono dei modelli probabilistici

E perche', il tuo cervello no?
Solo perche' non ti accorgi di star calcolando delle probabilita', non significa che il cervello non lo stia facendo.

Ma quando ascolti un suono e identifichi una parola, cosa credi che faccia il tuo cervello? Credi che non lavori con le probabilita'?

[AlexSwitch]

Originariamente inviato da Fantapollo

E perche', il tuo cervello no?
Solo perche' non ti accorgi di star calcolando delle probabilita', non significa che il cervello non lo stia facendo.

Ma quando ascolti un suono e identifichi una parola, cosa credi che faccia il tuo cervello? Credi che non lavori con le probabilita'?

Semplicemente no! Il cervello umano lavora in maniera completamente differente da quello di un modello probabilistico e di un algoritmo sintetico.
Il cervello umano lavora per istinto e per astrazione in stretta correlazione con la memoria, la quale fisiologicamente non è assolutamente assimilabile a quella di un computer anche complesso.

[Fantapollo]

Originariamente inviato da AlexSwitch

Il cervello umano lavora per istinto.

Ed ecco qua, ancora parole completamente A CASO.
Come *** SEMPRE *** fanno i detrattori dell'IA.

Cosa sarebbe questo "istinto" ?
Come si riconosce una risposta "per istinto" da una "per ragionamento"?

Io dico che quello che tu chiami "istinto" altro non e' che non un calcolo delle probabilita'...

Credete che il cervello funzioni per magia,
In realta' funziona per impulsi elettrici *** ESATTAMENTE *** come un computer.

[pachainti]

Originariamente inviato da Fantapollo

Parole a caso, come sempre fanno i detrattori dell'IA.
Dammi una metrica per capire chi ha piu' consapevolezza, chi ha piu' senso di realta', chi ragiona e chi no.

Tu dici di avere piu' consapevolezza di Gemini? E come si misura questa cosa?
Hai piu' senso di realta'? E come si fa a dirlo?
Tu ragioni e l'IA no? E come conti il numero di ragionamenti?

Ci vogliono *** METRICHE ***, se non le hai sono parole a caso, pura spazzatura.

Non sono parole a caso, sono dati di fatto. Un LLM risponde con la stessa autorevolezza sia quando dice una cosa sensata sia quando genera una stronzata. Questo è stato ampiamente dimostrato da questo articolo scientifico chatGPT is bullshit o se vuoi risparmiare tempo spiegato da questo podcast DK 7x10 Stronzate Artificiali.

Se studi come funziona il machine learning, non c'è alcuna consapevolezza in nessun modello che gli appartiene proprio perché per definizione si basa sull'apprendimento induttivo da esempi che è agli antipodi rispetto all'apprendimento deduttivo basato su logica e ragionamento.
Gli LLM sono formidabili nei test con risposta chiusa poiché rispetto a un essere umano hanno un database immenso di risposte e soprattutto possono cercare su Internet. Viceversa, nelle risposte dove occorre consapevolezza, ragionamento, senso di realtà sono dei generatori di supercazzole.

"Non tutto ciò che può essere contato conta e non tutto ciò che conta può essere contato." Albert Einstein

L'unica spazzatura che vedo è quella di chi scrive senza sapere cosa sta dicendo.

Originariamente inviato da Fantapollo

E perche', il tuo cervello no?
Solo perche' non ti accorgi di star calcolando delle probabilita', non significa che il cervello non lo stia facendo.

Ma quando ascolti un suono e identifichi una parola, cosa credi che faccia il tuo cervello? Credi che non lavori con le probabilita'?

No, da quanto sappiamo il nostro cervello non è un modello probabilistico di machine learning che apprende da esempi. Gli animali e i bambini apprendono da esempi, gli adulti utilizzano (dovrebbero) la logica e il ragionamento ovvero l'apprendimento deduttivo.

Nella teoria della calcolabilità le funzioni calcolabili sono quelle calcolabili dalla macchina di Turing o dal calcolo lambda di Church.
Tuttavia, esistono problemi non calcolabili come quello dell'arresto, halting problem. Non sappiamo nemmeno definire cosa sia l'intelligenza e vorremmo addirittura calcolarla?
Inoltre, l'esperimento mentale della stanza cinese di Searle mostra come non sia possibile realizzare alcuna intelligenza artificiale forte o AGI, solo "intelligenza" artificiale debole in contesti limitati.

[barzokk]

Originariamente inviato da Fantapollo

Ed ecco qua, ancora parole completamente A CASO.
Come *** SEMPRE *** fanno i detrattori dell'IA.

Cosa sarebbe questo "istinto" ?
Come si riconosce una risposta "per istinto" da una "per ragionamento"?

Io dico che quello che tu chiami "istinto" altro non e' che non un calcolo delle probabilita'...

Credete che il cervello funzioni per magia,
In realta' funziona per impulsi elettrici *** ESATTAMENTE *** come un computer.

Chatgpt ti smentisce



Il cervello umano genera nuovi contenuti con il calcolo delle probabilità ?
]...]
Il cervello non genera “testo probabile”

Quando tu crei un’idea nuova:
non stai scegliendo la parola più probabile

stai combinando:
memoria
concetti astratti
emozioni
scopi
immaginazione
simulazione del futuro

Gli LLM fanno:
“Qual è la prossima parola statisticamente plausibile?”

Gli esseri umani fanno:
“Che cosa voglio dire? Che effetto voglio ottenere? Che idea sto costruendo?”

Una metafora utile

LLM:
un autocompletatore statistico estremamente sofisticato

Cervello umano:
un organismo che costruisce modelli del mondo per sopravvivere, desiderare, pianificare, creare significato

La risposta onesta scientificamente
Il cervello probabilmente usa meccanismi simili al ragionamento probabilistico,
ma non esegue calcoli espliciti di probabilità come un LLM.

Se vuoi, possiamo spingerci ancora più in profondità su una domanda affascinante:
👉 Gli LLM capiscono davvero qualcosa o stanno solo imitando l’intelligenza?

[AlexSwitch]

Originariamente inviato da Fantapollo

Ed ecco qua, ancora parole completamente A CASO.
Come *** SEMPRE *** fanno i detrattori dell'IA.

Cosa sarebbe questo "istinto" ?
Come si riconosce una risposta "per istinto" da una "per ragionamento"?

Io dico che quello che tu chiami "istinto" altro non e' che non un calcolo delle probabilita'...

Credete che il cervello funzioni per magia,
In realta' funziona per impulsi elettrici *** ESATTAMENTE *** come un computer.

Le parole a caso saranno casomai le tue e riflettono la tua visione immaginifica della realtà oggettiva. Vatti a leggere un pò di letteratura medica/scientifica in merito invece di scrivere bischerate.

Un esempio, banale, dell'istinto? La paura! Un altro? La coscienza di se! Altro esempio? La curiosità!

Il cervello funziona si grazie ad impulsi elettrici ma questi vengono prodotti e " gestiti " dalla rete di neuroni in maniera completamente differente di un mero circuito integrato che può assumere solamente due valori logici di stato! Anche qui di calcolo statistico/probabilistico non c'è proprio una beata fava, visto che il motore di tutto sono delle reazioni biochimiche a livello cellulare. Inoltre la statistica ed il calcolo probabilistico sono prodotti dell'intelletto umano affinati in migliaia di anni di esperienza di osservazione e di istinto!

Hai visto troppe puntate di Star Trek