Google AI Overviews sbaglia poco, ma tanto: 57 milioni di risposte false all'ora

Un'analisi del New York Times pubblicata nei giorni scorsi ha messo sotto i riflettori uno degli asset strategici attualmente più importanti per Google: le AI Overviews, i box di risposta generati da Gemini che compaiono in cima ai risultati di ricerca. La conclusione numerica è sembra essre rassicurante, ma uno sguardo più attento permette di cogliere un problema di scala ben più preoccupante: le AI Overviews sono corrette circa il 90-91% delle volte, ma su cinque trilioni di ricerche l'anno elaborate da Google, quel 10% di errori si traduce in oltre 57 milioni di risposte sbagliate ogni ora.

Il benchmark usato nell'indagine è SimpleQA, sviluppato dalla startup di ricerca AI Oumi, che comprende oltre 4.000 domande con risposte fattuali verificabili. I risultati mostrano un miglioramento progressivo: con Gemini 2 (ottobre 2025) le AI Overviews rispondevano correttamente all'85% delle domande; con Gemini 3 (febbraio 2026) il tasso è salito all'91%. Un progresso reale, ma insufficiente a contenere il volume assoluto di errori generato dalla portata globale del motore di ricerca.

Google vs Oumi: due misure, due realtà

La frattura più significativa emersa dall'inchiesta non riguarda i numeri in sé, ma chi li produce e con quali metodiche. Per Oumi, SimpleQA è uno standard riconosciuto nel settore per valutare l'accuratezza fattuale dei modelli AI generativi: oltre 4.000 domande con risposta univoca e verificabile, progettate per misurare quanto un sistema si fidi di sé stesso su affermazioni concrete. Applicato alle AI Overviews con Gemini 3, il risultato è un tasso di errore del 9-10%.

Un quadro che viene contestato da Google per due aspetti. Il primo è metodologico: secondo l'azienda, SimpleQA contiene i propri errori e, soprattutto, non rispecchia la distribuzione reale delle query degli utenti, dato che chi cerca su Google raramente pone domande con risposta binaria e verificabile come quelle del benchmark. Il secondo fronte è ancora più scomodo: i dati interni di Google, emersi dall'indagine giornalistica del NYT e non divulgati spontaneamente dall'azienda, indicano che la sua valutazione proprietaria, basata su un dataset più ristretto chiamato SimpleQA Verified, con risposte validate in modo più stringente, colloca il tasso di errore al 28%. Una cifra tre volte superiore a quella di Oumi, prodotta con uno strumento che Google stesso considera più affidabile del benchmark esterno. Quello che emerge è però una contraddizione che desta più di una perplessità: Mountain View sostiene che SimpleQA sopravvaluti gli errori, mentre i propri dati interni mostrano un quadro ancora peggiore.

Google ha ribadito che le AI Overviews sono affiancate da link alle fonti e da un avviso esplicito in fondo al riquadro: "Le risposte dell'AI potrebbero contenere errori". La posizione ufficiale è che questo avvertimento sia sufficiente per informare l'utente. Pratik Verma di Okahu, citato nell'indagine NYT, ha osservato che la tecnologia di Google "è paragonabile ad altri sistemi AI leader": un'affermazione che suona come una difesa ma che, nei fatti, non fa altro che evidenziare che tutti i modelli linguistici di frontiera allucinano a tassi significativi, e nessuno di loro è stato originariamente progettato per rispondere a cinque trilioni di ricerche l'anno in qualità di editore primario di informazione.

Il fenomeno delle risposte "ungrounded"

Al di là del dibattito sul benchmark, c'è un terzo dato che nessuna delle due parti contesta e che è probabilmente il più insidioso: quello delle risposte cosidderr "ungrounded". Si tratta di risposte che risultano tecnicamente corrette ma le cui fonti citate non supportano effettivamente l'affermazione riportata. In ottobre 2025, il 37% delle risposte corrette era ungrounded. A febbraio 2026, quella percentuale è salita al 56%, nonostante il modello fosse diventato più accurato nel complesso. Per riparametrare questi numeri, significa che più di una risposta su due che Google presenta come corretta non può essere verificata cliccando sulle fonti indicate. Il sistema di citazione, che dovrebbe permettere all'utente di risalire all'informazione originale, è decorativo nella maggior parte dei casi.

Tra le 5.380 fonti analizzate nello studio Oumi, Facebook e Reddit figurano rispettivamente come secondo e quarto dominio più citato nelle AI Overviews. Nelle risposte errate, Facebook viene citato nel 7% dei casi, contro il 5% delle risposte corrette. Il modello non distingue in modo affidabile tra una fonte accademica e un post su un gruppo Facebook, né tra una pagina ufficiale e un thread Reddit.

Errori documentati e il caso delle query mediche

L'indagine del NYT ha documentato errori specifici e verificabili. Le AI Overviews hanno indicato il 1987 come anno di apertura del Bob Marley Museum (la data corretta è 11 maggio 1986), hanno fornito informazioni sulla presunta morte di Hulk Hogan senza segnalare la contraddizione con gli articoli di notizie visibili appena sotto il riquadro AI, e hanno sbagliato il nome del fiume che scorre a ovest di Goldsboro, NC, indicando il Neuse River anziché il Little River.

Il contesto più critico rimane però quello delle query mediche. Un'indagine del Guardian di gennaio 2026, citata nell'articolo del NYT, aveva già documentato che le AI Overviews fornivano consigli sanitari pericolosi nel 44% delle ricerche mediche analizzate, incluse indicazioni errate per pazienti oncologici e interpretazioni fuorvianti dei test di funzionalità epatica. Google ha risposto rimuovendo le AI Overviews da un sottoinsieme di query sanitarie specifiche, senza però rendere pubblico l'elenco delle query escluse né i criteri di selezione adottati.

La questione di scala che a cui nessun metodo risponde

Che si accetti il 10% di Oumi o il 28% di Google, il problema di fondo non cambia: entrambe le cifre, moltiplicate per la scala del motore di ricerca più usato al mondo, producono un volume di disinformazione senza precedenti nella storia dei media. Quando Google ha introdotto le AI Overviews nel 2024, ha trasformato il suo ruolo da aggregatore di link a publisher diretto di contenuti. Quella transizione ha spostato su Google stesso la responsabilità dell'accuratezza delle risposte, una responsabilità che i numeri emersi dall'indagine del NYT, qualunque benchmark si scelga di credere, suggeriscono non sia ancora gestita in modo adeguato alla portata del sistema.