o3 e o4-mini sono più inclini alle allucinazioni: inventano il doppio rispetto ai predecessori e OpenAI non sa perché

I modelli di intelligenza artificiale o3 e o4-mini recentemente presentati da OpenAI, stanno mostrando un comportamento che desta qualche preoccupazione, risultando maggiormente inclini ad incappare nelle cosiddette "allucinazioni" e cioè nella generazione di informazioni false o inventate, ma tali da apparire plausibili all'interno di un contesto.

Secondo i dati interni di OpenAI, sia o3 che o4-mini, progettati per ragionare in modo più approfondito prima di rispondere, producono più allucinazioni non solo rispetto ai modelli di ragionamento precedenti come o1, o1-mini e o3-mini, ma anche rispetto ai modelli tradizionali “non di ragionamento” come GPT-4o.

Il comportamento va ad invertire una tendenza che vedeva ogni nuova generazione ridurre progressivamente il fenomeno delle allucinazioni e al momento OpenAI non sembra essere in grado di spiegare con certezza le cause di questo peggioramento, limitandosi a sottolineare nei propri report tecnici che “sono necessarie ulteriori ricerche per comprendere perché le allucinazioni aumentano con la scalabilità dei modelli di ragionamento”.

E' stato il benchmark PersonQA, sviluppato dalla stessa OpenAI e utilizzato internamente per valutare la precisione delle conoscenze dei modelli sulle persone, ad evidenziare il problema: il modello o3 è incappato in allucinazioni nel 33% dei casi, circa il doppio rispetto ai predecessori o1 (16%) e o3-mini (14,8%). Ancora peggiore la performance di o4-mini, che ha raggiunto un tasso di allucinazione del 48%, ovvero quasi una risposta su due risulta inventata o errata.

Nonostante questi dati negativi, o3 si è distinto per una maggiore accuratezza complessiva rispetto a o1, ma con il rovescio della medaglia di produrre un maggior numero di affermazioni, sia corrette sia errate: “o3 tende a fare più affermazioni in generale, portando sia a più risposte accurate che a più risposte inesatte o allucinate”, si legge nel report tecnico di OpenAI.

Ci sono poi i riscontri di Transluce, un laboratorio indipendente di ricerca sull'IA, che mostrano come nel caso di o3 le allucinazioni non affliggano solo le informazioni generate, ma riguardino anche azioni che il modello sostiene di aver compiuto nel ragionamento e nel processo di risposta. In particolare Transluce afferma di aver osservato, in un caso, il modello o3 affermare di aver eseguito codice su un MacBook Pro del 2021 "al di fuori di ChatGPT" e di aver riportato i risultati nella sua risposta. Si tratta di un'operazione che o3 non può fare e va oltre la semplice invenzione di fatti, rappresentando un motivo di ulteriore preoccupazione per l'affidabilità.

Il tema delle allucinazioni nei modelli di intelligenza artificiale resta uno degli ostacoli più complessi e irrisolti del settore: se da un lato la capacità di generare contenuti originali può favorire la creatività, dall’altro rappresenta un rischio quando l'IA viene utilizzata in quei contesti che richiedono risposte affidabili e prive di errori.

OpenAI, attraverso il portavoce Niko Felix, ha dichiarato che “affrontare le allucinazioni in tutti i nostri modelli è un’area di ricerca continua e stiamo lavorando costantemente per migliorarne accuratezza e affidabilità”.