OpenAI e il caso FrontierMath: valutazione del modello o3 falsata?

La recente scoperta del coinvolgimento di OpenAI nella creazione del dataset FrontierMath sta generando discussioni nel mondo dell’intelligenza artificiale. Secondo quanto emerso, OpenAI non solo ha finanziato lo sviluppo del dataset, ma ha anche avuto accesso a una parte dei dati, e questo solleva interrogativi sulla validità dei risultati ottenuti dal modello di ragionamento o3 .

Il modello o3 è una versione avanzata dei modelli di linguaggio sviluppati da OpenAI, concepita per eccellere nel ragionamento matematico e logico. È stato descritto come un'intelligenza artificiale di "ragionamento", progettata per affrontare problemi complessi che richiedono non solo capacità di comprensione del linguaggio naturale ma anche abilità avanzate di calcolo, analisi logica e problem-solving.

FrontierMath, un benchmark progettato per valutare le capacità dei modelli AI in ambito matematico, era stato presentato come strumento indipendente e di riferimento. Tuttavia, i documenti pubblicati da Epoch AI, il team responsabile, rivelano che il finanziamento e l'accesso ai dati da parte di OpenAI sono stati inizialmente omessi. Solo nella versione finale del paper di presentazione, pubblicata su Arxiv.org, è stata esplicitata la connessione con OpenAI.

Le reazioni non si sono fatte attendere. Alcuni esperti e collaboratori del progetto hanno espresso delusione, perché si sospetta che l'accesso ai dati possa compromettere l'imparzialità del benchmark. Per affrontare il problema, Epoch AI ha annunciato l'introduzione di un dataset completamente nuovo, che non è stato condiviso con OpenAI e che sarà utilizzato per una valutazione indipendente delle performance del modello o3.

Tamay Besiroglu, direttore associato di Epoch AI, ha riconosciuto pubblicamente l'errore, spiegando che vincoli contrattuali hanno impedito una comunicazione tempestiva con i matematici coinvolti. Ha inoltre dichiarato che OpenAI non ha utilizzato i dati per l'addestramento del modello e che si è limitata a impiegarli per scopi di validazione.

Elliot Glazer, matematico principale di Epoch AI, ha confermato che i punteggi ottenuti da o3 sembrano legittimi, pur riconoscendo la necessità di ulteriori verifiche. Secondo Glazer, la futura valutazione basata sul nuovo dataset sarà "a prova di errore" e assicurerà un giudizio completamente imparziale.

o3 ha ottenuto una valutazione di 25% in FrontierMath, mentre i precedenti modelli IA non sono andati oltre il 2%, il che evidenzia la precisione e le prestazioni nettamente al di sopra della norma di questo modello.