OpenAI e il caso FrontierMath: valutazione del modello o3 falsata?

OpenAI e il caso FrontierMath: valutazione del modello o3 falsata?

Il coinvolgimento non dichiarato di OpenAI, l'azienda responsabile di ChatGPT, nella creazione del dataset FrontierMath ha sollevato dubbi sull'affidabilità dei punteggi ottenuti dal modello di intelligenza artificiale o3, concepito per eccellere nel ragionamento matematico e logico

di pubblicata il , alle 12:01 nel canale Web
OpenAIChatGPT
 

La recente scoperta del coinvolgimento di OpenAI nella creazione del dataset FrontierMath sta generando discussioni nel mondo dell’intelligenza artificiale. Secondo quanto emerso, OpenAI non solo ha finanziato lo sviluppo del dataset, ma ha anche avuto accesso a una parte dei dati, e questo solleva interrogativi sulla validità dei risultati ottenuti dal modello di ragionamento o3 .

Il modello o3 è una versione avanzata dei modelli di linguaggio sviluppati da OpenAI, concepita per eccellere nel ragionamento matematico e logico. È stato descritto come un'intelligenza artificiale di "ragionamento", progettata per affrontare problemi complessi che richiedono non solo capacità di comprensione del linguaggio naturale ma anche abilità avanzate di calcolo, analisi logica e problem-solving.

OpenAI ChatGPT

FrontierMath, un benchmark progettato per valutare le capacità dei modelli AI in ambito matematico, era stato presentato come strumento indipendente e di riferimento. Tuttavia, i documenti pubblicati da Epoch AI, il team responsabile, rivelano che il finanziamento e l'accesso ai dati da parte di OpenAI sono stati inizialmente omessi. Solo nella versione finale del paper di presentazione, pubblicata su Arxiv.org, è stata esplicitata la connessione con OpenAI.

Le reazioni non si sono fatte attendere. Alcuni esperti e collaboratori del progetto hanno espresso delusione, perché si sospetta che l'accesso ai dati possa compromettere l'imparzialità del benchmark. Per affrontare il problema, Epoch AI ha annunciato l'introduzione di un dataset completamente nuovo, che non è stato condiviso con OpenAI e che sarà utilizzato per una valutazione indipendente delle performance del modello o3.

Tamay Besiroglu, direttore associato di Epoch AI, ha riconosciuto pubblicamente l'errore, spiegando che vincoli contrattuali hanno impedito una comunicazione tempestiva con i matematici coinvolti. Ha inoltre dichiarato che OpenAI non ha utilizzato i dati per l'addestramento del modello e che si è limitata a impiegarli per scopi di validazione.

Elliot Glazer, matematico principale di Epoch AI, ha confermato che i punteggi ottenuti da o3 sembrano legittimi, pur riconoscendo la necessità di ulteriori verifiche. Secondo Glazer, la futura valutazione basata sul nuovo dataset sarà "a prova di errore" e assicurerà un giudizio completamente imparziale.

o3 ha ottenuto una valutazione di 25% in FrontierMath, mentre i precedenti modelli IA non sono andati oltre il 2%, il che evidenzia la precisione e le prestazioni nettamente al di sopra della norma di questo modello.

La comunità scientifica rimane in attesa dei risultati di queste verifiche indipendenti, che chiariranno se il modello o3 abbia beneficiato di un vantaggio inappropriato o se i punteggi siano effettivamente rappresentativi delle sue capacità. Questa vicenda evidenzia comunque l’importanza della trasparenza nella ricerca sull’intelligenza artificiale, soprattutto quando i risultati possono influenzare l'intero settore.

1 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - info
pengfei20 Gennaio 2025, 12:51 #1
Fino a qui tutto bene...Fino a qui tutto bene...Fino a qui tutto bene...

Devi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".

La discussione è consultabile anche qui, sul forum.
 
^