OpenAI lancia o3 e o4-mini: i nuovi modelli ora pensano con le immagini

Con il lancio di OpenAI o3 e o4-mini, la società guidata da Sam Altman introduce una nuova generazione di modelli progettati per "pensare più a lungo prima di rispondere", migliorando così la qualità e la precisione delle risposte in compiti complessi.

Questi modelli non solo ragionano meglio, ma possono usare in modo autonomo tutti gli strumenti disponibili in ChatGPT: dalla ricerca sul web, all'analisi di file tramite Python, alla generazione di immagini, fino alla comprensione e manipolazione di input visivi come foto o grafici.

OpenAI o3 è descritto come il modello di ragionamento più potente mai realizzato dalla società. Si distingue per capacità di ragionamento avanzato in ambiti come programmazione, matematica, scienze e percezione visiva. OpenAI o3 ha stabilito nuovi record su benchmark di riferimento come Codeforces, SWE-bench e MMMU, dimostrando di saper affrontare problemi che richiedono analisi su più livelli.

Un punto di forza particolare è l'analisi delle immagini (qui maggiori informazioni): o3 riesce a interpretare contenuti visivi anche se sfocati o di bassa qualità, rendendo possibili nuove forme di problem-solving multimodale.

"Per la prima volta, questi modelli possono integrare le immagini direttamente nella loro catena di pensiero. Non si limitano a vedere un'immagine: pensano con essa. [...] Le persone possono caricare una foto di una lavagna, un diagramma di un libro di testo o uno schizzo disegnato a mano e il modello può interpretarla, anche se l'immagine è sfocata, invertita o di bassa qualità. Utilizzando gli strumenti, i modelli possono manipolare le immagini al volo, ruotandole, ingrandendole o trasformandole come parte del loro processo di ragionamento", spiega OpenAI. 

Inoltre, i modelli sono in grado di usare strumenti di ChatGPT in modo strategico, capendo quando e come ricorrere a ciascuno per raggiungere un obiettivo: un passo significativo verso gli "agenti IA", ossia un'IA capace di lavorare in autonomia. Secondo valutazioni indipendenti, o3 commette il 20% di errori gravi in meno rispetto al suo predecessore o1 e brilla soprattutto in settori come consulenza, ricerca scientifica e ideazione creativa.

Il nuovo o4-mini, invece, viene descritto come l'equilibrio ideale tra potenza e efficienza. Ottimizzato per offrire ragionamento veloce ed economico, è il miglior modello in assoluto nei test AIME 2024 e 2025 (competizioni di matematica avanzata).

Performante anche al di fuori delle discipline STEM, o4-mini è pensato per chi ha bisogno di elevati volumi di utilizzo senza rinunciare alla qualità. Grazie al suo basso costo computazionale, supporta limiti di utilizzo molto più alti rispetto a o3.

Entrambi i modelli sono stati addestrati tramite reinforcement learning per imparare non solo a usare gli strumenti, ma a decidere autonomamente quando usarli. Questo permette loro di adattarsi a compiti come cercare dati aggiornati online, scrivere codice, generare previsioni o creare visualizzazioni - il tutto in circa un minuto.

In parallelo al lancio dei nuovi modelli, OpenAI ha annunciato Codex CLI, un esperimento open-source che porta le capacità di ragionamento di o3 e o4-mini direttamente nel terminale. Questo agente leggero per programmatori consente di interagire con i modelli da riga di comando, fornendo screenshot, sketch o codice per ottenere risposte direttamente sul proprio computer.

OpenAI ha inoltre annunciato un programma di finanziamento da 1 milione di dollari per progetti basati su Codex CLI, con grant da 25.000 dollari in crediti API.

Gli utenti di ChatGPT Plus, Pro e Team possono iniziare a selezionare e usare o3, o4-mini e o4-mini-high da subito, al posto di o1, o3-mini e o3-mini-high. Gli utenti di ChatGPT Enterprise ed Edu potranno accedervi tra una settimana. Gli utenti gratuiti possono provare o4-mini selezionando "Think" nel compositore prima di inviare la loro richiesta.

"Prevediamo di rilasciare OpenAI o3-pro tra qualche settimana con il supporto completo dello strumento. Per ora, gli utenti Pro possono ancora accedere a o1-pro", aggiunge OpenAI. Sia o3 che o4-mini sono disponibili oggi anche per gli sviluppatori tramite l'API Chat Completions e l'API Responses.