Claude batte ChatGPT: la battaglia tra i chatbot IA è appena iniziata

I rapporti di forza nel campo delle intelligenze artificiali generative conversazionali hanno subito un rimescolamento importante nel corso dei giorni passati quando Claude 3 Opus, il modello linguistico di grandi dimensioni (LLM) sviluppato da Anthropic, ha superato GPT-4 di OpenAI nella Chatbot Arena, una piattaforma di crowdsourcing popolare tra i ricercatori di intelligenza artificiale per valutare le capacità relative dei modelli linguistici di intelligenza artificiale.

Chatbot Arena è una particolare piattaforma per la valutazione delle IA generative conversazionali che presenta agli utenti gli output di due LLM differenti, senza specificare di quali si tratta, e li invita a valutare quale tra essi sia il migliore sulla base di criteri del tutto soggettivi. Incrociando e mediando migliaia di confronti, Chatbot Arena determina quali siano i modelli migliori compilando una classifica, che viene via via aggiornata nel corso del tempo.

Non è solo il modello di punta di Anthropic, Claude 3 Opus, ad aver raccolto un risultato storico, ma anche uno dei loro modelli più piccoli, Haiku, ha attirato l'attenzione grazie a prestazioni significative.

Può sembrare una cosa di poco conto, ma tra i ricercatori e gli sviluppatori si è trattato di un evento quasi epocale: sui social network si è velocemente diffuso il meme "Il re è morto" e "RIP GPT-4", assieme al confronto tra i risultati dei due modelli LLM nella Chatbot Arena.

Del resto da quando GPT-4 è stato introdotto nella Chatbot Arena a maggio del 2023 si è sempre posizionato, con le sue varianti, ai vertici della classifica: per la prima volta, invece, i migliori modelli al momento disponibili (Opus per compiti avanzati, Haiku in termini di efficienza) sono di una società che non è OpenAI.

Nonostante la presenza di quattro modelli GPT-4 nella classifica, i modelli Claude 3 di Anthropic hanno scalato costantemente le posizioni sin dal loro rilascio all'inizio di questo mese.

La piattaforma Chatbot Arena è gestita da Large Model Systems Organization, realtà dedicata ai modelli aperti e che coinvolge studenti e docenti dell'Università della California-Berkeley, dell'UC San Diego e della Carnegie Mellon University.

Si tratta di una piattaforma di particolare importanza nel contesto IA perché consente di facilitare la misurazione delle prestazioni (non strettamente in termini di rapidità, ma anche di qualità dell'output) dei chatbot IA, i cui risultati sono difficili da quantificare oggettivamente per via della loro estrema variabilità. L'approccio più funzionale è quindi quello di procedere per valutazioni statistico-soggettive, che riesce a fornire indicazioni più attendibili rispetto ai meri test numerici che misurano la "conoscenza" di un LLM o la sua capacità di sostenere determinati test.

Nel corso dell'estate è previsto il rilascio del successore di GPT-4, con un probabile rimescolamento delle forze in gioco: considerando la concorrenza nel settore LLM, la vivacità delle attività di sviluppo e la "giovinezza" delle tecnologie è lecito attendersi una serrata competizione per i prossimi mesi e anni.