Google Gemini: il video di presentazione è ingannevole, la realtà è diversa

In questi mesi si è fatto un gran parlare di Intelligenza Artificiale sotto diversi aspetti, con molte perplessità sul suo utilizzo, problematiche di tipo legale e possibili pericoli per l'umanità (ma anche potenzialità in senso positivo). Tra i nomi più ricorrenti c'è sicuramente ChatGPT (anche se non è l'unico) e non solo per le problematiche manageriali che hanno coinvolto OpenAI nelle scorse settimane ma anche perché viene ritenuto il "metro di paragone" sia dagli utilizzatori che dalla concorrenza. Un esempio è quello di Google che, durante la presentazione di Gemini, ha mostrato dei confronti proprio con ChatGPT per mostrare come la sua soluzione fosse in generale superiore.

In particolare il video (visibile qui sopra) che mostra l'interazione tra esseri umani e modello di Intelligenza Artificiale Google Gemini è sicuramente impressionante. Ma proprio quel filmato presenta un problema di fondo: non fa apparire come avviene effettivamente l'interazione tra IA e persona in quanto il video è stato montato per farlo apparire "più bello" di quello che è in realtà. Non si è trattato solo di accelerare i tempi di risposta per questioni di tempo. Quel particolare è chiaro ed esplicitato da Google stessa che riporta nelle note "ai fini di questa demo, la latenza è stata ridotta e gli output di Gemini sono stati abbreviati per brevità".

Il video di presentazione di Google Gemini

Nel video si vede un'interazione sorprendente tra umano e Gemini con una serie di prove differenti alle quali l'Intelligenza Artificiale risponde in maniera coerente superando decisamente le aspettative. Come chiarito successivamente, e come visibile sul blog della società dedicato agli sviluppatori, l'interazione è avvenuta in maniera differente.

Innanzitutto viene impiegata la versione Ultra, descritta come "il nostro modello più grande e potente, per compiti altamente complessi", che non è ancora ufficialmente disponibile e che potrebbe arrivare in futuro (all'inizio del prossimo anno, secondo quanto dichiarato). Attualmente quindi un utente "standard" non può impiegare questa versione e non può quindi fare un confronto con ChatGPT o altri modelli (è possibile solo per un selezionato gruppo di utenti/società per via della fase di test).

In secondo luogo non è mai esistita effettiva interazione vocale tra umano e modello IA. Il filmato dimostrativo (senza interazione con l'IA) è stato registrato prima e poi solo alcuni fotogrammi presi dallo stesso sono stati impiegati per generare le risposte di Gemini. Ma non solo. Insieme alle immagini veniva dato un input (spesso molto specifico) per cercare di indirizzare la risposta dell'Intelligenza Artificiale per trovare la risposta corretta. Come indicato sopra, questo è più chiaro osservando il post sul blog per gli sviluppatori di Google.

Certo, la società statunitense non lo ha effettivamente nascosto (la presenza stessa del post per gli sviluppatori lo rende chiaro) ma neanche esplicitato in maniera chiara mostrando il video "Hands-on with Gemini". Le reazioni sono state le più diverse, ma in generale negative. Proprio queste reazioni hanno portato Oriol Vinyals (VP of Research & Deep Learning Lead e Gemini co-lead) a scrivere un post su X tra le altre affermazioni che "il video illustra come potrebbero essere le esperienze utente multimodali realizzate con Gemini. L'abbiamo realizzato per ispirare gli sviluppatori".

Vinyals ha aggiunto che le interazioni sono comunque reali e la base dei test è reale e quindi gli utenti avranno risposte simili. L'esperienza sarà comunque diversa, almeno in questa prima fase. Una prima prova di ChatGPT (3.5 e 4.0 Turbo) e Gemini (in versione Pro e non Ultra) è stata realizzata da ArsTechnica mostrando che sì, Google ha fatto un buon passo in avanti rispetto a PaLM (che precedeva Gemini), ma che ChatGPT rimane in generale migliore per diversi aspetti e che la strada di Google per riuscire a competere nel campo dei modelli di Intelligenza Artificiale è ancora lunga e gli avversari non staranno certo a guardare. In futuro l'esperienza utente con le IA sarà come mostrato nel video promozionale del colosso statunitense? Possibile. Ma attualmente la realtà è un po' diversa.