Gemini, in roll-out Astra: analisi in tempo reale su schermate e fotocamera del dispositivo

Google ha avviato il rilascio di nuove capacità per Gemini Live che permettono all'assistente di "vedere" attraverso la fotocamera dello smartphone e di analizzare i contenuti visualizzati sullo schermo. Queste funzionalità, parte del progetto denominato "Project Astra", rappresentano l'inizio di un cambiamento fondamentale nel modo in cui gli utenti possono interagire con l'assistente AI dell'azienda di Mountain View.

Le nuove funzionalità sono state confermate ufficialmente da un portavoce di Google in una comunicazione inviata a The Verge. Il rilascio arriva quasi un anno dopo la prima dimostrazione di Project Astra e segue l'annuncio fatto da Google all'inizio di marzo durante il Mobile World Congress 2025, quando l'azienda aveva promesso che queste funzionalità sarebbero state disponibili entro la fine del mese. Gli abbonati a Gemini Advanced, come parte del piano Google One AI Premium, possono ora accedere a due nuove modalità di interazione.

Come funzionano le nuove capacità visive di Gemini

La prima consente di condividere lo schermo con Gemini Live, permettendo all'assistente di analizzare qualsiasi contenuto visualizzato e rispondere a domande specifiche su di esso. La seconda modalità, ancora più avanzata, consente a Gemini di interpretare il feed video dalla fotocamera dello smartphone in tempo reale. In un video condiviso su Reddit da un utente si può osservare come l'interfaccia di Gemini Live presenti ora nuove opzioni per la condivisione dello schermo e del video. Attraverso questa nuova funzionalità, gli utenti possono puntare la fotocamera verso un oggetto e chiedere informazioni su di esso, mostrare un passaggio di un libro per ottenere spiegazioni, o persino ricevere consigli su scelte estetiche come la selezione di un colore per l'arredo domestico.

Il rollout delle funzionalità sta avvenendo gradualmente e, al momento, sembra essere limitato agli utenti che utilizzano Gemini in lingua inglese (Stati Uniti) su dispositivi Android. Non sono ancora state fornite informazioni sulla disponibilità per l'app su dispositivi iOS.