L'intelligenza Artificiale di Apple riconoscerà gli elementi sulla Home dell'iPhone

In una mossa che potrebbe rivoluzionare ulteriormente l'interazione uomo-macchina, i ricercatori di Apple hanno svelato un nuovo modello di linguaggio multimodale in grado di comprendere e interagire con gli elementi dell'interfaccia utente sugli schermi dei dispositivi. Stando a un documento di ricerca pubblicato su arXiv, il modello linguistico denominato "Ferret-UI" è il frutto di una collaborazione tra i ricercatori di Apple e dell'Università di Columbia.

Come potrebbe funzionare Ferret-UI su iPhone?

Ferret-UI si distingue dai tradizionali Language Model (LLM) poiché, oltre alla comprensione del linguaggio naturale, è in grado di percepire e interpretare gli elementi visivi presenti sullo schermo, combinando le capacità di computer vision, riconoscimento vocale e natural language processing in un unico modello.

Questa caratteristica multimodale consente a Ferret-UI di superare in modo significativo le prestazioni di modelli come GPT-4 di OpenAI in compiti elementari quali il riconoscimento delle icone, l'OCR, la classificazione dei widget e l'individuazione di elementi grafici su piattaforme come iOS e Android. "Riconoscere automaticamente i vari elementi sullo schermo è sempre stato un compito complesso per le AI, ma Ferret sembra essere in grado di farlo in modo molto preciso, aprendo le porte a nuove e interessanti applicazioni", spiega un ricercatore di Apple.

L'obiettivo di Apple è quello di rendere Ferret-UI compatibile con i propri dispositivi, in modo da poter integrare tali capacità di comprensione multimodale all'interno di Siri, l'assistente vocale della Mela. Ciò consentirebbe agli utenti di eseguire compiti più complessi rispetto al semplice rispondere a domande, permettendo loro di interagire con l'interfaccia del dispositivo attraverso comandi vocali.

"Immaginate di poter dire a Siri 'Apri la fotocamera e scatta una foto', o 'Riproduci il brano che sto ascoltando sull'altoparlante della cucina'", continua il ricercatore. "Grazie alla capacità di Ferret-UI di comprendere gli elementi visivi sullo schermo, sarà possibile eseguire azioni molto più sofisticate rispetto a quanto possibile oggi".

È probabile che le funzionalità basate su Ferret-UI vengano integrate in iOS 18 e nei prossimi iPhone, consentendo agli utenti di sfruttare le capacità di computer vision e linguaggio naturale combinate in un unico sistema intelligente. Un esempio di ciò che sarà possibile fare è stato mostrato in un altro documento di ricerca di Apple, in cui un modello di intelligenza artificiale generativa denominato MM1 è stato in grado di analizzare due fotografie - un menu e delle bottiglie di birra su un tavolo - e rispondere correttamente alla domanda sul conto da pagare, dimostrando una sorprendente capacità di comprendere e interpretare in modo dettagliato i contenuti visivi.

"Siamo solo all'inizio di quello che sarà possibile fare con questi modelli linguistici multimodali", conclude il ricercatore. "Immaginate di poter interagire con il vostro iPhone semplicemente dicendo 'Mostrami le foto scattate la scorsa settimana' o 'Apri l'app di navigazione e trovami la strada per il ristorante più vicino'. Tutto questo e molto altro sarà presto possibile grazie ai progressi nell'AI multimodale come Ferret-UI".