Matrix3D e StreamBridge: fotogrammetria semplificata e assistenza video proattiva nel futuro di Apple Intelligence

Apple ha condiviso sul proprio blog Machine Learning due documenti di ricerca che presentano altrettanti modelli di intelligenza artificiale, Matrix3D e StreamBridge, che saranno prevedibilmente utilizzati per ampliare le capacità di Apple Intelligence.

La Mela descrive Matrix3D come un modello completo di fotogrammetria su larga scala, che semplifica e riduce i requisiti per creare oggetti tridimensionali a partire da immagini 2D. I video dimostrativi condivisi da Apple mostrano la capacità di creare oggetti e ambienti 3D utilizzando poche immagini di partenza.

La fotogrammetria è una tecnica già utilizzata in altri settori, in particolare nello sviluppo di videogiochi. Nel documento pubblicato Apple osserva che il tradizionale approccio alla fotogrammetria "in genere  richiede una densa raccolta di immagini, spesso centinaia, per ottenere una ricostruzione 3D solida e accurata, il che può essere problematico nelle applicazioni pratiche". Il modello Matrix3D, invece, necessita solo di due o tre immagini per lo stesso output, riducendo notevolmente i requisiti per la fotogrammetria. L'approccio di Apple con Matrix3D è di semplificare tutti le varie fasi in un unico processo, che però risce a garantire una maggior precisione.

Il modello Matrix3D di Apple è stato addestrato attraverso una tecnica nota come strategia di apprendimento mascherato, o "masked learning". In termini più comprensibili, il modello è stato addestrato su dati parzialmente completi di profondità e posizione dell'immagine e ha dovuto "riempire gli spazi vuoti" per ottenere il risultato desiderato. 

Per quanto riguarda StreamBridge, il documento pubblicato dalla Mela lo descrive come un framework capace di trasfromare "i video-LLM in modelli capaci di elaborare flussi streaming". Sempre nel documento viene indicato che StreamBridge è capace di "comprensione in tempo reale multi-turno" e "generazione proattiva di risposte" laddove altri modelli IA processano file video pre-registrati nella loro interezza.

Cercando di rendere più comprensibile questa descrizione, StreamBridge può rispondere a diverse domande osservando un video in tempo reale. Apple pone degli esempi, come la capacità di rispondere a domande relative ad un oggetto specifico presente nel video, come la sua posizione, il movimento e le sue caratteristiche.

Dal momento che "il modello monitora attivamente il flusso video e genera output tempestivi sulla base del contenuto che si sta svolgendo", StreamBrige è in grado di offrire indicazioni e spunti anche senza input specifici da parte dell'utente. Apple mostra l'esempio di StreamBridge che fornisce "una guida passo-passo mentre il video progredisce, senza che venga esplicitamente richiesta e simulando un supporto continuo in ambiente dinamico". 

Al momento non esiste, nei prodotti, software e servizi Apple nessuna funzionalità che potrebbe essere abilitata dai due nuovi modelli illustrati dalla Mela e quanto condiviso potrebbe in realtà rappresentare un indizio di qualcosa di nuovo che potremo vedere in un futuro aggiornamento di Apple Intelligence, che a questo punto coinvolgerà in maniera significativa anche Siri e l'app Fotocamera. E pre Matrix3D, in particolare, è lecito supporre un suo uso con Apple Vision, migliorando e ottimizzando le capacità di generazione di immagini 3D che il visore mixed reality di Cupertino è già in grado di fare.