Stable Diffusion su smartphone Android? È possibile: ecco come Qualcomm c'è riuscita

L'Intelligenza Artificiale è uno dei principali argomenti del momento nel settore della tecnologia e probabilmente anche all'ormai vicinissimo Mobile World Congress se ne parlerà in maniera decisa. Su smartphone l'IA mostra da anni diversi benefici, anche se prevalentemente nella fotografia computazionale, ma Qualcomm ha mostrato che le cose stanno velocemente cambiando e l'IA su dispositivi mobile diventerà via via sempre più pervasiva.

L'azienda ha dimostrato come, utilizzando solo un semplice telefono cellulare, si possano generare immagini tramite intelligenza artificiale sfruttando Stable Diffusion attraverso un dispositivo con Snapdragon 8 Gen 2. Rilasciato a fine 2022, Stable Diffusion è uno dei "foundation model" più popolari fra quelli disponibili oggi, ovvero una rete neurale allenata con un enorme quantitativo di dati che può essere applicata per generare immagini partendo da una descrizione testuale in poche decine di secondi.

Stable Diffusion eseguito per la prima volta in locale su uno smartphone Android

Proprio per le sue dimensioni Stable Diffusion viene prevalentemente (ma non solo) utilizzato attraverso esecuzioni in cloud, tuttavia il team AI Research di Qualcomm ha ottimizzato il tutto utilizzando Qualcomm AI Stack e altre tecnologie in modo da inserire l'intero modello all'interno di un comune smartphone Android al fine di eseguire le elaborazioni IA interamente in locale. Questa è la prima assoluta per una dimostrazione proof-of-commerce di questo tipo su dispositivi commerciali.

L'azienda ha ottimizzato tutte le componenti della tecnologia per riuscirci, fra cui anche il modello di rete neurale, gli algoritmi alla sua base, il software e l'hardware. Qualcomm ha scelto in origine la versione FP32 1.5 open-source di Hugging Face, comprimendo il modello da FP32 a INT8 attraverso l'uso dell'AI Model Efficiency Toolkit (AIMET), tool di quantizzazione post-training adesso incorporato all'interno dell'AI Studio proprietario. Si tratta di un processo utile per aumentare non solo le prestazioni quanto l'efficienza energetica, che rende possibile l'esecuzione del modello in maniera efficiente su dispositivi con hardware dedicato.

Per la compilazione Qualcomm ha utilizzato il framework AI Engine proprietario, in modo da ottimizzare la rete neurale su un'applicazione che può essere eseguita sui SoC proprietari con processore Hexagon dedicato. Operazione anch'essa che consente di ridurre la latenza di esecuzione e i consumi energetici. Secondo quanto mostrato dall'azienda, le ottimizzazioni full-stack implementate su hardware e software consentono con l'attuale generazione di smartphone di generare un'immagine 512x512 pixel in meno di 15 secondi con 20 passaggi di inferenza, senza limiti nella richiesta da effettuare via testo.

Qualcomm ha dichiarato che "quello che sembrava impossibile solo pochi anni fa adesso non lo è più" e che questo "è solo l'inizio". Il produttore ha già promesso ulteriori evoluzioni della sua tecnologia già a partire dalla prossima generazione, con Stable Diffusion che può essere utilizzata con finalità d'uso in costante aumento come nell'editing delle immagini, nella modifica dello stile o nell'upscaling della risoluzione, tutte attività che possono essere applicate con facilità nell'uso quotidiano dei device mobile. La possibilità di farlo in locale, poi, consente di sfruttarne tutti i benefici con tempistiche ragionevoli senza che sia necessaria una connessione internet.

Gli stessi benefici arriveranno non solo su smartphone e tablet, ma anche su tutti i device che utilizzano piattaforme hardware mobile, come ad esempio sui visori di realtà mista (XR) e su tutti i device che fanno uso di hardware sviluppato da Qualcomm. Eseguire l'IA in locale inoltre è un processo molto più economico rispetto al mantenere un'infrastruttura cloud dedicata, oltre a tutti gli ovvi benefici sulla privacy per l'utente finale: tutte le informazioni e le immagini rimangono sempre in locale, senza mai passare attraverso server remoti.