Apple mette a punto una tecnica per portare le IA su iPhone grazie alla memoria flash

I ricercatori Apple che operano nel campo dell'IA hanno pubblicato un articolo di ricerca nel quale descrivono una tecnica innovativa per poter implementare modelli linguistici di grandi dimensioni anche in dispositivi con memoria limitata, spiegando un nuovo metodo di utilizzo della memoria flash.

Le IA generative testuali, come ad esempio ChatGPT o Claude AI, sono particolarmente esigenti in termini di memoria necessaria per il loro funzionamento. Questo aspetto limita quindi la possibilità di operare sui dispositivi consumer che normalmente dispongono di un quantitativo limitato di memoria.

I ricercatori Apple si sono approcciati al problema sviluppando una nuova tecnica che usa la memoria flash cioè la stessa memoria che in uno smartphone viene utilizzata per archiviare i dati e installare le applicazioni.

Si parte dall'assunto che la memoria flash ha elevate velocità di lettura e scrittura e che nei dispositivi consumer è presente di norma in quantità più abbondante rispetto alla memoria RAM, la quale tradizionalmente è utilizzata dagli LLM (Large Language Model)per gestire i dati necessari al loro funzionamento. Nel documento i ricercatori parlano di due tecniche specifiche: la prima, chiamata "Windowing" è una sorta di meccanismo di riciclo che porta il modello AI a riutilizzare dati già elaborati in precedenza rendendo il processo più veloce e fluido non dovendo costantemente trasferire dati, la seconda, chiamata "Row-Column Bundling", è invece un meccanismo di "accorpamento" di dati così da poterli leggere più velocemente e in modo più efficiente dalla memoria flash. 

Le due tecniche possono operare in combinazione tra loro e consentirebbero ai modelli AI di operare fino al doppio delle dimensioni della memoria disponibile ad esempio su un iPhone, con un incremento di prestazioni da 4 a 5 volte per l'operatività con CPU e fino addirittura a 20-25 volte con l'uso di GPU.

Questo approccio può rappresentare un primo importante passo per l'implementazione di LLM avanzati in ambienti con risorse limitate, allargando il loro potenziale applicativo e l'accessibilità. La disponibilità di un LLM direttamente sul dispositivo, nel caso ad esempio di uno smartphone come iPhone, può consentire di sfruttare funzionalità più avanzate dell'assistente vocale Siri, come ad esempio la traduzione in tempo reale, oppure ancora nuovi modi di intendere e usare la fotografia computazionale o le interazioni in realtà aumentata.

Non è comunque mistero il fatto che la Mela stia lavorando nei suoi laboratori per realizzare una versione evoluta e avanzata di Siri con profonde integrazioni con l'IA e in particolare sviluppando una propria versione di IA generativa che al momento sarebbe riconosciuta internamente con il nome in codice di "Ajax". E' possibile che le prime concretizzazioni si possano vedere su iPhone e iPad per la fine del prossimo anno, verosimilmente con il debutto di iOS 18. Al momento non è però possibile immaginare se a quel punto sarà già possibile utilizzare un'IA completamente on-device o se, più probabilmente, la prima incarnazione potrebbe essere un ibrido cloud/locale.