Apple mette a punto una tecnica per portare le IA su iPhone grazie alla memoria flash

Apple mette a punto una tecnica per portare le IA su iPhone grazie alla memoria flash

Nei dispositivi con quantità limitate di memoria RAM è possibile sfruttare la memoria flash per implementare LLM: Apple mette a punto due tecniche da usare in combinazione tra loro

di pubblicata il , alle 16:01 nel canale Apple
Apple
 

I ricercatori Apple che operano nel campo dell'IA hanno pubblicato un articolo di ricerca nel quale descrivono una tecnica innovativa per poter implementare modelli linguistici di grandi dimensioni anche in dispositivi con memoria limitata, spiegando un nuovo metodo di utilizzo della memoria flash.

Le IA generative testuali, come ad esempio ChatGPT o Claude AI, sono particolarmente esigenti in termini di memoria necessaria per il loro funzionamento. Questo aspetto limita quindi la possibilità di operare sui dispositivi consumer che normalmente dispongono di un quantitativo limitato di memoria.

I ricercatori Apple si sono approcciati al problema sviluppando una nuova tecnica che usa la memoria flash cioè la stessa memoria che in uno smartphone viene utilizzata per archiviare i dati e installare le applicazioni.

Si parte dall'assunto che la memoria flash ha elevate velocità di lettura e scrittura e che nei dispositivi consumer è presente di norma in quantità più abbondante rispetto alla memoria RAM, la quale tradizionalmente è utilizzata dagli LLM (Large Language Model)per gestire i dati necessari al loro funzionamento. Nel documento i ricercatori parlano di due tecniche specifiche: la prima, chiamata "Windowing" è una sorta di meccanismo di riciclo che porta il modello AI a riutilizzare dati già elaborati in precedenza rendendo il processo più veloce e fluido non dovendo costantemente trasferire dati, la seconda, chiamata "Row-Column Bundling", è invece un meccanismo di "accorpamento" di dati così da poterli leggere più velocemente e in modo più efficiente dalla memoria flash. 

Le due tecniche possono operare in combinazione tra loro e consentirebbero ai modelli AI di operare fino al doppio delle dimensioni della memoria disponibile ad esempio su un iPhone, con un incremento di prestazioni da 4 a 5 volte per l'operatività con CPU e fino addirittura a 20-25 volte con l'uso di GPU.

Questo approccio può rappresentare un primo importante passo per l'implementazione di LLM avanzati in ambienti con risorse limitate, allargando il loro potenziale applicativo e l'accessibilità. La disponibilità di un LLM direttamente sul dispositivo, nel caso ad esempio di uno smartphone come iPhone, può consentire di sfruttare funzionalità più avanzate dell'assistente vocale Siri, come ad esempio la traduzione in tempo reale, oppure ancora nuovi modi di intendere e usare la fotografia computazionale o le interazioni in realtà aumentata.

Non è comunque mistero il fatto che la Mela stia lavorando nei suoi laboratori per realizzare una versione evoluta e avanzata di Siri con profonde integrazioni con l'IA e in particolare sviluppando una propria versione di IA generativa che al momento sarebbe riconosciuta internamente con il nome in codice di "Ajax". E' possibile che le prime concretizzazioni si possano vedere su iPhone e iPad per la fine del prossimo anno, verosimilmente con il debutto di iOS 18. Al momento non è però possibile immaginare se a quel punto sarà già possibile utilizzare un'IA completamente on-device o se, più probabilmente, la prima incarnazione potrebbe essere un ibrido cloud/locale.

11 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - info
pengfei21 Dicembre 2023, 17:49 #1
Le due tecniche possono operare in combinazione tra loro e consentirebbero ai modelli AI di operare fino al doppio delle dimensioni della memoria disponibile ad esempio su un iPhone


Ottimo, così possono continuare a mettere le metà della RAM rispetto alla concorrenza e i loro margini di profitto sono salvi
\_Davide_/21 Dicembre 2023, 20:03 #2
Quello dubito, perché a loro costa ben poco e dai tempi dell'iPhone 6 al quinto anno di vita non ho mai sentito bisogno di più RAM su un iPhone.

La cosa che mi preoccupa è che i modelli con 128GB faranno la fine di quelli con 8 GB 10 anni fa
LMCH21 Dicembre 2023, 21:24 #3
Originariamente inviato da: \_Davide_/
Quello dubito, perché a loro costa ben poco e dai tempi dell'iPhone 6 al quinto anno di vita non ho mai sentito bisogno di più RAM su un iPhone.

Se le app basate sugli algoritmi "AI" attuali prendono piede, mi sa che presto sentirai un gran bisogno di molta più RAM. Anche usando la memoria flash, la quantità di ram richiesta per far girare un LLM decente è uguale a TUTTA la ram presente sugli iPhone più recenti e costosi, inoltre la flash è decisamente più lenta della RAM.
\_Davide_/21 Dicembre 2023, 23:17 #4
Si si ovvio, anche se io sono un troglodita con il telefono, lo uso come un 90enne
Qarboz22 Dicembre 2023, 08:08 #5
Originariamente inviato da: Redazione di Hardware Upgrade
Si parte dall'assunto che la memoria flash ha elevate velocità di lettura e scrittura e che nei dispositivi consumer è presente di norma in quantità più abbondante rispetto alla memoria RAM

E da quando?
UtenteHD22 Dicembre 2023, 10:30 #6
Non sono un Tecnico, ma non potrebbero 2 RAM ad esempio una da 32GB solo per tel e una da 256GB solo per IA, vanno bene anche tagli inferiori, ma se ne consuma molta eh mettetela, tanto i Vs telefoni costano un patrimonio e piu' costano e piu' la gente li acquista, quindi risolto pure il problema vendite
DjLode22 Dicembre 2023, 10:40 #7
Originariamente inviato da: UtenteHD
Non sono un Tecnico, ma non potrebbero 2 RAM ad esempio una da 32GB solo per tel e una da 256GB solo per IA, vanno bene anche tagli inferiori, ma se ne consuma molta eh mettetela, tanto i Vs telefoni costano un patrimonio e piu' costano e piu' la gente li acquista, quindi risolto pure il problema vendite


Se vuoi vedere i telefoni costare un patrimonio al quadrato è la strada giusta...
!fazz22 Dicembre 2023, 11:21 #8
Originariamente inviato da: Qarboz
E da quando?


forse in confronto con il disco pata meccanico da 1.8 pollici dell'era ipod classic
Unrue22 Dicembre 2023, 11:59 #9
In pratica hanno fatto una specie di disco RAM su smartphone
!fazz22 Dicembre 2023, 12:17 #10
Originariamente inviato da: Unrue
In pratica hanno fatto una specie di disco RAM su smartphone


comunemente chiamato cache o swap

Devi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".

La discussione è consultabile anche qui, sul forum.
 
^