Modelli IA enormi sugli iPhone in locale, Apple valuta PrismML

Modelli IA enormi sugli iPhone in locale, Apple valuta PrismML

Apple ha avviato colloqui con la startup PrismML, capace di far girare Qwen 3.6 di Alibaba, un modello da 27 miliardi di parametri, interamente su iPhone 17 Pro, superando per capacità l'attuale AFM 3 Core Advanced di Apple

di pubblicata il , alle 12:51 nel canale Apple
iPadOSiPadiOSiPhoneApple
 

Apple ha avviato incontri con PrismML per capire come sfruttare la sua tecnologia e portare sugli iPhone modelli di intelligenza artificiale molto più grandi di quelli attualmente in uso. Lo riporta The Information, citando fonti a conoscenza diretta dei colloqui tra le due aziende.

PrismML è riuscita a comprimere Qwen 3.6, il modello linguistico open source sviluppato dal colosso cinese Alibaba, fino a farlo girare per intero su un iPhone 17 Pro. Il modello conta 27 miliardi di parametri, una cifra superiore ai 20 miliardi del modello on-device attuale di Apple, l'AFM 3 Core Advanced, che alimenta funzioni di iOS 27 come le voci più espressive di Siri AI e la dettatura sistemwide potenziata su iPhone 17 Pro e iPhone Air.

Meno server, più privacy: cosa cambierebbe per Apple Intelligence

La differenza più evidente riguarda il modo in cui i parametri vengono impiegati. Il modello Apple adotta un'architettura sparsa, che attiva solo da 1 a 4 miliardi di parametri alla volta. Il modello di PrismML, invece, tiene attivi tutti e 27 i miliardi di parametri contemporaneamente, un approccio che richiede una compressione decisamente più aggressiva per stare dentro i limiti hardware di uno smartphone.

Un modello on-device più capiente permetterebbe ad Apple di spostare su iPhone funzioni che oggi girano sui server di Private Cloud Compute. Il vantaggio sarebbe doppio: costi infrastrutturali più bassi e maggiore riservatezza per l'utente, dato che i dati non lascerebbero mai il dispositivo.

PrismML prevede di rendere pubblico il proprio modello open source martedì 14 luglio, con capacità che includono anche compiti di sviluppo software. Un dettaglio che rafforza l'ipotesi di un interesse concreto di Apple, alle prese con la necessità di colmare il divario con la concorrenza sul fronte dei modelli linguistici di grandi dimensioni.

Non è la prima mossa di Cupertino in questo ambito. La più rilevante acquisizione IA di Apple resta quella di Q.ai, rilevata per circa 2 miliardi di dollari. Sul fronte Siri AI, la nuova versione dell'assistente debuttata con iOS 27, Apple ha invece scelto la strada della collaborazione, lavorando insieme a Google per svilupparne il motore.

5 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - info
sbudellaman10 Luglio 2026, 13:53 #1
curiosità: la mia 5700xt riesce a malapena a far girare un modello da 7 miliardi di parametri (es: mistral 7B, già così servono 30 secondi per una risposta decente). Gli smartphone top di gamma hanno già superato la mia scheda dedicata in potenza o c'è qualcosa che mi sfugge?
TorettoMilano10 Luglio 2026, 14:01 #2
Originariamente inviato da: sbudellaman
curiosità: la mia 5700xt riesce a malapena a far girare un modello da 7 miliardi di parametri (es: mistral 7B, già così servono 30 secondi per una risposta decente). Gli smartphone top di gamma hanno già superato la mia scheda dedicata in potenza o c'è qualcosa che mi sfugge?


nell'articolo si parla di "compressione". sembrerebbe quindi non vadano solo contati i parametri ma anche come vengano gestiti
bonzoxxx10 Luglio 2026, 14:02 #3
Lo dico da un po che il futuro è anche LLM che gira in locale...

Originariamente inviato da: sbudellaman
curiosità: la mia 5700xt riesce a malapena a far girare un modello da 7 miliardi di parametri (es: mistral 7B, già così servono 30 secondi per una risposta decente). Gli smartphone top di gamma hanno già superato la mia scheda dedicata in potenza o c'è qualcosa che mi sfugge?


Non ho potuto provare con mano un top di gamma ma gli ultimi snapdragon menano forte nell'AI. La velocità di generazione token dipende da tanti fattori magari nel tuo caso vai un pelo in offload sulla ram di sistema e ti rallenta, oppure hai settato il ragionamento su alto. Con la mia 3080 un modello da 9B con 70K di contesto arrivo agile a 90-100 token/s e devo dire che sembra di lavorare con un modello cloud con la sola differenza che, ovviamente, le risposte sono meno elaborate. Però ho fatto tuning del sistema, uso llama.cpp che è più antipatico ma da più margine di personalizzazione e soprattutto uso linux.
pengfei10 Luglio 2026, 14:29 #4
Originariamente inviato da: sbudellaman
curiosità: la mia 5700xt riesce a malapena a far girare un modello da 7 miliardi di parametri (es: mistral 7B, già così servono 30 secondi per una risposta decente). Gli smartphone top di gamma hanno già superato la mia scheda dedicata in potenza o c'è qualcosa che mi sfugge?


La tua dovrebbe avere 19.5 TFLOPS in FP16 contro i 17.5 teorici della NPU di un iPhone 16 pro, però non ha unità AI dedicate e il supporto SW lascia a desiderare senza ROCm, e poi il modello AI attuale di iPhone attiva da 1 a 4 miliardi di parametri alla volta quindi decisamente meno di mistral, poi va anche visto quale quantizzazione hai usato, potresti essere andato in crisi con la vRAM
sbudellaman10 Luglio 2026, 16:58 #5
Originariamente inviato da: pengfei]poi il modello AI attuale di iPhone attiva da 1 a 4 miliardi di parametri alla volta[/QUOTE][QUOTE=bonzoxxx
Con la mia 3080 un modello da 9B con 70K di contesto arrivo agile a 90-100 token/s e devo dire che sembra di lavorare con un modello cloud con la sola differenza che, ovviamente, le risposte sono meno elaborate.


Si ma nell'articolo parlano di un modello da 27 miliardi di parametri

Devi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".

La discussione è consultabile anche qui, sul forum.
 
^