Modelli IA enormi sugli iPhone in locale, Apple valuta PrismML

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/apple/...ml_156113.html

Apple ha avviato colloqui con la startup PrismML, capace di far girare Qwen 3.6 di Alibaba, un modello da 27 miliardi di parametri, interamente su iPhone 17 Pro, superando per capacità l'attuale AFM 3 Core Advanced di Apple

Click sul link per visualizzare la notizia.

[sbudellaman]

curiosità: la mia 5700xt riesce a malapena a far girare un modello da 7 miliardi di parametri (es: mistral 7B, già così servono 30 secondi per una risposta decente). Gli smartphone top di gamma hanno già superato la mia scheda dedicata in potenza o c'è qualcosa che mi sfugge?

[TorettoMilano]

Originariamente inviato da sbudellaman

curiosità: la mia 5700xt riesce a malapena a far girare un modello da 7 miliardi di parametri (es: mistral 7B, già così servono 30 secondi per una risposta decente). Gli smartphone top di gamma hanno già superato la mia scheda dedicata in potenza o c'è qualcosa che mi sfugge?

nell'articolo si parla di "compressione". sembrerebbe quindi non vadano solo contati i parametri ma anche come vengano gestiti

[bonzoxxx]

Lo dico da un po che il futuro è anche LLM che gira in locale...

Originariamente inviato da sbudellaman

curiosità: la mia 5700xt riesce a malapena a far girare un modello da 7 miliardi di parametri (es: mistral 7B, già così servono 30 secondi per una risposta decente). Gli smartphone top di gamma hanno già superato la mia scheda dedicata in potenza o c'è qualcosa che mi sfugge?

Non ho potuto provare con mano un top di gamma ma gli ultimi snapdragon menano forte nell'AI. La velocità di generazione token dipende da tanti fattori magari nel tuo caso vai un pelo in offload sulla ram di sistema e ti rallenta, oppure hai settato il ragionamento su alto. Con la mia 3080 un modello da 9B con 70K di contesto arrivo agile a 90-100 token/s e devo dire che sembra di lavorare con un modello cloud con la sola differenza che, ovviamente, le risposte sono meno elaborate. Però ho fatto tuning del sistema, uso llama.cpp che è più antipatico ma da più margine di personalizzazione e soprattutto uso linux.

[pengfei]

Originariamente inviato da sbudellaman

curiosità: la mia 5700xt riesce a malapena a far girare un modello da 7 miliardi di parametri (es: mistral 7B, già così servono 30 secondi per una risposta decente). Gli smartphone top di gamma hanno già superato la mia scheda dedicata in potenza o c'è qualcosa che mi sfugge?

La tua dovrebbe avere 19.5 TFLOPS in FP16 contro i 17.5 teorici della NPU di un iPhone 16 pro, però non ha unità AI dedicate e il supporto SW lascia a desiderare senza ROCm, e poi il modello AI attuale di iPhone attiva da 1 a 4 miliardi di parametri alla volta quindi decisamente meno di mistral, poi va anche visto quale quantizzazione hai usato, potresti essere andato in crisi con la vRAM

[sbudellaman]

Originariamente inviato da pengfei

poi il modello AI attuale di iPhone attiva da 1 a 4 miliardi di parametri alla volta

Originariamente inviato da bonzoxxx

Con la mia 3080 un modello da 9B con 70K di contesto arrivo agile a 90-100 token/s e devo dire che sembra di lavorare con un modello cloud con la sola differenza che, ovviamente, le risposte sono meno elaborate.

Si ma nell'articolo parlano di un modello da 27 miliardi di parametri