Uno sviluppatore ha usato iPhone come seconda GPU per il Mac, e i risultati sono incredibili

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/apple/...li_160143.html

Uno sviluppatore ha collegato iPhone 17 Pro Max a un MacBook Pro da 24 GB per distribuire il lavoro di Qwen3.8-27B. I test hanno mostrato un prefill fino al 44% più rapido, ma il vantaggio non ha riguardato tutte le fasi di esecuzione

Click sul link per visualizzare la notizia.

[erupter]

Sì ok bello, ma è come prendere la caché dei ryzen X3D e metterla su un ssd via usb.
La devi inviare via USB, la gpu del telefono ci lavora, è poi la rimanda via USB.
È leeeeeento

Ovvio che se fai un parsing solo sul processamento in ingresso, può darsi che ne esci, ma sul lavoro end to end non capisco come faccia ad essere in vantaggio

Tantomeno quando mette la kv via usb. Già con strata, che slitta su ram, ci sono rallentamenti folli, su usb è ancora peggio...
Boh sono confuso

[PaRRoT]

Originariamente inviato da erupter

Sì ok bello, ma è come prendere la caché dei ryzen X3D e metterla su un ssd via usb.
La devi inviare via USB, la gpu del telefono ci lavora, è poi la rimanda via USB.
È leeeeeento

Via USB a 10 Gb/s non è "via USB" e basta. Parliamo di 1,25 GB/s di transfer rate. È un accesso alla memoria, non allo storage.

Non sarà velocissimo ma non "leeeeeento".

[psychok9]

Strata è assurdo... Qwen 3.8 Flash Next 125B MoE gigante va un missile... Con llama andava un chiodo sullo stesso mio sistema. Il software forse può ancora dire molto sul tema delle performance.
Non capisco come si può usare uno smartphone per fare AI, lo vuole cambiare molto presto forse ? Per non avere un guadagno netto in tutti gli aspetti ma solo un paio?

[erupter]

Originariamente inviato da PaRRoT

Via USB a 10 Gb/s non è "via USB" e basta. Parliamo di 1,25 GB/s di transfer rate. È un accesso alla memoria, non allo storage.

Non sarà velocissimo ma non "leeeeeento".

The NVIDIA GeForce RTX 5090 delivers approximately 1.79 TB/s (1,792 GB/s) of memory bandwidth from its 32 GB GDDR7 on a 512‑bit bus.

stiamo parlando di 1 millesimo della velocità della VRAM della GPU che sta eseguendo il modello, in più per farlo arrivare all'USB, devi estrarlo dalla VRAM, passarlo sul PCIE, (molto probabilmente) passarlo per la CPU, da lì smistarlo all'altro bus PCIE su cui sta il controller USB, e da lì al telefono

che fa lo stesso lavoro al contrario. E quando hai finito di fare i calcoli, prendi tutta la manfrina e rifalla al contrario...

Non mi sembra una genialata onestamente

[erupter]

Originariamente inviato da psychok9

Strata è assurdo... Qwen 3.8 Flash Next 125B MoE gigante va un missile... Con llama andava un chiodo sullo stesso mio sistema. Il software forse può ancora dire molto sul tema delle performance.
Non capisco come si può usare uno smartphone per fare AI, lo vuole cambiare molto presto forse ? Per non avere un guadagno netto in tutti gli aspetti ma solo un paio?

Mah, lo proverò forse....
Però ecco con una vga da 24GB, qwen3.8-27b entra tutto in VRAM e ho pure 65k di contesto.
Far fare tutto l'apri/chiudi in RAM mi sembra vada ad aggiungere veramente tanto sbatti che allunga i tempi.... capirei se una volta caricati i pesi parziali del modello, si riuscisse a ridurre i cache-miss ed i caricamenti da ram, allora forse sì...
Boh, posso solo provarlo per capire e vedere come si comporta rispetto ad ollama-qwen3.8 tutto in VRAM