Qwen3.8-27B gira su un portatile da 12GB: la memoria arriva da altri tre dispositivi

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/scienz...vi_159005.html

L'esperimento è di un utente Reddit: quattro macchine sulla stessa rete locale, dal mini PC con RTX 3060 fino a uno smartphone Android da 1GB, per arrivare ai 17GB che il modello quantizzato a 4 bit pretende. Funziona, a meno di due token al secondo

Click sul link per visualizzare la notizia.

[berson]

Ho avuto la "fortuna" di aver comprato 64GB DDR5 quando costavano 160€ e ora posso far girare parecchia roba. La vera soluzione però, e lo dico da strenuo detrattore di Apple (non sopporto i sistemi "chiusi"), è l'architettura con memoria condivisa ad alta velocità. Oppure usare OpenCode.

[Eraser|85]

Originariamente inviato da berson

Ho avuto la "fortuna" di aver comprato 64GB DDR5 quando costavano 160€ e ora posso far girare parecchia roba. La vera soluzione però, e lo dico da strenuo detrattore di Apple (non sopporto i sistemi "chiusi"), è l'architettura con memoria condivisa ad alta velocità. Oppure usare OpenCode.

Ah uguale, il problema è che anche una memoria DDR5 a 8GHz è incredibilmente lenta e non ci fai girare niente la sopra. Gli stessi strix halo con banda da 256gb/s sono troppo lenti.

Ho una 9070xt da 16gb (640gb/s) e ci faccio girare giusto giusto qwen3.6 35b IQ4 e anche così sto a 25%CPU/75% GPU con contesto da 128k per circa 40tk/s.

Se aumento il contesto o scelgo altre quantizzazioni la % di gpu crolla al 50% e il modello gira a 25tk/s che è inusabile in maniera interattiva.

[alexfri]

Originariamente inviato da berson

Ho avuto la "fortuna" di aver comprato 64GB DDR5 quando costavano 160€ e ora posso far girare parecchia roba. La vera soluzione però, e lo dico da strenuo detrattore di Apple (non sopporto i sistemi "chiusi"), è l'architettura con memoria condivisa ad alta velocità. Oppure usare OpenCode.

Ma serve la ram della scheda video, mica quella di sistema.