Link alla notizia: https://www.hwupgrade.it/news/scienza-tecnologia/qwen38-27b-gira-su-un-portatile-da-12gb-la-memoria-arriva-da-altri-tre-dispositivi_159005.html

L'esperimento è di un utente Reddit: quattro macchine sulla stessa rete locale, dal mini PC con RTX 3060 fino a uno smartphone Android da 1GB, per arrivare ai 17GB che il modello quantizzato a 4 bit pretende. Funziona, a meno di due token al secondo

Click sul link per visualizzare la notizia.

Ho avuto la "fortuna" di aver comprato 64GB DDR5 quando costavano 160€ e ora posso far girare parecchia roba. La vera soluzione però, e lo dico da strenuo detrattore di Apple (non sopporto i sistemi "chiusi"), è l'architettura con memoria condivisa ad alta velocità. Oppure usare OpenCode.

Ho avuto la "fortuna" di aver comprato 64GB DDR5 quando costavano 160€ e ora posso far girare parecchia roba. La vera soluzione però, e lo dico da strenuo detrattore di Apple (non sopporto i sistemi "chiusi"), è l'architettura con memoria condivisa ad alta velocità. Oppure usare OpenCode.

Ah uguale, il problema è che anche una memoria DDR5 a 8GHz è incredibilmente lenta e non ci fai girare niente la sopra. Gli stessi strix halo con banda da 256gb/s sono troppo lenti.

Ho una 9070xt da 16gb (640gb/s) e ci faccio girare giusto giusto qwen3.6 35b IQ4 e anche così sto a 25%CPU/75% GPU con contesto da 128k per circa 40tk/s.

Se aumento il contesto o scelgo altre quantizzazioni la % di gpu crolla al 50% e il modello gira a 25tk/s che è inusabile in maniera interattiva.

Ho avuto la "fortuna" di aver comprato 64GB DDR5 quando costavano 160€ e ora posso far girare parecchia roba. La vera soluzione però, e lo dico da strenuo detrattore di Apple (non sopporto i sistemi "chiusi"), è l'architettura con memoria condivisa ad alta velocità. Oppure usare OpenCode.

Ma serve la ram della scheda video, mica quella di sistema.