Strata fa girare un modello da 125 miliardi di parametri su una GeForce RTX da 12 GB

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/web/st...gb_160175.html

Un progetto open source ha portato Qwen3.8-Flash-Next, modello da 125 miliardi di parametri, su schede video da 12 GB di VRAM: il carico viene distribuito fra GPU, memoria di sistema e SSD, con 94 token al secondo misurati su una RTX 5070

Click sul link per visualizzare la notizia.

[erupter]

Mah, con una vga da 24GB, qwen3.8-27b entra tutto in VRAM e ho pure 65k di contesto.
Far fare tutto l'apri/chiudi in RAM mi sembra vada ad aggiungere veramente tanto sbatti che allunga i tempi.... capirei se una volta caricati i pesi parziali del modello, si riuscisse a ridurre i cache-miss ed i caricamenti da ram, allora forse sì...
Boh, posso solo provarlo per capire e vedere come si comporta rispetto ad ollama-qwen3.8 tutto in VRAM

[bonzoxxx]

Idea bella ma non mi fido molto del Q2, preferirei far girare un 70B Q4 che un 125B Q2 ma l'idea o buona, credo che il futuro sia questo.

A trovarla una 3090 a prezzo decente, la comprerei seduta stante.

[psychok9]

Io ho preso quello più lento e pesante a 3.5 bit, molto vicino al modello originale, con 64GB... Va un missile!!! È un altro mondo, il 27b va più lento ed è meno efficace!! Farei una statua a quest'uomo! Non dovete usare il 2 bit.

[mmorselli]

Comunque anche 53 token/s con IQ3_S è tanta roba, sono già velocità usabilissime.

Qwen3.8-Flash-Next ha 51 miliardi di parameteri storati come N-gram, praticamente la conoscenza del modello, separata dalla capacità di ragionamento. Questa tabella non ha bisogno di stare in memoria veloce. Vengono da un'idea di DeepSeek, ma il primo ad implementarlo è proprio stato Qwen

L'articolo non lo cita, ma è la parte più importante che consente di fare questa magia.

Lo dice chiaro qui

https://raw.githubusercontent.com/Ni...OW_IT_WORKS.md

**SSD:** the 28.8 GB n-gram table, read a few rows per token through the OS cache.

Gli n-gram sono fighissimi, perché possono essere aggiornati senza riaddestrare il modello.

[psychok9]

Originariamente inviato da mmorselli

Comunque anche 53 token/s con IQ3_S è tanta roba, sono già velocità usabilissime.

Qwen3.8-Flash-Next ha 51 miliardi di parameteri storati come N-gram, praticamente la conoscenza del modello, separata dalla capacità di ragionamento. Questa tabella non ha bisogno di stare in memoria veloce. Vengono da un'idea di DeepSeek, ma il primo ad implementarlo è proprio stato Qwen

L'articolo non lo cita, ma è la parte più importante che consente di fare questa magia.

Lo dice chiaro qui

https://raw.githubusercontent.com/Ni...OW_IT_WORKS.md

**SSD:** the 28.8 GB n-gram table, read a few rows per token through the OS cache.

Gli n-gram sono fighissimi, perché possono essere aggiornati senza riaddestrare il modello.

Pura magia! Siamo all'inizio!