Bonsai 2: ecco come un modello da 27mld di parametri occupa meno di 6 GB, e può girare nel browser

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/web/bo...er_159371.html

Prism ML ha compresso Qwen3.8-27B, modello da 27 miliardi di parametri, in un file ternario di appena 5,95 GB: gira anche nel browser via WebGPU e conserva il 98,2% delle prestazioni della versione FP16 originale da 53,8 GB

Click sul link per visualizzare la notizia.

[bonzoxxx]

Azz. Lo sto scaricando, vediamo come va.

[io78bis]

Originariamente inviato da bonzoxxx

Azz. Lo sto scaricando, vediamo come va.

Attendiamo opinioni 🙂

[mmorselli]

Articolo che rischia di essere un po' fuorviante... Prima titola "Gira nel browser", e vabbè, più o meno vero, l'inferenza gira nel browser, va bene, i titoli sono brevi (e acchiappaclick ovviamente)

ma poi si buttano lì anche frasi come

"fino a poco tempo fa l'esecuzione locale di questa classe di modelli restava riservata a chi disponeva di GPU dedicate e di un ambiente configurato ad hoc."

Uno che non se ne intende molto dopo aver letto che gira nel browser legge pure che non servono GPU dedicate, e si fa una strana idea.

Certo che servono GPU dedicate, il modello sempre in GPU bisogna farlo girare.

[bonzoxxx]

Allora, serve uno llama.cpp specifico per lavorare con i pesi ternari. L'ho provato nel browser ed occupa poco più di 6GB di VRAM, sicuramente progetto interessante e che merita ulteriori test.