Link alla notizia: https://www.hwupgrade.it/news/web/bonsai-2-ecco-come-un-modello-da-27mld-di-parametri-occupa-meno-di-6-gb-e-puo-girare-nel-browser_159371.html

Prism ML ha compresso Qwen3.8-27B, modello da 27 miliardi di parametri, in un file ternario di appena 5,95 GB: gira anche nel browser via WebGPU e conserva il 98,2% delle prestazioni della versione FP16 originale da 53,8 GB

Click sul link per visualizzare la notizia.

Azz. Lo sto scaricando, vediamo come va.

Azz. Lo sto scaricando, vediamo come va.

Attendiamo opinioni 🙂

Articolo che rischia di essere un po' fuorviante... Prima titola "Gira nel browser", e vabbè, più o meno vero, l'inferenza gira nel browser, va bene, i titoli sono brevi (e acchiappaclick ovviamente)

ma poi si buttano lì anche frasi come

"fino a poco tempo fa l'esecuzione locale di questa classe di modelli restava riservata a chi disponeva di GPU dedicate e di un ambiente configurato ad hoc."

Uno che non se ne intende molto dopo aver letto che gira nel browser legge pure che non servono GPU dedicate, e si fa una strana idea.

Certo che servono GPU dedicate, il modello sempre in GPU bisogna farlo girare.

Allora, serve uno llama.cpp specifico per lavorare con i pesi ternari. L'ho provato nel browser ed occupa poco più di 6GB di VRAM, sicuramente progetto interessante e che merita ulteriori test.