Gemma 4 corre su hardware consumer: i nuovi drafter di Google triplicano la velocità

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/web/ge...ta_153366.html

Google ha rilasciato i nuovi drafter Multi-Token Prediction per la famiglia Gemma 4, una soluzione software capace di triplicare le prestazioni in inferenza locale tramite speculative decoding, garantendo massima qualità e zero latenza

Click sul link per visualizzare la notizia.

[Unrue]

Questo processo costringe l'hardware a spostare miliardi di parametri dalla memoria alle unità di calcolo per ogni singolo token prodotto

Questa non l'ho capita, una volta che i pesi sono caricati in memoria lì restano, non vanno da nessuna parte.

[pengfei]

Originariamente inviato da Unrue

Questa non l'ho capita, una volta che i pesi sono caricati in memoria lì restano, non vanno da nessuna parte.

Beh devono essere trasmessi alla GPU per i calcoli, piú volte per i vari token predetti uno ad uno con la tecnica tradizionale

[Rubberick]

per usarli direttamente si può passare per ollama come varianti del modello ?

[blackshard]

Originariamente inviato da Unrue

Questa non l'ho capita, una volta che i pesi sono caricati in memoria lì restano, non vanno da nessuna parte.

Vanno dalla memoria alla cpu/gpu a mano a mano che avviene l'inferenza