Link alla notizia: https://www.hwupgrade.it/news/web/gemma-4-corre-su-hardware-consumer-i-nuovi-drafter-di-google-triplicano-la-velocita_153366.html

Google ha rilasciato i nuovi drafter Multi-Token Prediction per la famiglia Gemma 4, una soluzione software capace di triplicare le prestazioni in inferenza locale tramite speculative decoding, garantendo massima qualità e zero latenza

Click sul link per visualizzare la notizia.

Questo processo costringe l'hardware a spostare miliardi di parametri dalla memoria alle unità di calcolo per ogni singolo token prodotto

Questa non l'ho capita, una volta che i pesi sono caricati in memoria lì restano, non vanno da nessuna parte.

Questa non l'ho capita, una volta che i pesi sono caricati in memoria lì restano, non vanno da nessuna parte.

Beh devono essere trasmessi alla GPU per i calcoli, piú volte per i vari token predetti uno ad uno con la tecnica tradizionale

per usarli direttamente si può passare per ollama come varianti del modello ?

Questa non l'ho capita, una volta che i pesi sono caricati in memoria lì restano, non vanno da nessuna parte.

Vanno dalla memoria alla cpu/gpu a mano a mano che avviene l'inferenza