Link alla notizia: https://www.hwupgrade.it/news/scienza-tecnologia/google-risolve-il-problema-della-memoria-negli-llm-turboquant-fa-girare-gli-stessi-modelli-con-cinque-volte-meno-ram_151795.html

Google Research presenta TurboQuant, algoritmo training-free che comprime il KV cache degli LLM a 3 bit senza perdere accuratezza. Memoria ridotta di almeno cinque volte e calcolo degli attention logits fino a 8x più veloce su NVIDIA H100

Click sul link per visualizzare la notizia.

Eh no,barboni non si risparmia sulla RAM,noi vogliamo ancora più crisi,dobbiamo sostenere con forza il piano dei superstalloni della IA.

" per ogni gigabyte di HBM prodotto, Micron sacrifica la produzione di tre gigabyte di DRAM convenzionale."

La KV cache è solo parte e spesso neanche la maggiore del consumo di memoria di un moderno LLM.

La KV cache è solo parte e spesso neanche la maggiore del consumo di memoria di un moderno LLM.

La KV cache può arrivare ad occupare tranquillamente il 50% della memoria video, quindi è un collo di bottiglia enorme. Ben vengano queste soluzioni.

Ricordiamoci una delle Leggi di Murphy applicate all'informatica:
"Ogni programma si espanderà fino ad occupare tutta la memoria disponibile"

Basta fare la similitudine con le richieste di memoria dei videogiochi come sono aumentate negli ultimi 10-15 anni

ok 8x ma bisogna capire cosa stanno misurando esattamente: è lo speedup sul calcolo degli attention logits isolato, e su H100, non sull'inferenza end-to-end. il transformer fa un botto di altra roba, proiezioni lineari, feed-forward, sampling ecc e quelle non toccano minimamente il kv cache. nella pipeline reale quel guadagno si diluisce, dipende dall'architettura e dalla lunghezza del contesto. su contesti corti l'attenzione è già veloce di suo

la leva sul lemma JL invece mi sembra la parte più interessante del paper. l'idea di fondo è che se prendi un vettore ad alta dimensionalità e lo proietti in uno spazio molto più piccolo con una matrice casuale, le distanze tra i vettori si preservano approssimativamente, è un risultato dimostrato da decenni. qui lo usano per comprimere l'errore residuo dopo polarquant a un singolo bit di segno, e il trucco per cui funziona è che abbinano questa rappresentazione degradatissima con i query vector in alta precisione al momento del calcolo, ottenendo stime del prodotto scalare non distorte in media.
ma "in media" non significa che ogni singola stima è perfetta, significa che l'errore non si accumula sistematicamente in una direzione, il che per i pesi di attenzione è sufficiente. è onesto, non è un'euristica alla viva il parroco