Google risolve il problema della memoria negli LLM: TurboQuant fa girare gli stessi modelli con cinque volte meno RAM

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/scienz...am_151795.html

Google Research presenta TurboQuant, algoritmo training-free che comprime il KV cache degli LLM a 3 bit senza perdere accuratezza. Memoria ridotta di almeno cinque volte e calcolo degli attention logits fino a 8x più veloce su NVIDIA H100

Click sul link per visualizzare la notizia.

[supertigrotto]

Eh no,barboni non si risparmia sulla RAM,noi vogliamo ancora più crisi,dobbiamo sostenere con forza il piano dei superstalloni della IA.

[giovanni69]

" per ogni gigabyte di HBM prodotto, Micron sacrifica la produzione di tre gigabyte di DRAM convenzionale."

[s12a]

La KV cache è solo parte e spesso neanche la maggiore del consumo di memoria di un moderno LLM.

[Unrue]

Originariamente inviato da s12a

La KV cache è solo parte e spesso neanche la maggiore del consumo di memoria di un moderno LLM.

La KV cache può arrivare ad occupare tranquillamente il 50% della memoria video, quindi è un collo di bottiglia enorme. Ben vengano queste soluzioni.

[gparlav]

Ricordiamoci una delle Leggi di Murphy applicate all'informatica:
"Ogni programma si espanderà fino ad occupare tutta la memoria disponibile"

Basta fare la similitudine con le richieste di memoria dei videogiochi come sono aumentate negli ultimi 10-15 anni

[lollo9]

ok 8x ma bisogna capire cosa stanno misurando esattamente: è lo speedup sul calcolo degli attention logits isolato, e su H100, non sull'inferenza end-to-end. il transformer fa un botto di altra roba, proiezioni lineari, feed-forward, sampling ecc e quelle non toccano minimamente il kv cache. nella pipeline reale quel guadagno si diluisce, dipende dall'architettura e dalla lunghezza del contesto. su contesti corti l'attenzione è già veloce di suo

la leva sul lemma JL invece mi sembra la parte più interessante del paper. l'idea di fondo è che se prendi un vettore ad alta dimensionalità e lo proietti in uno spazio molto più piccolo con una matrice casuale, le distanze tra i vettori si preservano approssimativamente, è un risultato dimostrato da decenni. qui lo usano per comprimere l'errore residuo dopo polarquant a un singolo bit di segno, e il trucco per cui funziona è che abbinano questa rappresentazione degradatissima con i query vector in alta precisione al momento del calcolo, ottenendo stime del prodotto scalare non distorte in media.
ma "in media" non significa che ogni singola stima è perfetta, significa che l'errore non si accumula sistematicamente in una direzione, il che per i pesi di attenzione è sufficiente. è onesto, non è un'euristica alla viva il parroco