Terminata la battaglia del gigahertz inizia quella dei TOPS?

[LMCH]

Originariamente inviato da Unrue

La quantizzazione dei pesi non è un'idea nuova, ma fino ad ora non ha portato a risultati comparabili. Vedremo.

A differenza delle precedenti quantizzazioni che richiedevano moltiplicatori "classici" per interi o float un moltiplicatore di coefficienti ternari {-1, 0, +1} è leggerissimo in termini di gate richiesti e molto più veloce.
Moltiplicazione "ternaria" A * B --> C usando una rappresentazione a 2bit (1bit di segno s ed 1bit di "valore assoluto" v)
corrisponde grossomodo a
C.v = A.v AND B.v
C.s = ( A.s XOR B.s) AND C.v

Due porte logiche AND ed una XOR eseguita in seriale in due cicli di clock, oppure tre AND ed una XOR eseguita in parallelo in un ciclo di clock
(in realtà ottimizzando il circuito la versione ad 1 ciclo di clock viene molto più semplice, ma è per dare l'idea).

[Unrue]

Originariamente inviato da LMCH

A differenza delle precedenti quantizzazioni che richiedevano moltiplicatori "classici" per interi o float un moltiplicatore di coefficienti ternari {-1, 0, +1} è leggerissimo in termini di gate richiesti e molto più veloce.
Moltiplicazione "ternaria" A * B --> C usando una rappresentazione a 2bit (1bit di segno s ed 1bit di "valore assoluto" v)
corrisponde grossomodo a
C.v = A.v AND B.v
C.s = ( A.s XOR B.s) AND C.v

Due porte logiche AND ed una XOR eseguita in seriale in due cicli di clock, oppure tre AND ed una XOR eseguita in parallelo in un ciclo di clock
(in realtà ottimizzando il circuito la versione ad 1 ciclo di clock viene molto più semplice, ma è per dare l'idea).

Intendo proprio la quantizzazione ternaria. Se ne parla dal 2016, ma poi non so bene perché non ha preso piede:

https://arxiv.org/abs/1609.00222

[LMCH]

Originariamente inviato da Unrue

Intendo proprio la quantizzazione ternaria. Se ne parla dal 2016, ma poi non so bene perché non ha preso piede:

https://arxiv.org/abs/1609.00222

Le NPU e tensor unit attuali sono ottimizzate per eseguire prodotti di matrici di interi e float, se esegui giusto gli stessi algoritmi usando logica ternaria il vantaggio non è significativo perchè bisogna "aumentare le dimensioni delle matrici" (il numero di coefficienti) per avere prestazioni comparabili.

I ricercatori che hanno pubblicato la paper che ho linkato in precedenza non hanno solo usato coefficienti ternari, ma hanno anche sostituito i passi che richiedevano moltiplicazioni di matrici con una versione ottimizzata che prima "seleziona" i blocchi più rilevanti delle matrici e poi affina il calcolo valutando come si evolve l'aggiornamento dei coefficienti tra un passo ed il successivo.

E' una cosa che si potrebbe fare anche con altre quantizzazioni, ma con coefficienti ternari viene fatta in modo molto più efficiente.

Adesso quel che resta da fare per sostituire i vecchi algoritmi e modelli è verificare che il nuovo metodo scali bene crescendo ulteriormente con le dimensioni del modello, i ricercatori hanno fatto esperimenti con modelli da "solo" 2,7 miliardi di parametri con 100 miliardi di token di addestramento, mentre i modelli più recenti superano anche i 15000 miliardi di token.

Quel che comunque è già evidente è che se si parla di NPU "per pc/laptop" o per roba embedded questi nuovi algoritmi a coefficienti ternari sono già ultra-competitivi in termini di consumi e prestazioni.

[Mparlav]

LMCH, grazie per quel link.