Quote:
Originariamente inviato da LMCH
Date un occhiata a questo articolo:
https://news.ucsc.edu/2024/06/matmul-free-llm.html
Ed alla pubblicazione di cui parla:
https://arxiv.org/pdf/2406.02528
Per dirla in poche parole ... i chip e gli "acceleratori AI" attualmente o prossimamente disponibili ... sono TUTTI obsoleti. 
E' stato messo a punto un nuovo metodo che ELIMINA L'USO DELLE MOLTIPLICAZIONI DI MATRICI "classiche" usando la quantizzazione ternaria (coefficienti con solo tre valori, ovvero -1, 0, +1 ). |
La quantizzazione dei pesi non è un'idea nuova, ma fino ad ora non ha portato a risultati comparabili. Vedremo.