Quote:
Originariamente inviato da frankie
la vera stranezza è utilizzare FP4 invece di FP8.
Ma io di questo non ci capisco e mi astengo.
Quanto siano meglio i calcoli FP4 invece che 8 su IA?
|
Non mi dilungo troppo ma è stato l'argomento principale di un corso che ho seguito proprio in sede nvidia e ti assicuro che i vantaggi in inferenza di FP4 su FP8 sono ENORMI.