Quote:
Originariamente inviato da !fazz
i tera di dati servono per la taratura del modello una volta tarato il modello diventa una matriciona di numeri grande si ma molto più piccola che è possibile salvare sul dispositivo ed eseguire offline
se prendiamo ad esempio whisper (modello di open ai che fai speech to text) il modello base ha 74 milioni di parametri e occupa 1 GB mentre quello più esteso di parametri ne ha 1550 milioni e occupa 10GB di memoria
tagli che si possono essere tranquillamente gestibili in offline
|
Questo rende la cosa molto piu sensata.. ma quindi è qualcosa del genere quello che si vuole fare sui "prossimi PC"?