Un LLM gira su un microcontrollore da meno di 10 dollari: raggiunge quasi 10 token al secondo

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/web/un...do_157428.html

Uno sviluppatore è riuscito a eseguire un piccolo modello linguistico direttamente su un microcontrollore ESP32-S3 dal costo inferiore ai 10 dollari. Grazie a quantizzazione, offload degli embedding nella memoria Flash e codice C ottimizzato, il sistema raggiunge circa 9 token al secondo, dimostrando nuove possibilità per l'AI embedded.

Click sul link per visualizzare la notizia.

[UtenteHD]

Penso, magari mi sbaglio, che tutte le scoperte, invenzioni, test ecc.. anche se magari non lo dicono o non riportato l'hanno fatto con l'aiuto dell'AI, quindi mentre pre AI la velocità di miglioria della nuova Tecnologia aumentava in maniera esponenziale col passsre del tempo e della nuova Tecnologia utilizzata, ora con questo fattore + AI la miglioria non è più esponenziale, è ben oltre con un boost forse esagerato.

[GLaMacchina]

Originariamente inviato da UtenteHD

Penso, magari mi sbaglio, che tutte le scoperte, invenzioni, test ecc.. anche se magari non lo dicono o non riportato l'hanno fatto con l'aiuto dell'AI, quindi mentre pre AI la velocità di miglioria della nuova Tecnologia aumentava in maniera esponenziale col passsre del tempo e della nuova Tecnologia utilizzata, ora con questo fattore + AI la miglioria non è più esponenziale, è ben oltre con un boost forse esagerato.

La crescita esponenziale non esiste nella realta' fisica delle cose visto che, per quanto ne sappiamo, non esistono grandezze infinite. Esiste solo nella narrativa di chi non sa di cosa sta parlando, ovvero la stragrande maggioranza.

[supertigrotto]

Secondo me io futuro è nei moduli più che integrare tutto nella GPU,ci sono già dei moduli PCI express nvme ed è la soluzione ideale,se la tecnologia invecchia,cambi solo il modulo così da tenere la CPU ancora valida,senza dover spendere in capitali di GPU Nvidia, AMD o Intel

[Max Power]

Originariamente inviato da GLaMacchina

per quanto ne sappiamo, non esistono grandezze infinite. .

Per i geometri sì..."la linea": PUNTI INFINITI