AMD lancia GAIA, progetto open source per eseguire LLM in locale su Ryzen AI e non solo

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/cpu/am...lo_136914.html

AMD ha annunciato GAIA, un'applicazione di IA generativa progettata per eseguire LLM locali e privati su qualsiasi PC Windows - anche se è ottimizzata per le APU AMD Ryzen AI 300 Series dotate di NPU.

Click sul link per visualizzare la notizia.

[supertigrotto]

Su tutti i PC Windows con prestazioni ridotte.....anche in caso di CPU AMD e scheda video AMD di ultima generazione?
Sinceramente mi pare di aver capito che con una buona scheda video,in locale,una IA lavora bene,a patto di avere una buona scheda grafica di ultima generazione.

[Max Power]

Bene

[davide445]

Puoi fare girare in locale un modello LLM usando i vari framework come LM Studio anche con una scheda video 8GB come una 1070, a condizione o trovi modello che sta tutto nella VRAM (es modelli 3 Bilion parametri, oppure 8 Bilion quantizzati q4) oppure usi formati come GGUF che lo splittano tra VRAM e RAM, ma con tempi di risposta molto maggiori.
Non avendola provata da quello che capisco la piattaforma Ryzen AI offre alla GPU e forse NPU accesso condiviso alla RAM, con un miglioramento delle performance rispetto all'uso di memorie separate