AMD lancia GAIA, progetto open source per eseguire LLM in locale su Ryzen AI e non solo

AMD ha annunciato il lancio di GAIA, un progetto open-source pensato per sfruttare la NPU dei Ryzen AI al fine di eseguire modelli di intelligenza artificiale generativa (LLM) in modo locale e privato sui PC Windows.

GAIA è un’applicazione avanzata di intelligenza artificiale generativa che permette di eseguire LLM in locale su PC dotati di processori AMD Ryzen AI 300 Series. L'uso della NPU, di pari passo ai core x86 e alla GPU integrata, consente un'elaborazione più veloce e con minori consumi energetici, mantenendo i dati esclusivamente sul dispositivo, senza doverli trasferire a server esterni.

Clicca per ingrandire

GAIA utilizza l'SDK open-source Lemonade di ONNX TurnkeyML per l'inferenza LLM. L’applicazione supporta una vasta gamma di LLM ottimizzati per Ryzen AI, tra cui i modelli Llama e Phi, adatti per applicazioni come generazione di testo, riassunti e risoluzione di problemi complessi.

AMD offre due versioni di GAIA:

• GAIA Installer: compatibile con tutti i PC Windows, sebbene con prestazioni ridotte.
• GAIA Hybrid Installer: ottimizzato per Ryzen AI, sfrutta NPU e iGPU per prestazioni elevate.

L'installazione richiede meno di 10 minuti (istruzioni qui) e, una volta avviata, consente di esplorare diverse funzionalità basate su agenti AI.

Clicca per ingrandire

Uno degli aspetti fondamentali di GAIA è la sua pipeline di Retrieval-Augmented Generation (RAG), che combina modelli di linguaggio con una base di conoscenza per fornire risposte più precise e contestualizzate. Gli agenti attualmente disponibili includono:

• Chaty: chatbot con memoria conversazionale.
• Clip: agente RAG per ricerca e Q&A su YouTube.
• Joker: generatore di battute basato su RAG.

Ulteriori agenti sono in fase di sviluppo e AMD incoraggia gli sviluppatori a contribuire con nuove funzionalità.

GAIA è l'ultima soluzione ad affacciarsi nel nuovo mare di applicazioni LLM localizzate, tra cui LM Studio e ChatRTX. L'esecuzione di un LLM in locale presenta notevoli vantaggi rispetto alle soluzioni basate su cloud, tra cui una maggiore sicurezza, una minore latenza e, in alcuni casi, prestazioni migliori, a seconda dell'hardware. Inoltre, gli LLM locali funzionano offline e non richiedono una connessione a Internet.