AMD Ryzen AI Max+: ora anche gli LLM da 128 miliardi di parametri girano in locale

AMD ha annunciato un importante aggiornamento per la piattaforma Ryzen AI Max+, che estende le capacità dei PC Windows nel campo dell'intelligenza artificiale locale. Con l'introduzione dei nuovi driver Adrenalin Edition 25.8.1 WHQL, il processore Ryzen AI Max+ 395 abbinato a 128 GB di RAM può ora eseguire localmente modelli linguistici di grandi dimensioni (LLM) fino a 128 miliardi di parametri, un traguardo precedentemente riservato solo all'hardware da datacenter.

La novità principale risiede nell'estensione della Variable Graphics Memory (VGM), di cui ci eravamo occupati dal punto di vista gaming, una funzione presente nel BIOS della serie Ryzen AI 300 che permette di riassegnare porzioni della RAM di sistema come memoria grafica dedicata. Nella configurazione Ryzen AI Max+ 395 da 128 GB, fino a 96 GB possono essere allocati alla GPU integrata, rendendo possibile l'esecuzione di modelli estremamente esigenti in termini di memoria, tramite l'implementazione Vulkan di llama.cpp.

Tra i modelli supportati figura Meta Llama 4 Scout 109B, una versione avanzata con architettura Mixture-of-Experts (MoE): attiva solo 17 miliardi di parametri per ogni inferenza, ma necessita di mantenere tutti i 109B in memoria. Nonostante l'imponenza del modello, l'output risulta reattivo, con velocità di generazione fino a 15 token al secondo, rendendolo adatto anche per l'uso in mobilità.

L'integrazione con LM Studio consente di sfruttare un'ampia gamma di modelli LLM, da configurazioni leggere da 1B fino a soluzioni avanzate come Mistral Large. L'utente può regolare liberamente i livelli di quantizzazione (fino a 16 bit) per ottimizzare il compromesso tra qualità e prestazioni.

Un altro elemento tecnico cruciale è la lunghezza del contesto supportata: mentre molti strumenti si fermano a 4.096 token, la nuova piattaforma AMD consente fino a 256.000 token di contesto attivo (con Flash Attention e KV Cache in Q8), aprendo la porta a casi d'uso sofisticati come i workflow agentici.

Questi scenari includono applicazioni MCP (multi-call prompting) come la consultazione di documenti SEC o la sintesi di paper scientifici provenienti da database come arXiv. In questi casi, il numero di token può facilmente superare i 20.000, rendendo indispensabile una gestione avanzata del contesto in memoria.

AMD sottolinea che l'esecuzione locale di modelli così avanzati, precedentemente possibile solo in cloud o in ambienti server, rappresenta un salto qualitativo per la privacy, la reattività e l'autonomia degli strumenti AI. Inoltre, la piattaforma Ryzen AI Max+ è progettata per essere compatibile con un crescente ecosistema di agenti AI locali, potenzialmente in grado di gestire strumenti e workflow complessi in autonomia.

Tra i dispositivi dotati di Ryzen AI Max+ 395 (128 GB) troviamo:

• ASUS ROG Flow Z13
• Corsair AI Workstation 300
• Framework Desktop
• HP ZBook Ultra G1a
• HP Z2 Mini G1a