Link alla notizia: https://www.hwupgrade.it/news/sistemi/amd-ryzen-ai-halo-debutta-a-3999-dollari-workstation-compatta-per-llm-e-agenti-ai-locali_153832.html

AMD ha annunciato Ryzen AI Halo Developer Platform, soluzione compatta pensata per lo sviluppo di applicazioni AI locali. Basata su Ryzen AI Max+ 395, offre fino a 128 GB di memoria unificata, supporto ROCm e 50 TOPS NPU. In arrivo anche la futura piattaforma Ryzen AI Max PRO 400 con 192 GB.

Click sul link per visualizzare la notizia.

Per 399 € come mini pc si può ancora comprare dai

E qui qualcosa mi sfugge.. dicono che posso mettere una IA agenti a dentro a quel coso e risparmiarmi i soldi della IA via cloud e in 6 mesi ho recuperato tutto.. vero che le IA in cloud costano un botto.. se usate drenano soldi come non ci fosse un domani e fare 500 euro/mese è un’attimo.. ma le IA in cloud vengono costantemente aggiornate .. che ci metto in quella scatola da 4 mila dollari che funge da IA ? .. il costo dello sviluppo di una soluzione equivalente non viene conteggiato da AMD ?. Claude non devo aggiornarlo .. lo compro e ci lavoro.. se compro quella scatolina la accendo e ci lavoro ? Cosa devo comprare oltre alla scatolina per lavorare ? Che competenze mi servono poi per gestirla e mantenerla ?

Io non capisco office 365 perchè pago per avere la stessa cosa che posso avere con office pro + Dropbox ad un costo infinitamente inferiore.. non capisco Windows 365.. ma le IA in locale non hanno ne la stessa potenza di calcolo ne la stessa facilità d’uso di una IA in una scatoletta.. credo che tutti sognerebbero di avere la propria IA personale a costo zero per programmare, disegnare, fare cose.. ma mi sa che è ancora presto per averla.. o mi sfugge qualcosa è oggi ci sono le IA-in-the-box potenti come chatgpt 5.5 a 200 euro una tantum ?

Il prezzo e giustificato sia dalle componenti hardware che dal software, anche se volendo risparmiare si va su un box cinese con le stesse caratteristiche e si usa col software configurato a manina... Riguardo alle osservazioni relative all'uso della IA in locale, valgono le considerazioni relative al lavoro di per sé, a volte non puoi usare sistemi in Cloud perché il progetto non deve uscire dall'azienda, quindi usare le ai in locale serve, anche se vanno meno veloci non corri rischi di regalare qualcosa... Premesso che parlo in linea teorica, perché non uso e non faccio sviluppo IA...

Per motivi di sicurezza hai sicuramente ragione (in parte) ma dubito che un giocattolo come questo possa competere con una farm in termini di prestazioni.. probabilmente non ho ben capito il mercato target di questa soluzione ma da utilizzatore di IA non mi verrebbe in mente una cosa simile non sapendo cosa installarci per ottenere lo stesso risultato che ho con codex, per fare un esempio.

Sarebbe un sogno avere la propria IA personale stile Asimov e i cervelli positronici ma mi sa che è ancora lontano dall’essere fattibile

Per motivi di sicurezza hai sicuramente ragione (in parte) ma dubito che un giocattolo come questo possa competere con una farm in termini di prestazioni.. probabilmente non ho ben capito il mercato target di questa soluzione ma da utilizzatore di IA non mi verrebbe in mente una cosa simile non sapendo cosa installarci per ottenere lo stesso risultato che ho con codex, per fare un esempio.

Sarebbe un sogno avere la propria IA personale stile Asimov e i cervelli positronici ma mi sa che è ancora lontano dall’essere fattibile

Come successo con il Cloud, è chiaro che se compri un computer simile devi poi avere le competenze per sfruttarlo.
Io non credo molto nei numeri presentati nell'articolo ma AI locale ha senso in quasi qualsiasi ambito, se si dispone di persone con le giuste capacità tecniche.
Personalmente però valuterei anche altre soluzioni sia x86, ARM o magari RiscV

Ma i 50 o 55 tops non sono pochini?
Mi riferisco a tutti i soc,che siano AMD,Intel o Qualcomm

E qui qualcosa mi sfugge.. dicono che posso mettere una IA agenti a dentro a quel coso e risparmiarmi i soldi della IA via cloud e in 6 mesi ho recuperato tutto.. vero che le IA in cloud costano un botto.. se usate drenano soldi come non ci fosse un domani e fare 500 euro/mese è un’attimo.. ma le IA in cloud vengono costantemente aggiornate .. che ci metto in quella scatola da 4 mila dollari che funge da IA ? .. il costo dello sviluppo di una soluzione equivalente non viene conteggiato da AMD ?. Claude non devo aggiornarlo .. lo compro e ci lavoro.. se compro quella scatolina la accendo e ci lavoro ? Cosa devo comprare oltre alla scatolina per lavorare ? Che competenze mi servono poi per gestirla e mantenerla ?

non sono esperto, magari dico cazzate.. ma qui si parla di box per sviluppatori.

Immagino che venga usato per perfezionare un determinato tipo di agente IA che deve svolgere un determinato compito e che poi può essere impiegato all'interno di una azienda per svolgere sempre un determinato incarico.
Su queste basi non è ne importnte nè necesario che venga aggiornato o migliorato oltre un certo punto..

Non penso che queste soluzioni siano qui per rimpiazzare servizi cloud di ben altro potenziale utilizzo

non sono esperto, magari dico cazzate.. ma qui si parla di box per sviluppatori.

Immagino che venga usato per perfezionare un determinato tipo di agente IA che deve svolgere un determinato compito e che poi può essere impiegato all'interno di una azienda per svolgere sempre un determinato incarico.
Su queste basi non è ne importnte nè necesario che venga aggiornato o migliorato oltre un certo punto..

Non penso che queste soluzioni siano qui per rimpiazzare servizi cloud di ben altro potenziale utilizzo

ma loro fanno l'esempio VS piattaforma cloud a consumo.. per quello ci ragionavo..

Per motivi di sicurezza hai sicuramente ragione (in parte) ma dubito che un giocattolo come questo possa competere con una farm in termini di prestazioni.. probabilmente non ho ben capito il mercato target di questa soluzione ma da utilizzatore di IA non mi verrebbe in mente una cosa simile non sapendo cosa installarci per ottenere lo stesso risultato che ho con codex, per fare un esempio.
Il target credo siano coloro disposti a spendere 3000 euro e più per una (o due) GPU nuova sufficientemente capace per gli ultimi modelli open da usare localmente (per svago, lavoro o hobby in genere), senza preoccupazioni per "termini di servizio", privacy e così via, possibilità di sperimentazione senza vincoli, modelli "uncensored", e così via. Non credo ci sia un vero e proprio risparmio.

Il problema principale qui è che ti danno molta memoria, ma relativamente lenta rispetto pure ad una GPU di fascia bassa (dovrebbe essere DDR5-8533 in quad channel, 273 GB/s). 50 TOPS sono veramente pochi. L'ecosistema software per GPU AMD non è granchè.

Ma i 50 o 55 tops non sono pochini?
Mi riferisco a tutti i soc,che siano AMD,Intel o Qualcomm

si riferiscono solo alla NPU. Se sommi i TOPS di CPU, GPU e NPU dovrebbe attestarsi sui 130 circa

Per DeepSeek V4 flash/pro non è sufficiente.
Queste soluzioni dovevano uscire 1 anno fa e dovevano costare 1/10 oggi, è tempo di arrivare a 1TB di Ram.
Allora si che possiamo pensare di far girare i modelli seri in locale.
A che mi servono modelli che fanno cavolate?
Ho provato qualche modello in locale e nessuno mi ha soddisfatto.

non sapendo cosa installarci per ottenere lo stesso risultato che ho con codex, per fare un esempio.
parti da Ollama, disponibile anche per windows oltre che linux e mac, open source, supporta questo processore al 100%.