Link alla notizia: https://edge9.hwupgrade.it/news/device/il-pc-che-sostituisce-il-cloud-la-grande-scommessa-di-amd-sull-ai-locale_156772.html

AMD delinea la propria strategia sull'AI locale: modelli open sempre più piccoli raggiungono prestazioni da frontiera, rendendo possibile l'esecuzione su PC. Annunciata anche un'alleanza con Cisco per sicurezza e governance degli agenti AI aziendali.

Click sul link per visualizzare la notizia.

di certo avere una IA locale personale che collabora con te senza dover usare servizi esterni è una cosa che stuzzica.. anche perchè (in teoria molto in teoria) si ha anche una maggiore privacy e controllo.

il fatto è che siamo agli inizi.. un hardware dedicato con prestazioni accettabili è parecchio costoso e di certo i modelli da far girare a casa sono ben meno performanti dei super modelli cloud.

Ci vorranno anni prima di avere ina IA decente locale a prezzi popolari.

di certo avere una IA locale personale che collabora con te senza dover usare servizi esterni è una cosa che stuzzica.. anche perchè (in teoria molto in teoria) si ha anche una maggiore privacy e controllo.

il fatto è che siamo agli inizi.. un hardware dedicato con prestazioni accettabili è parecchio costoso e di certo i modelli da far girare a casa sono ben meno performanti dei super modelli cloud.

Ci vorranno anni prima di avere ina IA decente locale a prezzi popolari.

Non credo sia una cosa che abbiamo come obbiettivo usarlo a casa, certo qualcuno con tanti soldi e la passione per ste cose potrebbe anche pensarci.
Ma di fatto sono soluzioni che hanno una sua utilità in ambiente professionale.
3-4 mila euro per una macchina che fa girare modelli con 300 miliardi di parametri senza che i tuoi progetti vengano sniffati da Google/OpenAI/Anthropic/ecc. non è così male.

Basta una GPU con 10GB per far girare qwen 3.5..

Basta una GPU con 10GB per far girare qwen 3.5..

Ci sono diversi modelli di qwen 3.5 non sono tutti uguali, per esempio scordati qwen 3.5 code 72B su una GPU con 10GB, al massimo ci fai girare il 14B.

Al momento gli unici sistemi "casalinghi" in grado di far girare modelli molto grandi sono i Mac, ma il prezzo è molto più alto.

9B, il modello descritto in questo articolo.

9B, il modello descritto in questo articolo.

È un giocattolino, per quanto siano sempre più efficienti e performanti vanno bene per compiti semplici.

L'articolo dice una cosa diversa. Poi sicuramente tu sei più esperto

di certo avere una IA locale personale che collabora con te senza dover usare servizi esterni è una cosa che stuzzica.. anche perchè (in teoria molto in teoria) si ha anche una maggiore privacy e controllo.

il fatto è che siamo agli inizi.. un hardware dedicato con prestazioni accettabili è parecchio costoso e di certo i modelli da far girare a casa sono ben meno performanti dei super modelli cloud.

Ci vorranno anni prima di avere ina IA decente locale a prezzi popolari.

Per quello che ho potuto vedere, un modello in locale che gestisca gli agenti per riunioni, posta, prepari report o bozze di report, analizzi dati interni, inizia a essere alla portata dei modelli in locale citati nell'articolo. Inoltre qui ci sono i dati più sensibili, che le aziende vogliono tenersi stretto.
Se andiamo invece su task più complessi come coding o analisi più complesse, ad oggi quelli in locale non sono sufficienti. anche quì ci sono dati sensibili, ma in alcuni casi meno che nel caso di sopra.
Secondo me a breve ci sarà un approccio stile edge computing. Modelli locali per gli agenti che gestiscono dati sensibili. E l'uso dei modelli più grandi per i compiti più impegnativi.

è anche vero che con i prossimi aggiornamenti fai serie 6000 di nvidia ed equivalente amd penso che saliranno di memoria e il 16/24 gb diventerà il nuovo standard, magari escono tra 1 anno e mezzo, però quando la crisi delle memorie sarà finita dato che ci saranno memorie cinesi a basso costo a tirare giù i prezzi

L'articolo dice una cosa diversa. Poi sicuramente tu sei più esperto

Non più di tanto, ma ci ho pasticciato un po'.
Se vuoi una AI in locale in grado di fare cose affidabili a livello professionale e intendo coding e simili, ti serve ben più che un modello da 9B

è anche vero che con i prossimi aggiornamenti fai serie 6000 di nvidia ed equivalente amd penso che saliranno di memoria e il 16/24 gb diventerà il nuovo standard, magari escono tra 1 anno e mezzo, però quando la crisi delle memorie sarà finita dato che ci saranno memorie cinesi a basso costo a tirare giù i prezzi

Sia AMD che Nvidia passeranno ad altri sistemi per l'AI rispetto alle GPU.
AMD sta già spingendo queste soluzioni con APU massicce, Nvidia ha presentato Spark che è sostanzialmente la stessa cosa ma con CPU ARM.

Immagino che ci sarà un periodo di transizione, ma la strada è quella.
Anche in datacenter da anni propongono soluzioni simili, non più CPU e GPU separate.

avranno sicuramente un mercato ma mi fa strano pensare che oggi usiamo Claude o Sol con oltre 2 mila miliardi di parametri e domani con 9 miliardi di parametri ci sentiremo comodi..

ricordo quando ho preso in mano il pad di mia mamma della Huawei perchè mi ha chiesto di sistemarle qualcosa.. era un modello nuovo ma economico e io ho sempre e solo usato iPad e o iPad Pro.. quando l'ho usato mi sembrava di essere tornato indietro di 10 anni e di avere un vecchio modello in mano da quanto lento era a fare le cose o anche solo a reagire a quello che facevo

ora mi domando.. quando si è abituati a certe IA.. passare in locale con una IA che ha 100-200 volte meno parametri rispetto alle IA a cui si è abituati darà lo stesso feedback ?

in che contesti saranno "migliori" ? per quali lavori andranno scelte queste soluzioni "economiche" ? ricordo un articolo qui su HWUG in cui si parlava di una macchina IA per video e si parlava di tempi "biblici" per il mondo attuale ma perfetti per l'hobby.. mi sono ricordato di quando mi piaceva fare i frattali di mandelbrot sul 80286.. li lanciavo la sera e dopo 12-15 ore vedevo il risultato e lo stampavo.. poi con il 486 potevi vederli in tempo reale..

spero di vedere sistemi migliori per le IA a prezzi umani nei prossimi 3-5 anni perchè mi angoscia pensare che a casa/ufficio di debba restare con abbonamenti o accettare di vivere in ritardo..

avranno sicuramente un mercato ma mi fa strano pensare che oggi usiamo Claude o Sol con oltre 2 mila miliardi di parametri e domani con 9 miliardi di parametri ci sentiremo comodi..

ricordo quando ho preso in mano il pad di mia mamma della Huawei perchè mi ha chiesto di sistemarle qualcosa.. era un modello nuovo ma economico e io ho sempre e solo usato iPad e o iPad Pro.. quando l'ho usato mi sembrava di essere tornato indietro di 10 anni e di avere un vecchio modello in mano da quanto lento era a fare le cose o anche solo a reagire a quello che facevo

ora mi domando.. quando si è abituati a certe IA.. passare in locale con una IA che ha 100-200 volte meno parametri rispetto alle IA a cui si è abituati darà lo stesso feedback ?

in che contesti saranno "migliori" ? per quali lavori andranno scelte queste soluzioni "economiche" ? ricordo un articolo qui su HWUG in cui si parlava di una macchina IA per video e si parlava di tempi "biblici" per il mondo attuale ma perfetti per l'hobby.. mi sono ricordato di quando mi piaceva fare i frattali di mandelbrot sul 80286.. li lanciavo la sera e dopo 12-15 ore vedevo il risultato e lo stampavo.. poi con il 486 potevi vederli in tempo reale..

spero di vedere sistemi migliori per le IA a prezzi umani nei prossimi 3-5 anni perchè mi angoscia pensare che a casa/ufficio di debba restare con abbonamenti o accettare di vivere in ritardo..

2000 miliardi di parametri sono modelli MoE specializzati in più settori.
Cioè immagina come se fossero una decina di esperti da 200 miliardi di parametri ognuno specializzato in una cosa diversa.
Tipo un team dove c'è il programmatore, il designer, meccanico, ecc. ecc. e in base al compito richiesto viene tirato in causa questo o l'altro.

Teoricamente se hai bisogno un modello specializzato per un compito, il più facile come esempio è la scrittura di codice, un modello da 200-300 miliardi di parametri dovrebbe essere equiparabile a quello da 2 mila miliardi generico con la differenza che puoi farlo girare in locale.

2000 miliardi di parametri sono modelli MoE specializzati in più settori.
Cioè immagina come se fossero una decina di esperti da 200 miliardi di parametri ognuno specializzato in una cosa diversa.
Tipo un team dove c'è il programmatore, il designer, meccanico, ecc. ecc. e in base al compito richiesto viene tirato in causa questo o l'altro.

Teoricamente se hai bisogno un modello specializzato per un compito, il più facile come esempio è la scrittura di codice, un modello da 200-300 miliardi di parametri dovrebbe essere equiparabile a quello da 2 mila miliardi generico con la differenza che puoi farlo girare in locale.

codex è specializzato in programmazione.. tanto per dare un esempio.. e 2 mila miliardi non sarebbe 5.6 SOL a quanto ho capito ma siamo a 5.4 o 5.5 come stima di capacità

detto questo sarei felice se un sistema open e free da 200 miliardi di parametri potesse girare in locale con una capacità pari a quella di codex sol 5.6 anche veloce la metà o un quarto di codex con Sol ma ho i miei dubbi..

spenderei 4-5 mila euro per un HW che facesse girare qualcosa di simile .. potrei pensare anche di prenderne due potessi avere quella potenza di "calcolo" gratis senza preoccuparmi dei token

codex è specializzato in programmazione.. tanto per dare un esempio.. e 2 mila miliardi non sarebbe 5.6 SOL a quanto ho capito ma siamo a 5.4 o 5.5 come stima di capacità

detto questo sarei felice se un sistema open e free da 200 miliardi di parametri potesse girare in locale con una capacità pari a quella di codex sol 5.6 anche veloce la metà o un quarto di codex con Sol ma ho i miei dubbi..

spenderei 4-5 mila euro per un HW che facesse girare qualcosa di simile .. potrei pensare anche di prenderne due potessi avere quella potenza di "calcolo" gratis senza preoccuparmi dei token

Codex fino a quando era solo codex era nell'ordine dei 200 miliardi di parametri, le ultime versioni sfruttano tutta l'infrastruttura MoE quindi si 2 o 3 mila miliardi ma non è tutto specializzato in codice.

COn una 4900 utilizzo ogni tanto LM Studio.
Però è più per curiosità.

Prima o poi gli chiedo di aiutarmi a fare un programma di generazione immagini.

AMD sta pensando di portare le npu sui processori della serie 10000.
Si possono aggiungere npu sui socket nvme ,ci sono già in commercio.
Secondo me devono rivedere un po' lo standard atx e aggiungere una porta specifica per aggiungere schede acceleratrici specifiche,al di fuori della GPU,in modo da andare ad alleggerire le GPU (calore,consumi etc) e distribuendo su un hardware specifico la accelerazione per la IA individuale.
Fare tutto su un chip monolitico o un chiplet,vero che si abbasserebbero le latenze ma l'energia richiesta sul singolo socket e il calore prodotto,sarebbe un problema in più da risolvere.

AMD sta pensando di portare le npu sui processori della serie 10000.
Si possono aggiungere npu sui socket nvme ,ci sono già in commercio.
Secondo me devono rivedere un po' lo standard atx e aggiungere una porta specifica per aggiungere schede acceleratrici specifiche,al di fuori della GPU,in modo da andare ad alleggerire le GPU (calore,consumi etc) e distribuendo su un hardware specifico la accelerazione per la IA individuale.
Fare tutto su un chip monolitico o un chiplet,vero che si abbasserebbero le latenze ma l'energia richiesta sul singolo socket e il calore prodotto,sarebbe un problema in più da risolvere.

Non andrebbero bene gli slot pcie?
Comunque il problema resta sempre che hanno memorie separate, per questo sia AMD che Nvidia stanno spingendo i sistemi con tutto unificato, Apple invece li ha già da tempo.

Codex fino a quando era solo codex era nell'ordine dei 200 miliardi di parametri, le ultime versioni sfruttano tutta l'infrastruttura MoE quindi si 2 o 3 mila miliardi ma non è tutto specializzato in codice.

il mio era un esempio, un codex che fa solo programmazione per me sarebbe inutile visto che facciamo molti programmi che interagiscono con materiale documentale, portali etc per cui un codex che fa più della sola programmazione e che può comprendere anche un ambiente di lavoro o una struttura normativa su cui creiamo un programma è molto più allineato alle nostre esigenze tanto che 5.6 Sol sta dando risultati molto migliori di 5.5 e stiamo rivedendo alcune routine fatte con 5.5 alla luce delle implementazioni in 5.6 (non che 5.5 fosse un codex-puro..)

come scritto prima io credo che una IA specialistica possa avere una sua nicchia ma non credo che per il lavoro d'ufficio sia giusto buttarsi su una cosa specialistica perchè mi da la sensazione di dare il paraocchi ad un cavallo.. vedere meglio una sola cosa potrebbe non voler dire fare meglio le cose

motivo per cui a volte devi dire centomila cosa a work o una IA per ottenere il lavoro che vuoi perchè le cose che "sono ovvie" per te non lo sono per la IA.. e viceversa..

il mio era un esempio, un codex che fa solo programmazione per me sarebbe inutile visto che facciamo molti programmi che interagiscono con materiale documentale, portali etc per cui un codex che fa più della sola programmazione e che può comprendere anche un ambiente di lavoro o una struttura normativa su cui creiamo un programma è molto più allineato alle nostre esigenze tanto che 5.6 Sol sta dando risultati molto migliori di 5.5 e stiamo rivedendo alcune routine fatte con 5.5 alla luce delle implementazioni in 5.6 (non che 5.5 fosse un codex-puro..)

come scritto prima io credo che una IA specialistica possa avere una sua nicchia ma non credo che per il lavoro d'ufficio sia giusto buttarsi su una cosa specialistica perchè mi da la sensazione di dare il paraocchi ad un cavallo.. vedere meglio una sola cosa potrebbe non voler dire fare meglio le cose

motivo per cui a volte devi dire centomila cosa a work o una IA per ottenere il lavoro che vuoi perchè le cose che "sono ovvie" per te non lo sono per la IA.. e viceversa..

Ma è chiaro che una AI generalista con una infrastruttura MoE fa un lavoro migliore, però al momento ad una cosa del genere puoi avere accesso solo come servizio e ci sono molte motivazioni per cui si possa volere invece un LLM locale.