Link alla notizia: https://www.hwupgrade.it/news/scienza-tecnologia/ho-messo-uno-studio-video-con-intelligenza-artificiale-dentro-una-scatola-grande-come-un-libro_155058.html

Ho passato alcune settimane a generare video in casa, senza abbonamenti e senza mandare niente su internet: eccovi il mio racconto.

Click sul link per visualizzare la notizia.

In questo periodo sto facendo gli stessi tuoi esperimenti, seppur in maniera più limitata poichè mi sto affidando ad una rtx 3080 che fino 9-12b Q4 regge abbastanza bene, e mi sto rendendo conto che l'AI locale sarà la strada da percorrere: i costi dell'AI cloud saliranno sempre di più e un investimento, seppur di 4000 euro, si ripaga in breve se si lavora con l'AI in maniera "pesante".

Hermes è fantastico, mi sta aiutando a studiare, creo test da PDF, lo uso come RAG e come "AI buddy" altrimenti mi perdo tra tutte le cose che devo fare.

Articolo molto interessante, avrei solo aggiunto un paragrafo di confronto con soluzioni basate su rtx (pregi/difetti, costi in bolletta, prestazioni e limiti nell'utilizzo di meno vram rispetto ai 128gb di ram unificata)

Leggendo questo articolo si inquadra molto meglio il senso e l'uso di modelli IA locali.
E' chiaramente una cosa che sta nascendo adesso ed ha margini di miglioramento enormi.. il punto di arrivo è qualcosa che già ci ha mostrato la fantascienza in star trek ed altri film: un computer con cui si parla come fosse una persona e che può generare in autonomia praticamente tutto sulla traccia data da noi. (una cosa che ha migliaia di risvolti in centinaia di prospettive ma lasciamo stare la cosa ora)

Senza dubbio è anche un nuovo traguardo da raggiungere nello sviluppo hardware che darà una spinta al settore.. è evidente come adesso le risorse locali "standard" siano insufficienti per gestire questa nuova richiesta di potenza, ricorda molto il periodo tra gli anni ottanta e novanta dove i PC avevano risorse hardware misere e cose come grafica o suono erano difficili da gestire. Adesso è così per la IA ma credo vedremo una evoluzione profonda nei prossimi dieci anni.

In questo periodo sto facendo gli stessi tuoi esperimenti, seppur in maniera più limitata poichè mi sto affidando ad una rtx 3080 che fino 9-12b Q4 regge abbastanza bene, e mi sto rendendo conto che l'AI locale sarà la strada da percorrere: i costi dell'AI cloud saliranno sempre di più e un investimento, seppur di 4000 euro, si ripaga in breve se si lavora con l'AI in maniera "pesante".

Hermes è fantastico, mi sta aiutando a studiare, creo test da PDF, lo uso come RAG e come "AI buddy" altrimenti mi perdo tra tutte le cose che devo fare.

Mi sono innamorato anche io di Hermes!

Articolo molto interessante, avrei solo aggiunto un paragrafo di confronto con soluzioni basate su rtx (pregi/difetti, costi in bolletta, prestazioni e limiti nell'utilizzo di meno vram rispetto ai 128gb di ram unificata)

Grazie per i complimenti, ho voluto dare un taglio molto pratico e terra-terra, se cerchi un articolo più tecnico e con benchmark, puoi leggere questo, pubblicato giusto venerdì: https://www.hwupgrade.it/news/sistemi/asus-ascent-gx10-visto-da-vicino-il-supercomputer-ai-con-cuore-nvidia-che-sta-sul-tavolo_154498.html

Leggendo questo articolo si inquadra molto meglio il senso e l'uso di modelli IA locali.
E' chiaramente una cosa che sta nascendo adesso ed ha margini di miglioramento enormi.. il punto di arrivo è qualcosa che già ci ha mostrato la fantascienza in star trek ed altri film: un computer con cui si parla come fosse una persona e che può generare in autonomia praticamente tutto sulla traccia data da noi. (una cosa che ha migliaia di risvolti in centinaia di prospettive ma lasciamo stare la cosa ora)

Senza dubbio è anche un nuovo traguardo da raggiungere nello sviluppo hardware che darà una spinta al settore.. è evidente come adesso le risorse locali "standard" siano insufficienti per gestire questa nuova richiesta di potenza, ricorda molto il periodo tra gli anni ottanta e novanta dove i PC avevano risorse hardware misere e cose come grafica o suono erano difficili da gestire. Adesso è così per la IA ma credo vedremo una evoluzione profonda nei prossimi dieci anni.

L'IA locale non è al livello di modelli di frontiera, che hanno una quantità di parametri e costi di addestramento non paragonabili, ma ho letto proprio ieri che gli ultimi modelli open weight stanno colmando velocemente il divario, addirittura qualcuno li paragona alla classe Opus.

L'IA locale non è al livello di modelli di frontiera, che hanno una quantità di parametri e costi di addestramento non paragonabili, ma ho letto proprio ieri che gli ultimi modelli open weight stanno colmando velocemente il divario, addirittura qualcuno li paragona alla classe Opus.

Ovvio che modelli top tier sono quello che sono, di certo non mi aspetto a breve di avere un full fable sull'hardware di casa, ma già ora si fanno cose interessanti.
Addirittura alla classe Opus? Quello sarebbe davvero tanto

Io scelgo le migliori con il caffè in mano, e solo quelle passano al rendering in alta qualità.
Domanda da inesperto: ma se il modello che crea la versione veloce/bozza del video e quello del "rendering in HQ" sono diversi, come fa il sistema a mantenere lo stesso soggetto/caratteristiche della bozza nel rendering finale? Chi si occupa di questo aspetto nella catena?

Intendo ad esempio la faccia della persona generata, il colore del libro, o dettagli di questo genere che non sono inclusi nel prompt (o che lo sono, ma per i quali esistono moltissime varianti).

L'IA locale non è al livello di modelli di frontiera, che hanno una quantità di parametri e costi di addestramento non paragonabili, ma ho letto proprio ieri che gli ultimi modelli open weight stanno colmando velocemente il divario, addirittura qualcuno li paragona alla classe Opus.

Appunto per questo è facile immaginare che un domani, con la crescita delle prestazioni hardware, sarà normale far girare modelli di IA anche parecchio potenti in locale.

Basti pensare come ai tempi dei primi pentium fosse un miraggio fare editing video anche con risoluzioni imbarazzanti metre oggi con un mormale pc mainstream possiamo editare e gestire filmati in 4k.

Appunto per questo è facile immaginare che un domani, con la crescita delle prestazioni hardware, sarà normale far girare modelli di IA anche parecchio potenti in locale.

Il problema è che serve memoria e banda a volontà prima di tutto ed i prezzi non solo sono quadruplicati nell'ultimo anno, prima dei rincari erano rimasti in stasi per anni. Con le GPU consumer giusto con la introvabile e costosissima 5090 siamo arrivati a 32GB, sempre troppo poco per modelli decenti a quantizzazioni che non li lobotomizzino.

Addirittura alla classe Opus? Quello sarebbe davvero tanto

Basta avere 512GB~1+ TB di memoria veloce, che vuoi che sia?
https://huggingface.co/zai-org/GLM-5.2
https://huggingface.co/moonshotai/Kimi-K2.7-Code
https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro

Certo poi puoi sempre usarli a precisione e dunque dimensione inferiore (quantizzati), ma si perde mano a mano in prestazioni dove conta.

un q8 non perde troppo rispetto a un full model 32, certo dipende pure da cosa bisogna fare. Per ricerca scientifica seria, ad esempio, non andrei sotto FP16 ma li avrei anche una piattaforma degna di questo nome.

Gli ultimi modelli vengono addestrati direttamente in FP8 quando non FP4/INT4 (come Kimi K2 o l'ultimo NVidia Nemotron 3 Ultra (https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4)), ma siccome sono enormi, ci vogliono sempre centinaia di GB di memoria per ottenere le prestazioni dichiarate con finestre di contesto sufficientemente grandi per usi "agentici".

Va bene. Sono sicuro che chi ha necessità di farli girare in locale, avrà anche i fondi per farlo.
Per i miei usi finchè mi fanno modelli che stanno in una GPU va bene, non pretendo di fare ricerca o prototipazione pesante con una RTX 3080 :)

Il problema è che serve memoria e banda a volontà prima di tutto ed i prezzi non solo sono quadruplicati nell'ultimo anno, prima dei rincari erano rimasti in stasi per anni. Con le GPU consumer giusto con la introvabile e costosissima 5090 siamo arrivati a 32GB, sempre troppo poco per modelli decenti a quantizzazioni che non li lobotomizzino.

E questa è appunto diretta conseguenza di questa grossa novità che sta rivoluzionando tutto e ha rilanciato la crescita e la domoanda dell'hardware.

Prima della IA il mercato era diventato statico e stagnante perchè ormai l'hardware era ampiamente in grado di coprire le esigenze computazionali medie di una grandissima parte dell'utenza.
Con una CPU qualsiasi copri beatamente qualsiasi task comune, anche editing video o modellazione 3d se non è roba veramente potente, sono ben lontani i tempi in cui passare da 386 a 486 o pentium era un salto di galassia.
Quando io cambiai il mio 386SX 25mhz per un pentium 133 fu come scendere dalla bici e salire su una BMW.
Idem la ram.. prima cambiando PC si passava da 2-4mb a 16-32mb ed era un altro pianeta.. e poi nel tempo a salire sempre con ritmo serrato, ma da almeno 10 anni a questa parte (che sono un BOTTO di tempo) la configurazione di ram media sta fissa tra 8 e 16Gb coi quali copri senza problemi le esigenze di tutti (salvo pochi settori più esigenti).

L'arrivo della IA ha dato uno scossone enorme a questo mondo stagnante con richieste ben superiori a quello che ormai era lo standard da anni.

E questo non significa che sia una cosa buona, anzi, perchè dietro immagino ci sia anche tanta speculazione. Però l'AI, come la sto vedendo io, è una cosa epocale, un modello che occupa 7GB può fare cose che fino a poco tempo fa personalmente credevo impensabili.

Ora, è una cosa totalmente positiva? Dipende dall'uso che se ne fa, l'AI è uno strumento e come tale può avere utilizzi "buoni" e "cattivi". Se ci si specula sopra non può portare nulla di buono se non, appunto, a chi ci specula.

E questo non significa che sia una cosa buona, anzi, perchè dietro immagino ci sia anche tanta speculazione. Però l'AI, come la sto vedendo io, è una cosa epocale, un modello che occupa 7GB può fare cose che fino a poco tempo fa personalmente credevo impensabili.

Ora, è una cosa totalmente positiva? Dipende dall'uso che se ne fa, l'AI è uno strumento e come tale può avere utilizzi "buoni" e "cattivi". Se ci si specula sopra non può portare nulla di buono se non, appunto, a chi ci specula.

Concordo pienamente.

L'IA locale non è al livello di modelli di frontiera, che hanno una quantità di parametri e costi di addestramento non paragonabili, ma ho letto proprio ieri che gli ultimi modelli open weight stanno colmando velocemente il divario, addirittura qualcuno li paragona alla classe Opus.

ottimo articolo e mi hai incuriosito perchè quel "giocattolo" che stai usando costa una frazione di quello che stando a gpt5.5 serve a noi per rendere locali i sistemi che stiamo usando oggi tramite codex e gpt..

mi ha incuriosito molto e mi ha fatto pensare che forse fra un anno o due si possa veramente migrare a sistemi locali in grado di gestire il nostro lavoro senza canoni

ho visto la presentazione di AMD che parla proprio di quello che stai usando tu e devo dire che sembra in completa antitesi rispetto al lavoro di nvidia che sembra più orientata verso i mega datacenter

l'unica cosa che mi ha "preoccupato" è che bisogna installare una marea di sistemi per ottenere quello che oggi si ottiene con uno solo ma il vantaggio di poter usare anche i propri documenti per istruire gli agenti sarebbe bello.. oggi usiamo solo le biblioteche pubbliche per non passare dati rilevanti per cui perdiamo qualcosa

chiudenti, bell'articolo e spero che continuerai a "giocare" con questi sistemi e tenerci aggiornato sugli sviluppi per poter decidere quando fare il salto

E questa è appunto diretta conseguenza di questa grossa novità che sta rivoluzionando tutto e ha rilanciato la crescita e la domoanda dell'hardware.

Prima della IA il mercato era diventato statico e stagnante perchè ormai l'hardware era ampiamente in grado di coprire le esigenze computazionali medie di una grandissima parte dell'utenza.
É ancora oggi cosí, a livello consumer e piccole/medie attivitá non é cambiato praticamente nulla. I prezzi si sono alzati perché le big hanno prenotato per mesi/anni la produzione di certi componenti, diventati introvabili o a prezzi stellari per tutti gli altri. Passerá ancora parecchio tempo (sempre se arriverá) perché per piccole imprese o privati diventi normale avere hw per far girare llm in locale come oggi é normale avere pc e nas o server, parliamo sempre di una frazione del mercato

É ancora oggi cosí, a livello consumer e piccole/medie attivitá non é cambiato praticamente nulla. I prezzi si sono alzati perché le big hanno prenotato per mesi/anni la produzione di certi componenti, diventati introvabili o a prezzi stellari per tutti gli altri. Passerá ancora parecchio tempo (sempre se arriverá) perché per piccole imprese o privati diventi normale avere hw per far girare llm in locale come oggi é normale avere pc e nas o server, parliamo sempre di una frazione del mercato

Si certo, non è un segreto per nessuno che l'aumento smisurato dei prezzi di questo periodo sia dovuto al reastrellamento di risorse fatto dai datacenter della IA.
Ma a parte questo, se un domani il target sarà quello di avere una IA di potenza variabile all'interno di un PC che operi in locale è chiaro che gli standard dovranno cambiare radicalmente rispetto ad ora.

ottimo articolo e mi hai incuriosito perchè quel "giocattolo" che stai usando costa una frazione di quello che stando a gpt5.5 serve a noi per rendere locali i sistemi che stiamo usando oggi tramite codex e gpt..

mi ha incuriosito molto e mi ha fatto pensare che forse fra un anno o due si possa veramente migrare a sistemi locali in grado di gestire il nostro lavoro senza canoni

ho visto la presentazione di AMD che parla proprio di quello che stai usando tu e devo dire che sembra in completa antitesi rispetto al lavoro di nvidia che sembra più orientata verso i mega datacenter

l'unica cosa che mi ha "preoccupato" è che bisogna installare una marea di sistemi per ottenere quello che oggi si ottiene con uno solo ma il vantaggio di poter usare anche i propri documenti per istruire gli agenti sarebbe bello.. oggi usiamo solo le biblioteche pubbliche per non passare dati rilevanti per cui perdiamo qualcosa

chiudenti, bell'articolo e spero che continuerai a "giocare" con questi sistemi e tenerci aggiornato sugli sviluppi per poter decidere quando fare il salto
Grazie Notturnia!
A breve dovrei ricevere in prova un altro giocattolino, meno costoso di una DGX Spark, e farò test anche su quello.

Attendo interessato, potrei anche fare l'investimento se il costo non è troppo alto. Sto spingendo l'AI "usata con criterio" dove lavoro e sembrano recettivi.

Che dire Luciano, articolo meraviglioso che mi ha portato alla conoscenza di un mondo (la IA Locale) che non pensavo fosse possibile. Noi la usiamo (quella dei servizi cloud) per generare speakeraggi, musica, brevi clip... ma non ho capito se é una cosa fattibile anche in locale perche l'articolo é rimasto vago sul lato multimedia per spostarsi su altri campi. Ho solo una certa riserva sull'aggiornamento del modello in locale in quanto i vari siti che propongo la generazione di materiale audio/video si aggiornano continuamente e molto velocemente... anche quelli scaricabili lo fanno?

Che dire Luciano, articolo meraviglioso che mi ha portato alla conoscenza di un mondo (la IA Locale) che non pensavo fosse possibile. Noi la usiamo (quella dei servizi cloud) per generare speakeraggi, musica, brevi clip... ma non ho capito se é una cosa fattibile anche in locale perche l'articolo é rimasto vago sul lato multimedia per spostarsi su altri campi. Ho solo una certa riserva sull'aggiornamento del modello in locale in quanto i vari siti che propongo la generazione di materiale audio/video si aggiornano continuamente e molto velocemente... anche quelli scaricabili lo fanno?
Grazie alexfri!
Certo i modelli si aggiornano di continuo (anche se per me vale sempre la massima "squadra che vince non si cambia" quando ad un certo punto hai trovato la quadra che ti va funzionare tutto senza problemi) :D
Ti consiglio di dare un'occhio regolarmente al blog che ho creato (https://runlocal.blog/models) dove segnalo i modelli più usati del momento.