AI sul PC senza passare dal cloud, come funziona Llama Windows

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/sistem...ws_160657.html

Llama Windows consegna a Windows 11 un'interfaccia per scaricare e usare modelli AI in locale. Il progetto punta su accesso rapido alla chat e integrazione con altre applicazioni, affidando l'esecuzione al computer dell'utente

Click sul link per visualizzare la notizia.

[demon77]

tutto molto bello ma oggi come oggi il vero problema della IA locale è avere l'hadware adatto a farla girare.

[marchigiano]

hardware adatto non ce l'avrai mai, anche metti una workstation da 10000€ o più, ci metti un modello da 70m.... le IA serie sono 700m...

giusto come giochino divertente può servire (oppure caricare modelli senza censura )

[mmorselli]

Originariamente inviato da marchigiano

le IA serie sono 700m...

Molto di più, Kimi K3 in full-precision è 5TB, per cui prova ad immaginare quanto potrebbe essere grande Astra o Fable

Per fortuna però scalano verso il basso in modo non lineare, per cui si può arrivare ad un modello che gira su una macchina pro-sumer mantenendo magari l'80% delle prestazioni del modello gigante, e più si va avanti più questo limite sarà probabilmente abbassato, perché avere modelli più piccoli che rimangono abbastanza intelligenti conviene anche a chi possiede datacenter.

[demonsmaycry84]

non per niente la costruzione di datacenter IA tra hardware e tutto il resto e' attualmente uno sforzo titanico capace solo alle piu grandi economie.
Assorbira ancora per parecchi anni tutte le energie possibili del settore ed anche l interesse.
A differenza di altre rivoluzioni dell informatica avute in passato questa e' molto costosa.

[marchigiano]

Originariamente inviato da mmorselli

Molto di più, Kimi K3 in full-precision è 5TB, per cui prova ad immaginare quanto potrebbe essere grande Astra o Fable

Per fortuna però scalano verso il basso in modo non lineare, per cui si può arrivare ad un modello che gira su una macchina pro-sumer mantenendo magari l'80% delle prestazioni del modello gigante, e più si va avanti più questo limite sarà probabilmente abbassato, perché avere modelli più piccoli che rimangono abbastanza intelligenti conviene anche a chi possiede datacenter.

mi sa che ho confuso i termini inglesi con quelli italiani, volevo dire 700 miliardi

ho provato a casa con un pc da 16gb di ram ma oltre gli 8 miliardi non andava (billion in inglese, per questo ho fatto confusione)

[mmorselli]

Originariamente inviato da marchigiano

mi sa che ho confuso i termini inglesi con quelli italiani, volevo dire 700 miliardi

Di solito quando si indica in miliardi, o bilioni (trilion) si parla di parametri e non di dimensione fisica del modello. Le due cose non sono direttamente correlate perché dipende dalla precisione usata che può andare da 1 a 16 bit, per cui a parità di parametri la dimensione in GB può essere molto diversa.

Anche 700B di parametri comunque non è un numero grande, sempre KIMI K3 ha 2,3T di parametri, mentre per Astra o Fable si ipotizzata tra gli 8T e i 10T

[demon77]

Originariamente inviato da marchigiano

hardware adatto non ce l'avrai mai, anche metti una workstation da 10000€ o più, ci metti un modello da 70m.... le IA serie sono 700m...

giusto come giochino divertente può servire (oppure caricare modelli senza censura )

C'è stato un tempo dove per far girare autocad o photoshop serviva una WS professionale che costava fior di milioni di SOLO HARDWARE.
Poi sono passati gli anni e per fare la stessa cosa si andava sereni con un pc mainstream.

Adesso è arrivata la IA che ha tirato su di botto l'asticella dei requisiti come poche cose negli ultimi 15-20 anni. Anzi forse nessuna credo.

Se non va tutto a donnine prima (doverosissima premessa) succederà la stessa cosa. Modelli LLM che oggi girano solo su macchine dedicate costosissime piano piano divneteranno sempre più accessibili tra migliorie di modelli stessi e crescita della potenza hardware.

[marchigiano]

Originariamente inviato da mmorselli

Di solito quando si indica in miliardi, o bilioni (trilion) si parla di parametri e non di dimensione fisica del modello. Le due cose non sono direttamente correlate perché dipende dalla precisione usata che può andare da 1 a 16 bit, per cui a parità di parametri la dimensione in GB può essere molto diversa.

Anche 700B di parametri comunque non è un numero grande, sempre KIMI K3 ha 2,3T di parametri, mentre per Astra o Fable si ipotizzata tra gli 8T e i 10T

si intendo parametri e di solito precisione 6, almeno per usi scrausi come faccio io

Originariamente inviato da demon77

C'è stato un tempo dove per far girare autocad o photoshop serviva una WS professionale che costava fior di milioni di SOLO HARDWARE.
Poi sono passati gli anni e per fare la stessa cosa si andava sereni con un pc mainstream.

Adesso è arrivata la IA che ha tirato su di botto l'asticella dei requisiti come poche cose negli ultimi 15-20 anni. Anzi forse nessuna credo.

Se non va tutto a donnine prima (doverosissima premessa) succederà la stessa cosa. Modelli LLM che oggi girano solo su macchine dedicate costosissime piano piano divneteranno sempre più accessibili tra migliorie di modelli stessi e crescita della potenza hardware.

è uscita oggi la notizia del modello da 810b che può girare su circa 50k€ di hardware apple

[mmorselli]

Originariamente inviato da demon77

Se non va tutto a donnine prima (doverosissima premessa) succederà la stessa cosa. Modelli LLM che oggi girano solo su macchine dedicate costosissime piano piano divneteranno sempre più accessibili tra migliorie di modelli stessi e crescita della potenza hardware.

Non vedevano l'ora di trovare qualcosa che convincesse il mercato consumer a fare computer con 128, 256, 512, 1TB di RAM, in più step chiaramente, non appena la febbre da datacenter si sarà saturata.

Vedremo come evolveranno i PC nei prossimi anni, se si andrà più verso soluzioni a memoria unificata, anche x86, o si punterà tutto su DDR6 e sue evoluzioni.

[demon77]

Originariamente inviato da mmorselli

Non vedevano l'ora di trovare qualcosa che convincesse il mercato consumer a fare computer con 128, 256, 512, 1TB di RAM, in più step chiaramente, non appena la febbre da datacenter si sarà saturata.

Vedremo come evolveranno i PC nei prossimi anni, se si andrà più verso soluzioni a memoria unificata, anche x86, o si punterà tutto su DDR6 e sue evoluzioni.

Eh si. Anche questo è vero.
Comunque non è che sia obbligatorio eh, uno può comunque restare senza IA locale e andare avanti con specifiche hardware "normali"

[mmorselli]

Originariamente inviato da demon77

Eh si. Anche questo è vero.
Comunque non è che sia obbligatorio eh, uno può comunque restare senza IA locale e andare avanti con specifiche hardware "normali"

Dipende da quanto sarà pervasiva l'AI fra qualche anno, un servizio esterno comunque lo paghi, per cui la possibilità di svolgere il 90% dei task con qualcosa che gira in locale potrebbe essere allettante... E poi c'è il marketing, molte cose diventano irrinunciabili come percezione più che come reale utilità.

Poi c'è il paradigma "by intention", adottato anche dall'ultima Ubuntu appena uscita, sistemi operativi che non devi più imparare ad usare, tu chiedi e loro fanno, dal lancio di applicazioni all'installazione di un software che non possiedi e serve per soddisfare la tua richiesta.

[demon77]

Originariamente inviato da mmorselli

Dipende da quanto sarà pervasiva l'AI fra qualche anno, un servizio esterno comunque lo paghi, per cui la possibilità di svolgere il 90% dei task con qualcosa che gira in locale potrebbe essere allettante... E poi c'è il marketing, molte cose diventano irrinunciabili come percezione più che come reale utilità.

Poi c'è il paradigma "by intention", adottato anche dall'ultima Ubuntu appena uscita, sistemi operativi che non devi più imparare ad usare, tu chiedi e loro fanno, dal lancio di applicazioni all'installazione di un software che non possiedi e serve per soddisfare la tua richiesta.

Sinceramente con la rapidità evolutiva che hanno queste cose da tre anni a questa parte trovo azzardato fare qualsiasi previsione..

[Ripper89]

Originariamente inviato da mmorselli

Molto di più, Kimi K3 in full-precision è 5TB, per cui prova ad immaginare quanto potrebbe essere grande Astra o Fable

Per fortuna però scalano verso il basso in modo non lineare, per cui si può arrivare ad un modello che gira su una macchina pro-sumer mantenendo magari l'80% delle prestazioni del modello gigante, e più si va avanti più questo limite sarà probabilmente abbassato, perché avere modelli più piccoli che rimangono abbastanza intelligenti conviene anche a chi possiede datacenter.

Il problema è a monte.

Quale scopo utile ha far girare un modello AI in un contesto domestico ?

[mmorselli]

Originariamente inviato da Ripper89

Il problema è a monte.
Quale scopo utile ha far girare un modello AI in un contesto domestico ?

Evitare di pagare un abbonamento costoso per un modello di frontiera. La questione principale è l'AI agentica, non i chatbot, se usi un agente AI per svolgere le normali operazioni che fai con un PC, installare applicazioni, aggiornarle, fare controlli di sicurezza, trovare file, riassumere email, organizzare foto, ecc... i token vanno via velocemente, ma queste operazioni non hanno bisogno di Astra o Fable, un modello locale va altrettanto bene.

La migliore combinazione probabilmente sarà pagare un abbonamento economico per l'accesso ad una AI potente e un router locale che valuta i problemi e decide se girarli al modello locale o a quello in cloud

[demon77]

Originariamente inviato da mmorselli

Evitare di pagare un abbonamento costoso per un modello di frontiera. La questione principale è l'AI agentica, non i chatbot, se usi un agente AI per svolgere le normali operazioni che fai con un PC, installare applicazioni, aggiornarle, fare controlli di sicurezza, trovare file, riassumere email, organizzare foto, ecc... i token vanno via velocemente, ma queste operazioni non hanno bisogno di Astra o Fable, un modello locale va altrettanto bene.

La migliore combinazione probabilmente sarà pagare un abbonamento economico per l'accesso ad una AI potente e un router locale che valuta i problemi e decide se girarli al modello locale o a quello in cloud

Io forse in tutto questo darei più peso alla questione privacy..
Il vantaggio principale di una IA locale è che appunto resta ben confinata nel tuo PC (o almeno si spera) e quindi non c'è una curiosa ed inopportuna entità esterna che ficcanasa negli affari tuoi e in ciò che stai facendo.

Il costo e la questione consumo token dei modelli di frontiera la vedo più come una cosa temporanea.. adesso è così ma se teniamo conto dell'evoluzione (rapida) dei modelli e l'aumento di risorse in teoria (IN TEORIA) le IA di frontiera di domani saranno di gran lunga più abbordabili e potranno svolgere un gran numero di attività con un abbonamento molto economico.
Il costo elevato resterà tale magari per lavori davvero impegnativi ma che diffcilmente un comune utente si troverà a dover svolgere.

[mmorselli]

Originariamente inviato da demon77

Io forse in tutto questo darei più peso alla questione privacy..

Non è un problema sentito dalle masse, la gente condivide la propria vita nei social, dove vengono per certo profilati, figurati quanto è importante inserire informazioni personali in un modello AI dove il peggio che può capitare è che quei dati vengano usati per addestrare il successivo modello (il ché non vuol dire che quei dati finiranno nel modello, ma solo che quei dati daranno un microscopico contributo ai valori dei pesi)

le IA di frontiera di domani saranno di gran lunga più abbordabili e potranno svolgere un gran numero di attività con un abbonamento molto economico.

Dipenderà dal principio di scalabilità a cui i modelli dovranno sottostare, che al momento è completamente sconosciuto. Se modelli sempre più grandi diventeranno sempre più capaci allora continueranno ad essere costosi. Non è detto che saranno utili solo a chi fa ricerca scientifica, non abbiamo idea delle applicazioni future, nessuno negli anni 90 avrebbe trovato un senso in schede video con 32GB di RAM. Pensa ai robot domestici per esempio, chi può pagare lo vorrà il più intelligente possibile, capace di prendere in carico compiti complessi, anche se questi compiti sono di economia domestica e non salvano il mondo.

Oggi solo il 5% degli utenti OpenAI paga un abbonamento, il 95% lo usa gratis. Dubito che il mercato possa sopportare questa situazione a lungo, c'è un prodotto rivoluzionario che si vende, troveranno il modo di venderlo a chiunque, magari a prezzi molto più abbordabili di quelli attuali, la gente con abbonamenti da 20 euro non dovrà usarli con parsimonia per non finire i token, ma pagheranno molte più persone, come si paga un abbonamento Internet, un contratto telefonico, acqua, luce, gas...