Link alla notizia: https://www.hwupgrade.it/news/skvideo/mettereste-una-npu-dedicata-all-intelligenza-artificiale-nel-vostro-pc-amd-sta-valutando-l-idea_141783.html

AMD sta valutando la possibilità di sviluppare una NPU dedicata per PC, destinata a occuparsi esclusivamente dei carichi AI al posto della GPU. Il progetto è ancora in fase di valutazione e oggetto di discussioni con i clienti.

Click sul link per visualizzare la notizia.

non è un ragionamento tanto diverso da quello che avviene già con le GPU (integrata per chi non ha particolari esigenze di prestazioni o discreta per chi vuole il massimo) o per le schede audio (idem come sopra).

Bisogna solo capire se la cosa porta effettivamente dei vantaggi pratici.

Tutto bellissimo.
Ma poi mi chiedo: per farci cosa? Excel??

Tutto bellissimo.
Ma poi mi chiedo: per farci cosa? Excel??

Ci sono un sacco di applicazioni, ma non me ne viene in mente nessuna che sia utile per un utente casalingo o uso ufficio.

Ma chiunque abbia necessità di una AI propria che gira in locale troverebbe molto utile un hw del genere e una cosa del genere sarebbe utile in praticamente tutti gli ambiti lavorativi.
In realtà anche excel si ma per quella si possono usare servizi AI cloud, in locale credo sia più utili per AI addestrate per compiti specifici.

Anche io sono scettico.
Su un PC se mi serve potenza di calcolo per una IA di tanto in tanto va benissimo usare la GPU.. non vedo il senso di un chip dedicato.

Non capisco nemmeno il senso di una IA "locale".. che potenza ha? E che me ne faccio?
Mettendo tutto insieme non è di gran lunga meglio sia come qualità del risultato che come prestazioni in generale usare un servizio esterno on line che fa affidamento su modelli IA molto più complessi, avanzati ed ingombranti?

Ci sono un sacco di applicazioni, ma non me ne viene in mente nessuna che sia utile per un utente casalingo o uso ufficio.

Ma chiunque abbia necessità di una AI propria che gira in locale troverebbe molto utile un hw del genere e una cosa del genere sarebbe utile in praticamente tutti gli ambiti lavorativi.
In realtà anche excel si ma per quella si possono usare servizi AI cloud, in locale credo sia più utili per AI addestrate per compiti specifici.


Per farci girare i modelli in locale es:

Draw Things per creare immagini con modelli specifici di ogni tipo di immagine/stile

Ollama per avere un ChatGPT in locale senza censure e costi mensili

In generale più sicurezza per l'utente/azienda e, in teoria, costi contenuti

Ci sono un sacco di applicazioni, ma non me ne viene in mente nessuna che sia utile per un utente casalingo o uso ufficio.

Riconoscimento vocale e dettatura
Analisi foto, con etichettatura automatica, e gestione volti
Assistente personale locale

Le applicazioni poi nascono quando c'è la disponibilità della funzione...

Mettendo tutto insieme non è di gran lunga meglio sia come qualità del risultato che come prestazioni in generale usare un servizio esterno on line che fa affidamento su modelli IA molto più complessi, avanzati ed ingombranti?
Il che vuol dire consegnare i tuoi dati sensibili ad un'entità che, probabilmente, poi li vende?

Ci sono un sacco di applicazioni, ma non me ne viene in mente nessuna che sia utile per un utente casalingo o uso ufficio.

Ma chiunque abbia necessità di una AI propria che gira in locale troverebbe molto utile un hw del genere e una cosa del genere sarebbe utile in praticamente tutti gli ambiti lavorativi.
In realtà anche excel si ma per quella si possono usare servizi AI cloud, in locale credo sia più utili per AI addestrate per compiti specifici.

In ufficio stiamo provando a usare vari strumenti IA, con scarsi risultati. Il problema maggiore è che non riusciamo a gestire il divieto di inviare documenti interni, spesso riservati, verso l'esterno.

Avere un motore IA interno, sulle proprie macchine oppure su mini server dipartimentali disponibili per un ridotto numero di persone, potrebbe diventare la svolta. E se le cose funzionano, l'azienda è già pronta a investire pesantemente per sviluppare server interni per utilizzi interni.

Al momento, nelle mie prove fatte con servizi esterni (tutti i più famosi), i risultati sono stati scarsi. E non sono l'unico ad avere la medesima opinione in azienda.

Il che vuol dire consegnare i tuoi dati sensibili ad un'entità che, probabilmente, poi li vende?

Come già facciamo quotidianamente.

Come già facciamo quotidianamente.
Beh, se TU già lo fai, allora sì, a TE non cambia niente...:D

Per farci girare i modelli in locale es:
Draw Things per creare immagini con modelli specifici di ogni tipo di immagine/stile
Ollama per avere un ChatGPT in locale senza censure e costi mensili
In generale più sicurezza per l'utente/azienda e, in teoria, costi contenuti

Riconoscimento vocale e dettatura
Analisi foto, con etichettatura automatica, e gestione volti
Assistente personale locale

Ripeto: tutto bellissimo, sul serio.
E tutto assolutamente di nicchia estrema (quali aziende fanno "gestione volti" in Italia, per dire?).

La cosa cambierebbe già se, per esempio, si parlasse di "database".
Ma quelli, di solito, stanno su server e non sui pc portatili di cui parla l'articolo.

Boh, aspettiamo e vediamo

In ufficio stiamo provando a usare vari strumenti IA, con scarsi risultati. Il problema maggiore è che non riusciamo a gestire il divieto di inviare documenti interni, spesso riservati, verso l'esterno.

Exchange server on-premise lo permette da anni (e pure Exchange online)...
E l'IA non c'entra niente con questo.

Ripeto: tutto bellissimo, sul serio.
E tutto assolutamente di nicchia estrema (quali aziende fanno "gestione volti" in Italia, per dire?).

La cosa cambierebbe già se, per esempio, si parlasse di "database".
Ma quelli, di solito, stanno su server e non sui pc portatili di cui parla l'articolo.

Boh, aspettiamo e vediamo
Questi erano esempi di uso casalingo, ambiente per il quale, solitamente, è più difficile trovarne uno scopo...

In ambito aziendale, vuoi che non si trovi il modo di utilizzare questo tipo di software? Credo il limite sia solo la fantasia...

Intel già lo fa, anche se non ho idea delle reali prestazioni.

La mia cpu (Intel Core Ultra 7 165H) ha già una NPU integrata chiamata "Intel AI Boost", anche se non ho ancora trovato alcun software in grado di usarla.

Questi erano esempi di uso casalingo, ambiente per il quale, solitamente, è più difficile trovarne uno scopo...

Spero tu non faccia riconoscimento facciale a casa :D

..... A che serve mettere l'FPU nei processori.....
..... A che serve integrare la GPU.....
.... A che serve la NPU.....

.... 2029.... A che serve mettere unità QBIT.....

.......A che serve lanciare i missili nello spazio la mia grotta e più che sufficiente.

Spero tu non faccia riconoscimento facciale a casa :D
Certo che lo faccio...
E' una delle funzioni più utili del gestore fotografico...

;48835874'].......A che serve lanciare i missili nello spazio la mia grotta e più che sufficiente.

Confondere l'utilità nell'immediato con l'utilità nel lungo periodo?
Fatto.

Certo che lo faccio...
E' una delle funzioni più utili del gestore fotografico...

Good for you!!

Confondere l'utilità nell'immediato con l'utilità nel lungo periodo?
Fatto.

Introdurre tecnologie che nell'immediato possono sembrare inutili spesso è la mossa vincente, quando Atari ST e Amiga 500 sono uscite l'unica differenza erano dei Coprocessori difficili da usare e che ai programmatori di USGOLD/PROBE erano praticamente inutili, poi Psygnosis e Discovery software provarono ad usarli.

Idem QUI una NPU nell'immediato serve a poco, ma una volta che la hai disponibile c'è chi inizierà ad usarla, quindi si potranno avere NPC pensanti senza avere l'obbligo di connettersi online, stessa cosa i software, se Photoshop mette la sua AI solo online, più avanti un Clip Studio Paint potrebbe decidere di fargli concorrenza con modelli in locale ecc...

Personalmente essendo nato con Amiga preferisco avere qualcosa in più che si evolverà nel temo, piuttosto che non mettere nulla per non rischiare, si sà che 640K è un numero oltre l'inimmaginabile e che non sarà mai superato, lo disse uno dei più famosi imprenditori dell'informatica, ora perfino il CASIO da polso li supera.

Confondere l'utilità nell'immediato con l'utilità nel lungo periodo?
Fatto.

dimostrare di non averci capito nulla?
Fatto.

Ma che domande fate, certo che metterei una NPU nel mio PC, non vedo l'ora.
Alla gente che non capisce andate a zappare la terra, visto che d'informatica NON ci capite un ca**o!!!
Più potenza di calcolo ho in locale e meglio è!

;48835904']Introdurre tecnologie che nell'immediato possono sembrare inutili spesso è la mossa vincente, quando Atari ST e Amiga 500 sono uscite l'unica differenza erano dei Coprocessori difficili da usare e che ai programmatori di USGOLD/PROBE erano praticamente inutili, poi Psygnosis e Discovery software provarono ad usarli.

Idem QUI una NPU nell'immediato serve a poco, ma una volta che la hai disponibile c'è chi inizierà ad usarla, quindi si potranno avere NPC pensanti senza avere l'obbligo di connettersi online, stessa cosa i software, se Photoshop mette la sua AI solo online, più avanti un Clip Studio Paint potrebbe decidere di fargli concorrenza con modelli in locale ecc...

Personalmente essendo nato con Amiga preferisco avere qualcosa in più che si evolverà nel temo, piuttosto che non mettere nulla per non rischiare, si sà che 640K è un numero oltre l'inimmaginabile e che non sarà mai superato, lo disse uno dei più famosi imprenditori dell'informatica, ora perfino il CASIO da polso li supera.


Tutte le tecnologie di questo tipo sono nell'immediato inutili, semplicemente quando lanci un hardware del genere non c'è nessun software lo sfrutta, ma ovviamente se non lo lanci non ci sarà mai nessun software in grado di sfruttarlo.

Tipo:scaricami le foto da Google foto e mettimele su HD esterno facendo cartelle per anno e mese,poi quelle scaricate cancellale?
Ho dovuto fare questa operazione ed è stata noiosa e lunga.

Confondere l'utilità nell'immediato con l'utilità nel lungo periodo?
Fatto.
Certo, sarà pure di nicchia, ma non sono proprio pochissimi, incluso il sottoscritto, che oggigiorno utilizzano in locale uno o più LLM. Io tendo a mettere tutto il possibile self-hosted, quindi per il proprio hardware locale è tutto benvenuto in tal senso, ANCHE SE sarebbe MOLTO MEGLIO/UTILE puntare su Ram e sua larghezza di banda.

Lo si fa anche (con dovute restrizioni per velocità/precisione) con il raspberry 5, anche se l'os sottostante il raspi5 deve essere molto light e preferibilmente con un LLM "allenato"/ottimizzato per le proprie e specifiche esigenze.
Per lavoro e per passione tendo a mettere il naso in tanti settori, quindi una appropriata catalogazione della "conoscenza" è uno dei miei utilizzi primari self-hosted, sia con generatori di tag basati su un preciso riconoscimento del contesto, sia tramite database (ovviamente non i relazionali con i loro dati strutturati), ecc..

Ecco perché un utilizzo appropriato e conscio di una AI non è affatto una bolla, ma un aiuto sempre più sostanzioso.

Il che vuol dire consegnare i tuoi dati sensibili ad un'entità che, probabilmente, poi li vende?

Non so se li vende ma sicuramente vanno in mano a terzi per poter fornire il servizio quello si..
Il fatto è che però una IA locale non vale una cicca rispetto ad una IA esterna che conta centinaia di server dedicati..

Exchange server on-premise lo permette da anni (e pure Exchange online)...
E l'IA non c'entra niente con questo.

Infatti se si potesse avere un modello come Exchange on-premise, così come già adesso usiamo insieme a Onedrive e Teams, anche per le applicazioni di IA, sarebbe perfetto.

Al momento non ci si riesce.

Abbiamo fatto qualche sperimentazione con Copilot on-premise, ma risultati deludenti.

Non so se li vende ma sicuramente vanno in mano a terzi per poter fornire il servizio quello si..
Il fatto è che però una IA locale non vale una cicca rispetto ad una IA esterna che conta centinaia di server dedicati..
Neanche una Panda vale una cicca rispetto una Lamborghini.
Eppure per molti basta e avanza. Anzi, usare una Lamborghini porterebbe tanti problemi... :D

Neanche una Panda vale una cicca rispetto una Lamborghini.
Eppure per molti basta e avanza. Anzi, usare una Lamborghini porterebbe tanti problemi... :D

E ok. :D
Il problema è che qui non è che siamo panda e lambo.. che comunque sia a destinazione ci arrivi.
Qui siamo più tronco di legno e panda..

Cioè.. una IA on line che conta su centinaia di server ti tira fuori un risultato a volte buono (anche molto buono) ed a volte accettabile..
una IA locale che conta solo sulle risorse del singolo pc che risultato deve tirare fuori?

Poi magari sto dicendo cazzate eh.. perchè non so moltissimo a livello di funzionamento tecnico delle IA

E ok. :D
Il problema è che qui non è che siamo panda e lambo.. che comunque sia a destinazione ci arrivi.
Qui siamo più tronco di legno e panda..

Cioè.. una IA on line che conta su centinaia di server ti tira fuori un risultato a volte buono (anche molto buono) ed a volte accettabile..
una IA locale che conta solo sulle risorse del singolo pc che risultato deve tirare fuori?

Poi magari sto dicendo cazzate eh.. perchè non so moltissimo a livello di funzionamento tecnico delle IA
Centinaia di server, sì, ma deve rispondere a milioni di richieste... Quella locale, risponde solo a te.

Il grosso della potenza di calcolo serve per l'addestramento, che comunque non fai tu sul tuo pc. L'elaborazione ha bisogno di risorse molto minori...
Vedi @Nui_Mg, qui sopra, che usa LLM in locale.
Poi, ovvio, bisogna vedere di cosa ognuno ha bisogno, ma non esistono solo LLM. Per esempio, un motore di riconoscimento vocale occupa qualche centinaio di mega, ed è utilizzabile anche solo con la CPU.
Non serve avere il top, ma qualcosa che funzioni...

Centinaia di server, sì, ma deve rispondere a milioni di richieste... Quella locale, risponde solo a te.

Il grosso della potenza di calcolo serve per l'addestramento, che comunque non fai tu sul tuo pc. L'elaborazione ha bisogno di risorse molto minori...
Vedi @Nui_Mg, qui sopra, che usa LLM in locale.
Poi, ovvio, bisogna vedere di cosa ognuno ha bisogno, ma non esistono solo LLM. Per esempio, un motore di riconoscimento vocale occupa qualche centinaio di mega, ed è utilizzabile anche solo con la CPU.
Non serve avere il top, ma qualcosa che funzioni...

Ah ok.
Quindi scarichi il modello LLM già pronto ed addestrato che occupa tot giga e lo usi in locale.. funziona così?

Comunque, tornando un po' più in topic, avere addirittura un chip dedicato al posto di usare la GPU e CPU già disponibili mi pare tanto marketing e poco vantaggio..
alla fine mentre usi la IA per fare questo e quello non è che la GPU o la CPU siano impegnate a fare chissà che.. di fatto mentre si usa il pc per lavoro, ad eccezione di pochi momenti topici il pc è in idle per il 99% del tempo.

Ah ok.
Quindi scarichi il modello LLM già pronto ed addestrato che occupa tot giga e lo usi in locale.. funziona così?
Esatto. Ha comunque bisogno di una certa potenza di calcolo per elaborare, ma non serve addestrarlo. Scarichi il motore e i dataset già pronti, che possono essere di dimensioni diverse a seconda di quanto lo vuoi pesante e preciso...
Comunque, tornando un po' più in topic, avere addirittura un chip dedicato al posto di usare la GPU e CPU già disponibili mi pare tanto marketing e poco vantaggio..
alla fine mentre usi la IA per fare questo e quello non è che la GPU o la CPU siano impegnate a fare chissà che.. di fatto mentre si usa il pc per lavoro, ad eccezione di pochi momenti topici il pc è in idle per il 99% del tempo.
Però, essendo specializzato per quel compito, riesce a farlo meglio e consumando molta meno energia.
Certo, per un uso saltuario magari è inutile, ma se l'andazzo è quello di integrare l'IA in sempre più ambiti diversi...

Certo, sarà pure di nicchia, ma non sono proprio pochissimi, incluso il sottoscritto, che oggigiorno utilizzano in locale uno o più LLM. Io tendo a mettere tutto il possibile self-hosted, quindi per il proprio hardware locale è tutto benvenuto in tal senso, ANCHE SE sarebbe MOLTO MEGLIO/UTILE puntare su Ram e sua larghezza di banda.

Lo si fa anche (con dovute restrizioni per velocità/precisione) con il raspberry 5, anche se l'os sottostante il raspi5 deve essere molto light e preferibilmente con un LLM "allenato"/ottimizzato per le proprie e specifiche esigenze.
Per lavoro e per passione tendo a mettere il naso in tanti settori, quindi una appropriata catalogazione della "conoscenza" è uno dei miei utilizzi primari self-hosted, sia con generatori di tag basati su un preciso riconoscimento del contesto, sia tramite database (ovviamente non i relazionali con i loro dati strutturati), ecc..

Ecco perché un utilizzo appropriato e conscio di una AI non è affatto una bolla, ma un aiuto sempre più sostanzioso.

Oddio avere in locale un LLM non è proprio la cosa più semplice e immediata da fare eh... sia chiaro io sono a favore di avere anche a livello hardware sempre più cose specializzate ed efficienti ma ad oggi la vedo dura che l'utente medio riesca a installare un LLM in locale

Oddio avere in locale un LLM non è proprio la cosa più semplice e immediata da fare eh... sia chiaro io sono a favore di avere anche a livello hardware sempre più cose specializzate ed efficienti ma ad oggi la vedo dura che l'utente medio riesca a installare un LLM in locale
Capisco che scaricare un installer e farci doppio click sopra sia considerata operazione difficile al giorno d'oggi...:asd:

Capisco che scaricare un installer e farci doppio click sopra sia considerata operazione difficile al giorno d'oggi...:asd:

Se lo installi così e via senza alcuna personalizzazione tanto valeva usare quello online e non consumare corrente in locale.

Ovviamente io parlavo di una installazione custom e fatta ad hoc per le esigenze del singolo anche perché ripeto a che ti serve se usi una installazione standard come usandolo da browser o cellulare?

Che ti funziona offline e stop? Non vale il consumo di risorse.

Se lo installi così e via senza alcuna personalizzazione tanto valeva usare quello online e non consumare corrente in locale.

Ovviamente io parlavo di una installazione custom e fatta ad hoc per le esigenze del singolo anche perché ripeto a che ti serve se usi una installazione standard come usandolo da browser o cellulare?

Che ti funziona offline e stop? Non vale il consumo di risorse.
Per te non vale. Per altri sì.

Il consumo di risorse ce l'hai ugualmente, solo che da una parte devi anche pagare i guadagni che l'azienda deve fare per offrire il servizio.

Per te non vale. Per altri sì.

Il consumo di risorse ce l'hai ugualmente, solo che da una parte devi anche pagare i guadagni che l'azienda deve fare per offrire il servizio.

Scusa ma non l'ho capita.

Tra avere chatGPT nel browser (gratis) o averla in locale installata senza nessuna personalizzazione in locale che ti cambia?

Io posso capire una installazione in locale se la rendi personalizzata ma se non cambi niente da una parte ce l'hai gratis e senza consumare corrente, dall'altra ce l'hai gratis ma consumi corrente tua e risorse tue del pc... non capisco dove sia la convenienza.

Non sono al corrente dello stato dell'arte dei videogiochi ma, idea stupida, una NPU non potrebbe essere utile per generate, per esempio, dialoghi sul momento?

Una cosa che per me ha sempre rovinato l'immersività sono I dialoghi ripetitivi dei PNG.

E la cosa si fa ridicola nei GDR quando hai, ad esempio, decine di guardie che dicono tutte le stesse cose.

Non sono al corrente dello stato dell'arte dei videogiochi ma, idea stupida, una NPU non potrebbe essere utile per generate, per esempio, dialoghi sul momento?

Una cosa che per me ha sempre rovinato l'immersività sono I dialoghi ripetitivi dei PNG.

Non credo che al momento siamo ancora a livelli del genere. Sicuramente una NPU diffusa potrebbe stimolare anche questa cosa ma prima di avere giochi con dialoghi coerenti generati al momento penso che ancora ci sia un po' da lavorare.

Però ti dirò sinceramente io spero di arrivare a giochi anche più interattivi di solo dialoghi generati dall'IA prima di tirare il calzino quindi ben vengano le NPU.

Non sono al corrente dello stato dell'arte dei videogiochi ma, idea stupida, una NPU non potrebbe essere utile per generate, per esempio, dialoghi sul momento?

Una cosa che per me ha sempre rovinato l'immersività sono I dialoghi ripetitivi dei PNG.

E la cosa si fa ridicola nei GDR quando hai, ad esempio, decine di guardie che dicono tutte le stesse cose.

In effetti un motore IA che gira in un gioco potrebbe aggiungere un buon tocco di realismo e varietà nelle interazioni ed i comportamenti dei PNG..

Scusa ma non l'ho capita.

Tra avere chatGPT nel browser (gratis) o averla in locale installata senza nessuna personalizzazione in locale che ti cambia?

Io posso capire una installazione in locale se la rendi personalizzata ma se non cambi niente da una parte ce l'hai gratis e senza consumare corrente, dall'altra ce l'hai gratis ma consumi corrente tua e risorse tue del pc... non capisco dove sia la convenienza.
Privacy.
Pensi che chi ti dà chatGPT "gratis" online consumi corrente e hardware per beneficenza?
Se ti chiedessero una mela per ogni richiesta su chatGPT, diresti ancora che è gratis?

Quello che in molti fanno ancora fatica a capire, è che i "dati personali" sono un valore, una moneta di scambio, tanto quanto i dollari e gli euro.
Perfino i burocrati italiani l'hanno capito...

Privacy.
Pensi che chi ti dà chatGPT "gratis" online consumi corrente e hardware per beneficenza?
Se ti chiedessero una mela per ogni richiesta su chatGPT, diresti ancora che è gratis?

Quello che in molti fanno ancora fatica a capire, è che i "dati personali" sono un valore, una moneta di scambio, tanto quanto i dollari e gli euro.
Perfino i burocrati italiani l'hanno capito...

Capisco quello che vuoi dire ma la trovo una totale illusione. Metti un LLM in locale e poi comunque usi google? Oppure intendi dire che metti LLM in locale ma attui anche tutte le altre strategie per essere anonimo tipo brave ecc...?

Se parliamo del primo caso cioè LLM in locale ma poi usi google è francamente tempo perso. Nel secondo ha senso ma che fatica... e basta una volta un errore e ti sei comunque giocato l'anonimato.

Comunque adesso è molto più chiaro, grazie della delucidazione.

Scusa ma non l'ho capita.

Tra avere chatGPT nel browser (gratis) o averla in locale installata senza nessuna personalizzazione in locale che ti cambia?

Io posso capire una installazione in locale se la rendi personalizzata ma se non cambi niente da una parte ce l'hai gratis e senza consumare corrente, dall'altra ce l'hai gratis ma consumi corrente tua e risorse tue del pc... non capisco dove sia la convenienza.

se parli di chatgpt magari non ha senso ma su altri modelli di senso ne ha eccome, noi abbiamo ad esempio in locale varie ai alcune nostre di sviluppo e addestrate (retraining) in locale altre invece per ragioni di costi, ad esempio usiamo tantissimo in locale whisper che ad usarla online ha un costo per ogni run, abbiamo una vm sul proxmox che usa la potenza di calcolo residua per fare in batch tutte le trascrizioni che ci servono senza far uscire gli audio che sono comunque confidenziali

Capisco quello che vuoi dire ma la trovo una totale illusione. Metti un LLM in locale e poi comunque usi google? Oppure intendi dire che metti LLM in locale ma attui anche tutte le altre strategie per essere anonimo tipo brave ecc...?

Se parliamo del primo caso cioè LLM in locale ma poi usi google è francamente tempo perso. Nel secondo ha senso ma che fatica... e basta una volta un errore e ti sei comunque giocato l'anonimato.

Comunque adesso è molto più chiaro, grazie della delucidazione.
Scusa, se su Google cerco "ristorante a Milano", "come scrostare la vernice dal pavimento", "come installare cuffie bluetooth su Windows", e poi ad una IA in locale faccio trascrivere una nota vocale in cui elenco gli indirizzi dei miei parenti, cosa vuol dire "giocarsi l'anonimato"?
Ho condiviso con Google alcune informazioni che sono disposto a condividere, ho tenuto riservate alcune informazioni (come gli indirizzi dei miei parenti) che non ho intenzione di condividere.
Capisci che la condivisione delle informazioni può essere soggetta a cernita?
Se dico ad un amico che possiedo un'idropulitrice, non vuol dire che deve automaticamente conoscere anche i dettagli del mio conto in banca...

Scusa, se su Google cerco "ristorante a Milano", "come scrostare la vernice dal pavimento", "come installare cuffie bluetooth su Windows", e poi ad una IA in locale faccio trascrivere una nota vocale in cui elenco gli indirizzi dei miei parenti, cosa vuol dire "giocarsi l'anonimato"?
Ho condiviso con Google alcune informazioni che sono disposto a condividere, ho tenuto riservate alcune informazioni (come gli indirizzi dei miei parenti) che non ho intenzione di condividere.
Capisci che la condivisione delle informazioni può essere soggetta a cernita?
Se dico ad un amico che possiedo un'idropulitrice, non vuol dire che deve automaticamente conoscere anche i dettagli del mio conto in banca...

A parte che sì, salvo usare un browser specifico che ti anonimizza nel momento che fai una qualsiasi ricerca google sa il tuo IP e da quel momento ogni volta che entri in un sito in cui sono presenti google ADS, google saprà che hai navigato lì e quindi in una certa misura sarà cosa stai facendo.

C'è di peggio ovviamente ma il tracciamento è molto più complesso che non banalmente quello che fai direttamente sul sito di google o su app di google.

Poi sia chiaro condivido in parte il tuo ragionamento specie se dai in pasto alla AI sbobinamenti o comunque dai particolarmente sensibili seppur ti dico che tali dati vengano usati o diffusi in qualsiasi modo per come funziona un LLM è fortemente improbabile per non dire praticamente impossibile.

Per farti capire copilot (versione online) è stato dichiarato a norma per l'analisi di dati bancari di massa.

se parli di chatgpt magari non ha senso ma su altri modelli di senso ne ha eccome, noi abbiamo ad esempio in locale varie ai alcune nostre di sviluppo e addestrate (retraining) in locale altre invece per ragioni di costi, ad esempio usiamo tantissimo in locale whisper che ad usarla online ha un costo per ogni run, abbiamo una vm sul proxmox che usa la potenza di calcolo residua per fare in batch tutte le trascrizioni che ci servono senza far uscire gli audio che sono comunque confidenziali

Appunto io dicevo proprio questo che in presenza di personalizzazioni, retraining ecc... ha senso averlo in locale perché di fatto ti fai un LLM personalizzato su esigenze tue. Un qualcosa di unico.

Quando rispondevo che non capivo bene il senso è quando parlavano di installare la versione base, pre-creata, liscia e senza personalizzazione alcuna. A quel punto gli rispondevo che tanto valeva usare la versione identica gratis online come appunto è chatGPT.

Poi ovvio che se parliamo di AI a pagamento il discorso cambia ancora ma non mi pareva questo il caso.

Appunto io dicevo proprio questo che in presenza di personalizzazioni, retraining ecc... ha senso averlo in locale perché di fatto ti fai un LLM personalizzato su esigenze tue. Un qualcosa di unico.

Quando rispondevo che non capivo bene il senso è quando parlavano di installare la versione base, pre-creata, liscia e senza personalizzazione alcuna. A quel punto gli rispondevo che tanto valeva usare la versione identica gratis online come appunto è chatGPT.

Poi ovvio che se parliamo di AI a pagamento il discorso cambia ancora ma non mi pareva questo il caso.

beh c'è sempre la piccola questione della privacy dei dati soprattutto se usi versioni free

Per pura curiosità ho provato a installare in locale vari LLM.

Sinceramente le versioni online le ho trovate superiori in maniera devastante:

Per quanto riguarda IA specializzate ad esempio coding o generazione di immagini eseguite in locale danno risultati totalmente inadeguati. Lo stesso prompt (identico) dato a copilot online gratis e a un LLM in locale con copilot ha prodotto un risultato non eccezionale ma corretto e che con pochi ritocchi a mano era presentabile, in locale invece son stati prodotti anche allocando tante risorse e tempo risultati indecenti e inutilizzabili.

Molto meglio sulle interazioni meramente testuali ad esempio facendo domande a carattere generico dove diversi degli LLM che ho provato tutto sommato hanno sempre dato risposte grossomodo corrette o perfettamente corrette.

Sia chiaro non ho la pretesa di aver fatto una recensione o di parlare a 360° ma secondo me ancora per essere eseguiti in locale la strada è lunga e soprattutto se uno si aspetta qualcosa di più di un chatbot la strada è lunghissima soprattutto nella generazione e modifica immagini in locale fa veramente schifo.

;48835904']
Personalmente essendo nato con Amiga preferisco avere qualcosa in più che si evolverà nel temo, piuttosto che non mettere nulla per non rischiare, si sà che 640K è un numero oltre l'inimmaginabile e che non sarà mai superato, lo disse uno dei più famosi imprenditori dell'informatica, ora perfino il CASIO da polso li supera.

non lo ha mai detto, e una leggenda al pari di quanto disse Maria Antonietta «Se non hanno più pane, che mangino brioche»

Per pura curiosità ho provato a installare in locale vari LLM.

Sinceramente le versioni online le ho trovate superiori in maniera devastante:

Per quanto riguarda IA specializzate ad esempio coding o generazione di immagini eseguite in locale danno risultati totalmente inadeguati. Lo stesso prompt (identico) dato a copilot online gratis e a un LLM in locale con copilot ha prodotto un risultato non eccezionale ma corretto e che con pochi ritocchi a mano era presentabile, in locale invece son stati prodotti anche allocando tante risorse e tempo risultati indecenti e inutilizzabili.

Molto meglio sulle interazioni meramente testuali ad esempio facendo domande a carattere generico dove diversi degli LLM che ho provato tutto sommato hanno sempre dato risposte grossomodo corrette o perfettamente corrette.

Sia chiaro non ho la pretesa di aver fatto una recensione o di parlare a 360° ma secondo me ancora per essere eseguiti in locale la strada è lunga e soprattutto se uno si aspetta qualcosa di più di un chatbot la strada è lunghissima soprattutto nella generazione e modifica immagini in locale fa veramente schifo.
E' ovvio che come qualità delle risposte non sono sullo stesso livello. Ma nemmeno come privacy (nel senso opposto).
Per ogni uso devi valutare le tue necessità: ho bisogno di una risposta di qualità, e non mi interessa se i dati inseriti possono diventare di dominio pubblico? Oppure mi accontento di una risposta peggiore, l'importante è che le informazioni non lascino la mia macchina?
Giusto oggi l'articolo https://www.hwupgrade.it/news/web/caos-chatgpt-le-chat-private-degli-utenti-sono-finite-su-google_141875.html

E' ovvio che come qualità delle risposte non sono sullo stesso livello. Ma nemmeno come privacy (nel senso opposto).
Per ogni uso devi valutare le tue necessità: ho bisogno di una risposta di qualità, e non mi interessa se i dati inseriti possono diventare di dominio pubblico? Oppure mi accontento di una risposta peggiore, l'importante è che le informazioni non lascino la mia macchina?
Giusto oggi l'articolo https://www.hwupgrade.it/news/web/caos-chatgpt-le-chat-private-degli-utenti-sono-finite-su-google_141875.html

c'è anche l'opzione di mezzo ovvero usi un IA online a pagamento che ti garantisce che i tuoi dati no vengano utilizzati per il retraining della rete generalista ma solo per la versione a te dedicata, classico esempio copilot 365 a 25€ al mese per utente

se parli di chatgpt magari non ha senso ma su altri modelli di senso ne ha eccome, noi abbiamo ad esempio in locale varie ai alcune nostre di sviluppo e addestrate (retraining) in locale altre invece per ragioni di costi, ad esempio usiamo tantissimo in locale whisper che ad usarla online ha un costo per ogni run, abbiamo una vm sul proxmox che usa la potenza di calcolo residua per fare in batch tutte le trascrizioni che ci servono senza far uscire gli audio che sono comunque confidenziali

Cioè.. ma te dove lavori?? Al centro di ricerca del Pentagono??? :mbe:

c'è anche l'opzione di mezzo ovvero usi un IA online a pagamento che ti garantisce che i tuoi dati no vengano utilizzati per il retraining della rete generalista ma solo per la versione a te dedicata, classico esempio copilot 365 a 25€ al mese per utente
Certo, c'è anche il grigio tra il bianco e il nero.
Sul fatto che la versione a pagamento ti "garantisca" la privacy... non saprei, quando si tratta di grosse aziende, soprattutto sul suolo statunitense, il profitto (e la "sicurezza nazionale") stanno al di sopra di tutto. Un dato rimane privato solo quando rimane nelle tue mani...
Poi, naturalmente, ci sono livelli diversi di "riservatezza" del dato, non tutti hanno bisogno dello stesso livello di sicurezza...

Cioè.. ma te dove lavori?? Al centro di ricerca del Pentagono??? :mbe:

togli la forma geometrica a cinque punte, diciamo che lavoriamo su tecnologie che arriveranno in commercio nei prossimi 3-5 anni di media a volte 10-15 anni, calcola ad esempio i primi prototipi di sistemi di controllo wireless sfruttando il 5g urllc (chiudendo l'anello di controllo sul millisecondo) li ho fatti nel 2018-2019 a memoria roba che ancora non si è vista in commercio


riguardo la privacy lavorando con svariate aziende grosse abbiamo magari in mano i prototipi di servizi / mezzi / prodotti ancora in sviluppo dove lo spionaggio industriale è prassi comune, calcola che adesso la situazione si è un pò calmata ma ci sono stati degli anni dove lavoravamo in locali chiusi, senza finestre e con bonifiche settimanali una situazione a dir poco bucolica con centinaia di migliaia euro di penali personali in caso di fuga di informazioni


Certo, c'è anche il grigio tra il bianco e il nero.
Sul fatto che la versione a pagamento ti "garantisca" la privacy... non saprei, quando si tratta di grosse aziende, soprattutto sul suolo statunitense, il profitto (e la "sicurezza nazionale") stanno al di sopra di tutto. Un dato rimane privato solo quando rimane nelle tue mani...
Poi, naturalmente, ci sono livelli diversi di "riservatezza" del dato, non tutti hanno bisogno dello stesso livello di sicurezza...

sicurezza nazionale sni, profitto diciamo, gran parte dei guadagni dei vari cloud provider deriva dalla fiducia dei clienti che accettano di pagare per tenere dati e servizi sui loro server e se questa fiducia decade fa presto anche realtà come Amazon, Microsoft & CO a saltare per aria,i costi di infrastruttura sono enormi e se non c'è la fiducia i clienti migrano facilmente calcolando che sono tutte infrastrutture virtuali che ci vuole "relativamente poco" a migrare.

quindi se si leggono i contratti, o si parla con i vari commerciali di riferimento, la gestione della privacy e delle proprietà intelluali è bella chiara daldronde perchè rischiare il fallimento / danni di immagine colossali per monetizzare sui dei dati critici dove puoi avere monetizzazione diretta e quindi non avere problemi di copertura dei costi (calcola che ad esempio Microsoft vende il pacchetto saas di office a 11 euro al mese circa mentre l'opzione copilot costa 25 oltre il doppio del pacchetto base e fanno milioni di abbonamenti)? i dati per addestrare non gli mancano di certo visto tutto l'uso che se ne fa delle versioni free

Se hai una VGA discreta, magari di fascia alta, a che cosa serve ?
Basta con i cores eterogenei, che si facciano prodotti dedicati.