NVIDIA Chat with RTX ci dà un assaggio della nuova era degli AI PC

NVIDIA Chat with RTX ci dà un assaggio della nuova era degli AI PC

L'IA generativa, oggi relegata all'online e gestita da grandi datacenter, punta a girare sui nostri PC, in locale. Con la tech demo "Chat with RTX" NVIDIA ci dà un assaggio di futuro, portando sul PC una sorta di ChatGPT.

di pubblicata il , alle 15:01 nel canale Schede Video
Intelligenza ArtificialeRTXNVIDIA
 

Sempre più persone usano abituate a interfacciarsi con i chatbot, utili strumenti accessibili via web a cui fare domande di qualsiasi genere e ottenere, rapidamente, soluzioni dirette, senza passaggi intermedi (es. ChatGPT). Quei chatbot sono animati da server densi di GPU, ma la nuova tendenza è portare l'IA generativa in locale, sgravando i datacenter da alcuni compiti e, soprattutto, evitando che dati sensibili finiscano su altri sistemi, con il rischio che vengano sottratti o usati in modo improprio.

L'integrazione delle NPU nelle CPU, ma anche la presenza di Tensor core nelle schede video, è di fondamentale aiuto in questo processo che, nemmeno a dirlo, vede NVIDIA in prima fila. Già regina dell'IA generativa nei datacenter con le sue GPU, la società guidata da Jensen Huang fa un passo avanti, spingendo sull'IA generativa in locale.

A tal proposito NVIDIA ha messo a punto "Chat with RTX", un chatbot anticipato in occasione del CES di gennaio e ora liberamente scaricabile, che rappresenta una "tech demo" con la quale gli utenti possono prendere contatto con un chatbot personalizzato sulla base dei loro contenuti. Per usarlo è necessario avere Windows 10 o 11, 100 GB di spazio di storage, una GPU GeForce RTX 3000 o superiore con almeno 8 GB di VRAM dedicata e gli ultimi driver di NVIDIA.

Chat with RTX usa la tecnica "retrieval-augmented generation (RAG)", il software NVIDIA TensorRT-LLM e l'accelerazione NVIDIA RTX per portare capacità di AI generativa in locale su milioni di PC Windows con GPU GeForce.

"Gli utenti possono connettere rapidamente e facilmente i file locali su un PC come set di dati a un modello linguistico di grandi dimensioni open source come Mistral o Llama 2, consentendo query per risposte rapide e contestualmente pertinenti", spiega NVIDIA.

Anziché quindi cercare "a mano" tra i contenuti salvati nel PC, gli utenti possono scrivere in Chat with RTX per avere risposta immediata. Ad esempio, è possibile chiedere: "Qual era il ristorante consigliato da mia moglie mentre era a Roma?" e Chat with RTX svolgerà la scansione dei file locali a cui l'utente l'ha indirizzato per fornire una risposta con il contesto. Il tool supporta vari formati di file, tra cui .txt, .pdf, .doc/.docx e .xml.

L'applicazione deve puntare alla cartella che contiene questi file, e lo strumento li caricherà nella sua libreria in pochi secondi. Gli utenti possono anche includere informazioni da video e playlist di YouTube. L'aggiunta di un URL video a Chat with RTX consente agli utenti di integrare tali conoscenze nel proprio chatbot per query contestuali. Ad esempio, è possibile chiedere consigli di viaggio in base ai contenuti dei video dei propri influencer preferiti od ottenere tutorial rapidi e istruzioni in base ai video dati in pasto al chatbot.

Dato che Chat with RTX funziona in locale su PC Windows con GPU RTX, i dati rimangono in locale. E, qualora non sia necessario permettere al chatbot di accedere a risorse online, non è necessaria una connessione a Internet per farlo funzionare.

Chat with RTX nasce per mostrare il potenziale di accelerare i LLM con le GPU RTX. L'app è stata creata dal progetto di riferimento per sviluppatori TensorRT-LLM RAG, disponibile su GitHub.

A tu per tu con Chat with RTX

NVIDIA ci ha permesso di provare in prima persona Chat with RTX nei giorni precedenti al lancio, in modo da farci un'idea delle potenzialità non solo della tech demo, ma più in generale di cosa ci consentiranno di fare questi chatbot in locale. La prova è stata svolta su un notebook Lenovo LOQ con GPU GeForce RTX 4060 Laptop.

Dopo la fase di installazione, un po' lunghetta, abbiamo dovuto dare a Chat with RTX il set di dati da "analizzare", in modo da poter iniziare la nostra prova. Chat with RTX si apre nel browser e in sottofondo lascia aperta una schermata del Prompt dei comandi da cui potete vedere anche, passo passo, come funziona.

Per prima cosa, abbiamo creato una cartella con alcuni PDF di presentazioni di prodotti - GPU, CPU, ecc. - e un file di testo con un nostro articolo. Di fondamentale importanza è la qualità dei dati che si dà in pasto a Chat with RTX, altrimenti si possono ottenere facilmente risposte non precise o errate. Allo stesso modo rileviamo che è importante anche il come è formulata la domanda o la richiesta che si fa. Nulla di differente dall'uso di un chatbot IA online, ma è sempre bene rimarcarlo. Abbiamo fatto anche alcune prove con link di YouTube, dando in pasto dei video al chatbot.

Nelle nostre prove non abbiamo ottenuto sempre quello che ci aspettavamo, ma questo si deve anche al fatto Chat with RTX risponde in inglese, quindi non sempre capisce bene l'italiano. Inoltre, qualche errore è possibile, non capiamo da dove abbia preso l'informazione - errata - sul fatto che il Ryzen 7 8700G abbia 4 GB di memoria dedicata. A ogni modo, lo strumento è interessante e, quando ha risposto correttamente, si è dimostrato notevole.

Clicca per ingrandire

Clicca per ingrandire

Clicca per ingrandire

Chat with RTX ci dà un piccolo assaggio di come cambierà la nostra interazione con i PC, nonché la ricerca di informazioni tra i nostri file. Dimostra, inoltre, come l'IA generativa non sia prerogativa dei grandi datacenter, ma con la diffusione di NPU e GPU con unità Tensor, tutti i dispositivi potranno offrire tali funzionalità, seppur su scala ridotta e con impieghi ben specifici.

14 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - info
UtenteHD13 Febbraio 2024, 15:06 #1
Beh, tutto si spostera' piano piano con HW dedicati nel locale per quanto piu' possibile, cambiera' tutto molto in fretta..
Saturn13 Febbraio 2024, 15:16 #2
Ho la netta sensazione che i miei "Core2 Quad/nvidia gt730" con Windows 11 "Forzato" non rientreranno nei requisiti...

Mi hanno servito bene, ora è tempo di dar loro il giusto riposo !
UtenteHD13 Febbraio 2024, 15:19 #3
Guarda le IA opensource famose, vedrai che ci rientri anche con una GPU serie 10 o 20 e con tanta pazienza, poi magari non e' scritto ma ci gira.
I pre-requisiti di questa mi sembrano troppo alti mediamente parlando forse per spingere sulle RTX o nulla, boh.
Saturn13 Febbraio 2024, 15:21 #4
Originariamente inviato da: UtenteHD
Guarda le IA opensource famose, vedrai che ci rientri anche con una GPU serie 10 e con tanta pazienza.
I pre-requisiti di questa mi sembrano troppo alti mediamente parlando.


Si già mi ci diverto, sia con una 1060 6gb che con una 1070 8gb che ovviamente con l'ARC A770 16gb + nvidia GT 1030 (lavorano insieme, che carine ) - ho presente...!

Quoto comunque !
silvanotrevi13 Febbraio 2024, 15:34 #5
Cioè prima gli devi dare in pasto i dati e poi puoi fare domande al chatbox?
Roba inutile, solo aria fritta e marketing questa IA. Non ne vedo proprio l'utilità mi spiace. E ci stanno bombardando ogni giorno con queste news
demon7713 Febbraio 2024, 15:37 #6
Originariamente inviato da: Saturn
Si già mi ci diverto, sia con una 1060 6gb che con una 1070 8gb che ovviamente con l'ARC A770 16gb + nvidia GT 1030 (lavorano insieme, che carine ) - ho presente...!

Quoto comunque !


Non mi è molto chiaro a cosa serve una IA locale in questo senso..
Ora.. chat GPT e simili funzionano e fanno tante cose perchè hanno una sacco di potenza e pure uno store di informazioni titanico.

Con una mini IA sul mio pc in locale che ci faccio? Gli chiedo dove ho messo le ultime foto scaricate?
Cioè.. nn penso sia roba utile o comoda più di quel tanto..
ninja75013 Febbraio 2024, 15:38 #7
Originariamente inviato da: Redazione di Hardware Upgrade


ah quindi il bot nvidia sa chi parla male di lui
Saturn13 Febbraio 2024, 15:42 #8
Originariamente inviato da: demon77
Non mi è molto chiaro a cosa serve una IA locale in questo senso..
Ora.. chat GPT e simili funzionano e fanno tante cose perchè hanno una sacco di potenza e pure uno store di informazioni titanico.

Con una mini IA sul mio pc in locale che ci faccio? Gli chiedo dove ho messo le ultime foto scaricate?
Cioè.. nn penso sia roba utile o comoda più di quel tanto..


Ca§§eggio o poco più...almeno nel mio caso !
Saved_ita13 Febbraio 2024, 20:55 #9
Beh in alcuni contesti non altamente informatizzati potrebbe essere un sistema estremamente efficiente di ricerca di informazioni.
Pensando al mio caso: lavoro nell'ambito della pubblica amministrazione; spesso devo recuperare informazioni TECNICHE da contenuti divulgati tramite dei banali PDF farciti come tacchini di termini giuridici che nessuno capisce con miliardi di riferimenti ad altre norme, che quando devi andare a recuperare ti fanno perdere decine di ore... beh se riuscisse a dare una risposta anche grossolana o anche semplicemente riuscisse a dirmi dove recuperare l'informazione che mi serve nel mio archivio (che nella realtà è una maledetta cartella zeppa di pdf, word ed excel), sarebbe una mano santa.
UtenteHD14 Febbraio 2024, 09:28 #10
Originariamente inviato da: silvanotrevi
Cioè prima gli devi dare in pasto i dati e poi puoi fare domande al chatbox?
Roba inutile, solo aria fritta e marketing questa IA. Non ne vedo proprio l'utilità mi spiace. E ci stanno bombardando ogni giorno con queste news


Stiamo parlando di AI chat bot offline, non dai in pasto nulla e tutto nella privacy (e per sicurezza Tua spegni pure internet) e' come chatgpt offline.
Per favore, smettetela di paragona l'IA a quella fuffa degli NFT.
Comincia a lavorare in grafica ad esempio con queste IA sia per grafica editor che per creazione di documenti di lavoro, revisioni, aiuto, correzzioni ecc.. una Tecnologia che sostituisce (purtroppo ed in alcuni casi per fotuna) completamente una persona non e' aria fritta, almeno questa funziona veramente, basta avere la fantasia ed ingegno per usarla.
Aria fritta per ora sono NFT e monete elettroniche che fino ad ora non hanno ancora dimostrato a che servono di bene al Mondo.

Originariamente inviato da: demon77
Non mi è molto chiaro a cosa serve una IA locale in questo senso..
Ora.. chat GPT e simili funzionano e fanno tante cose perchè hanno una sacco di potenza e pure uno store di informazioni titanico.

Con una mini IA sul mio pc in locale che ci faccio? Gli chiedo dove ho messo le ultime foto scaricate?
Cioè.. nn penso sia roba utile o comoda più di quel tanto..


No, qui si sta parlando di avere un chatbot AI tipo ChatGPT in locale senza bisogno di usare internet, infatti occupa 100GB, stanno uscendo molte IA anche opensource per i vari aiuti ed usi in locale.
Solo che questa ha dei pre requisiti stranamente troppo alti.

Devi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".

La discussione è consultabile anche qui, sul forum.
 
^