Non sai programmare? Ecco cosa si può fare con un LLM e una GeForce RTX 5070 Ti

[Redazione di Hardware Upg]

Link all'Articolo: https://www.hwupgrade.it/articoli/we...-ti_index.html

Con un semplice dialogo in linguaggio naturale e la potenza di una scheda video di fascia alta è possibile costruire software funzionante da zero, senza scrivere una riga di codice e senza inviare un solo byte dei propri dati a server esterni

Click sul link per visualizzare l'articolo.

[Portocala]

Chi non ha una 5070 Ti nel proprio PC al giorno d'oggi... Solo 1000+ euro di GPU.

[TorettoMilano]

Originariamente inviato da Portocala

Chi non ha una 5070 Ti nel proprio PC al giorno d'oggi... Solo 1000+ euro di GPU.

e chi non si mette a creare app dall’oggi al domani…

polemiche sterili, l’articolo vuole solo dimostrare come con una 5070 Ti si possano sfruttare le IA locali. ma potenzialmente, immagino essendo ignorante, si possono sfruttare schede video meno potenti

[io78bis]

Originariamente inviato da Portocala

Chi non ha una 5070 Ti nel proprio PC al giorno d'oggi... Solo 1000+ euro di GPU.

Ci sono servizi tipo Runpod che ti permettono di crearti un ambiente privato (±) dove puoi crearti il tuo AI Lab

[Eress]

Un campo di applicazione della AI molto interessante, se oggi quella scheda è per pochi, in futuro sarà più accessibile, all'inizio è sempre così. In futuro creare programmi homemade non sarà più un sogno, come crearsi videogiochi e altro

[agonauta78]

Originariamente inviato da Eress

Un campo di applicazione della AI molto interessante, se oggi quella scheda è per pochi, in futuro sarà più accessibile, all'inizio è sempre così. In futuro creare programmi homemade non sarà più un sogno, come crearsi videogiochi e altro

Al contrario , se 5 anni fa una scheda top di gamma costava molto ma era alla portata di tutti (molti più di oggi ). Oggi una fascia media (5070ti ) è alla portata degli stessi che potevano permettersi una fascia alta . In futuro ci troveremo GPU con meno RAM e costi più alti . Le GPU non sono un bene che scenderà di prezzo . Anzi ci troveremo a giocare con le integrate e le GPU entry level da 4gb di RAM

[mmorselli]

Originariamente inviato da agonauta78

Al contrario , se 5 anni fa una scheda top di gamma costava molto ma era alla portata di tutti (molti più di oggi ). Oggi una fascia media (5070ti ) è alla portata degli stessi che potevano permettersi una fascia alta . In futuro ci troveremo GPU con meno RAM e costi più alti . Le GPU non sono un bene che scenderà di prezzo . Anzi ci troveremo a giocare con le integrate e le GPU entry level da 4gb di RAM

Non stiamo parlando di futuro, ma di una situazione contingente, che potrebbe durare ancora due o tre anni, ma poi la capacità produttiva si sarà necessariamente adeguata, se non lo fosse vorrebbe dire che qualcuno ha deciso di buttare via soldi non raccogliendo la domanda di un mercato, il ché sarebbe un assurdo economico.

Nel futuro godremo invece molto i frutti di questo periodo di carestia, perchè i fantastiliardi che stanno mettendo sui chip portano ad un'accelerazione dello sviluppo tecnologico, che a pioggia cadrà su tutto.

La macchia scura rimasta sul fondo della mia tazza di cortado predice chiaramente che avremo GPU consumer con 128GB di VRAM fra 5 anni da oggi.

[mail9000it]

Originariamente inviato da mmorselli

La macchia scura rimasta sul fondo della mia tazza di cortado predice chiaramente che avremo GPU consumer con 128GB di VRAM fra 5 anni da oggi.

Forse no.
Oggi tutte le aziende si stanno spostando sul cloud.
Domani una possibilità é che anche i privati si sposteranno sul Cloud.

Avrai lo stesso servizio su PC, telefono, smart watch, schermo dell'auto.
Non dovrai mai piú cambiare hardware tranne il monitor (per il passaggio da HD a 4K). Anzi con gli occhiali in realtà aumentata avrai il tuo monitor personale da 120 pollici sempre proiettato dove vorrai.

Questo mi hanno detto i miei dadi divinatori da astragalomanzia.
Molto piú antichi del tuo cortado e dei fondi del tè.

[mmorselli]

Originariamente inviato da mail9000it

Oggi tutte le aziende si stanno spostando sul cloud.
Domani una possibilità é che anche i privati si sposteranno sul Cloud

Ma non per il gaming, che è la ragione per cui i privati comprano delle GPU. Il gaming in streaming non è male, ma non copre tutti gli scenari e non va bene per tutti, a molta gente piace il possesso e non ama pagare abbonamenti nemmeno quando a conti fatti potrebbe convenire.

Oggi di questa esigenza consumer se ne sbattono perché la produzione è insufficiente, ma nel momento in cui la produzione sia di nuovo al passo, dove c'è una domanda c'è un'offerta, ma l'offerta sarà basata sulle tecnologie nel frattempo sviluppate grazie ai fanta-dollari dell'AI

[sintopatataelettronica]

Originariamente inviato da mmorselli

ma poi la capacità produttiva si sarà necessariamente adeguata, se non lo fosse vorrebbe dire che qualcuno ha deciso di buttare via soldi non raccogliendo la domanda di un mercato, il ché sarebbe un assurdo economico.

"L'assurdo economico" è già stato investire soldi (che non si avevano) in queste .. "tecnologie del futuro" ,.. mandando a donnine allegre tutto quanto in nome di .... IN NOME DI COSA ?

Che cosa sta migliorando nel concreto l'uso di queste LLM ? E a che prezzo questo "cambiamento" sta avvenendo ?

Prezzi alle stelle di.. TUTTO, per il momento e basta, abbiamo.
Progetti di data center che consumano quanto intere città.. (IN NOME DI COSA ???? A CHE SCOPO PRATICO ?)

Cioè, perchè <tizio> che non sa programmare possa farsi un'applicazione inutile da solo ? Perchè <gigiogamer> che non sa programmare possa farsi - in un futuro molto lontano - un gioco orrendo con asset slop-AI ? Perché centinaia di milioni, forse miliardi.. di persone che non sanno fare niente possano produrre "content" inutili o dannosi ?

E tralasciando giudizi personali su questo.. "progresso" .. pensi davvero che la capacità produttiva si stia adeguando alle richieste ? L'unica cosa che sta crescendo è il numero di datacenter e consumo di acqua, energia, emissione di Co2. E DEI PREZZI DI TUTTO.

Le aziende non investono quantità di soldi spropositate (che dovranno poi restituire nel tempo) solo per moltiplicare 100 0 1.000 o 10.000 volte l'offerta - che manco è concretamente possibile, poi - a fronte di una domanda OGGI altissima ma che tra un anno (o meno) potrebbe manco esserci più.. e tutte quelle farm che hai costruito .. ci fai una beneamata mazza (che poi è il motivo principale per cui l'investimento in nuove farm non aumenta manco lontanamente in proporzione all'aumento - insano - della domanda di chip)

Altro fattore: la limitatezza di risorse fisiche (silicio in primis) del pianeta.. cioè, non è che è infinito.. e se la domanda sale all'infinito.. non è che ne puoi produrre all'infinito (che è un po' la falla cruciale di questo capitalismo delirante che vaneggia nel nome di uno sviluppo infinito a fronte del consumo di tutte le risorse del pianeta - E PER COSA, POI ? - torna sempre questa domanda... in questo momento e situazione .. "particolari" ? )

[alexfri]

É tutto stupefacenre, l’unico errore é rendere questa tecnologia alla portata di tutti. crea solo casino e rumore e basta, serviva una soglia di ingresso molto piu alta. É come dare la patente gratis e una macchina gratis e 8 miliardi di oersone, sai che delirio succede nel mondo?

[mmorselli]

Originariamente inviato da sintopatataelettronica

"L'assurdo economico" è già stato investire soldi (che non si avevano) in queste .. "tecnologie del futuro" ,.. mandando a donnine allegre tutto quanto in nome di .... IN NOME DI COSA ?

In nome della più grande scoperta fatta dall'umanità nell'ultimo secolo, ma ho il sospetto che potrebbe diventare la più grande e basta, di sempre.

Che cosa sta migliorando nel concreto l'uso di queste LLM?

AI <> LLM, ma sono dettagli, chiamala come ti pare. Sta accelerando la soluzione di problemi scientifici, che spaziando dalla medicina, alla fisica, alla matematica. Tu stai guardando solo il rumore di fondo, inizia a seguire dei canali di notizie validi e specializzati e ti si apre un mondo.

Prezzi alle stelle di.. TUTTO, per il momento e basta

Prezzi alle stelle di ram, ssd, schede video, per il mercato consumer. Mi dispiace, sono anche io un utente di questo mercato, ma è il meno importante di tutti, può aspettare due o tre anni senza che caschi il mondo.

Cioè, perchè <tizio> che non sa programmare possa farsi un'applicazione inutile da solo?

Non proprio per questo, ma non sottovalutare la potenza rivoluzionaria di questa cosa, sto conoscendo diverse persone che non sanno nulla di programmazione, neppure due righe di codice, ma siccome sono svegli si stanno creando applicazioni personali davvero interessanti e utili. Democratizzare l'informatica e portarla al livello delle idee e non del codice è qualcosa di straordinario.

pensi davvero che la capacità produttiva si stia adeguando alle richieste?

Queste cose non si pensano, si sanno o non si sanno, sono fatti. Leggi qualche notizia di settore in più, si stanno adeguando eccome, ma serve tempo.

a fronte di una domanda OGGI altissima ma che tra un anno (o meno) potrebbe manco esserci più.. e tutte quelle farm che hai costruito .. ci fai una beneamata mazza

Tutti gli investimenti in tecnologia sono ad alto rischio, cioè grandi perdite o grandi profitti. Perdi anni spendendo miliardi per sviluppare una tecnologia che nel frattempo viene resa obsoleta da qualcun altro. Succede, ma c'è chi corre il rischio.

Altro fattore: la limitatezza di risorse fisiche (silicio in primis) del pianeta..

Fino a qui sembravi una normale persona che esprimeva una legittima preoccupazione su un futuro incerto, ma sta cosa che hai scritto non si può davvero leggere. Il silicio è il secondo elemento più abbondante sulla crosta terrestre, quasi il 30% è fatta di silicio, viene battuto solo, per ovvie ragioni, dall'ossigeno. Se c'è un elemento che puoi considerare virtualmente illimitato è quello.

[mmorselli]

Originariamente inviato da alexfri

É tutto stupefacenre, l’unico errore é rendere questa tecnologia alla portata di tutti. crea solo casino e rumore e basta, serviva una soglia di ingresso molto piu alta. É come dare la patente gratis e una macchina gratis e 8 miliardi di oersone, sai che delirio succede nel mondo?

L'AI non è gratis, ci sono dei servizi gratuiti molto semplici che servono a promuovere lo strumento, ma quella seria si paga, e anche molto cara.

Darla a tutti serve a finanziarla, ma poi con che criteri la limiteresti? Esistono dei modelli di Anthropic e OpenAI che sono ad accesso limitato perché collegati alla cybersicurezza, ma sono soluzioni temporanee, i modelli Open stanno sempre a pochi mesi di distanza dai modelli di frontiera chiusi, e il gap si riduce sempre di più.

L'AI va bene così, democratica, aperta, per tutti.

[sintopatataelettronica]

Originariamente inviato da mmorselli

In nome della più grande scoperta fatta dall'umanità nell'ultimo secolo, ma ho il sospetto che potrebbe diventare la più grande e basta, di sempre.

Non so se ridere o se piangere di fronte a certe.... (ma tu eri anche profeta dei bitconzi e delle crittokatz...udo. se non erro.. quindi )

Originariamente inviato da mmorselli

AI <> LLM, ma sono dettagli, chiamala come ti pare. Sta accelerando la soluzione di problemi scientifici, che spaziando dalla medicina, alla fisica, alla matematica. Tu stai guardando solo il rumore di fondo, inizia a seguire dei canali di notizie validi e specializzati e ti si apre un mondo.

Infatti infatti si vede come sta migliorando tutto .. ed è vero che AI <> LLM.. ma, al momento, abbiamo solo delle ignorantissime LLM.. utili forse per qualche <cosa> (non certo per far programmare <tizio> o far creare a <gigiogamer> il più bel gioco della storia - ma manco arte e cose utili in generale ) ma che non valgono certo .... il danno che stanno facendo a .. TUTTO.. perché con tutte queste infrastrutture che consumano TUTTE le attuali risorse (e si impegnano anche gran parte di quelle future) si creino al 99,9% solo inutili stronzate.

Originariamente inviato da mmorselli

Non proprio per questo, ma non sottovalutare la potenza rivoluzionaria di questa cosa, sto conoscendo diverse persone che non sanno nulla di programmazione, neppure due righe di codice, ma siccome sono svegli si stanno creando applicazioni personali davvero interessanti e utili.

TIPOOOO ?? LINKA! (aspetto con il fiato sospeso.. profetica rivelazione <incoming>.... )

[sintopatataelettronica]

Originariamente inviato da mmorselli

ma non sottovalutare la potenza rivoluzionaria di questa cosa, sto conoscendo diverse persone che non sanno nulla di programmazione, neppure due righe di codice, ma siccome sono svegli si stanno creando applicazioni personali davvero interessanti e utili.

TI PREGO, DAI.. STO SOFFRENDO: dammi questi LINK di queste DIVERSE PERSONE... che mi facciano cambiare idea... che mi mostrino.. come <tizi> che non sanno nulla di programmazione - e di niente in generale - .. stiano (o abbiano già) rivoluzionando il settore della programmazione - ma tu forse intendi del mondo in generale ? tipo nuovi EINSTEIN-AI-DRIVEN ? - solo grazie all'uso intelligente delle LLM.... sto soffrendo, dammi i link.... SUBITO.. SUBITO!

[mozzarello]

Secondo me il gaming andrà in streaming anche quello.
Il futuro, senza fondi di caffé che non lo bevo più, lo vedo completamente nel cloud, ha più senso sfruttare la potenza infinita delle server farm, i backup automatici e non aver preoccupazioni di aggiornamenti o sicurezza, che farsi la propria ipercostosa macchina in casa, per poi vederla diventare obsoleta in pochi anni. Finirà anche il gaming come la musica, il cinema e i libri.

Riguardo alle IA, generative, predittive, LLM, ho già espresso il mio sempre molto favorevole parere, per me sono lo strumento più utile creato dall'uomo dai tempi della ruota e stanno già ora, adesso, cambiando il mondo.
Sulla programmazione ad esempio, io sviluppo un sw che viene usato da tutti i nostri clienti, grazie a Kiro + Claude son riuscito a modernizzarlo in poche settimane quanto non avevo mai fatto, per mancanza di tempo e risorse, negli anni precedenti. E questo è stato apprezzato anche dalla clientela.

Quindi il vero vantaggio che questi strumenti portano è che il sw sarà sempre più facile non tanto da pensare, quello deve sempre farlo un umano, ma da scrivere, testarem, debuggare e deployare, e anche da espandere, anche una cazzatina che nessuno ha voglia di mettere dentro perché magari sarebbe apprezzata dall'1% della utenza, ora la metti senza problemi in 5 minuti. Ci sarà un boom di sw e sempre fatto meglio come mai nella storia. E questo renderà l'hw obsoleto molto più velocemente e come scritto nel primo paragrafo non converrà più farsi tutto in casa.

Per quanto riguarda il discorso dell'articolo, farsi un proprio sw ha senso anche se non si sa programmare, l'importante è sapere cosa si vuole ottenere e poter validare il risultato. Capire come funzionano gli LLM o gli agenti e capire come sfruttarli al meglio. Questo è vero in qualsiasi ambito, anche se nel mondo del lavoro probabilmente è meglio essere esperti di una cosa anche se la fai fare alla IA (per questo per me la competenza sarà comunque sempre richiesta, quello che fa l'IA devi saperlo fare tu da solo, l'IA deve solo velocizzarlo esponenzialmente)

Un normalissimo utente può usare IA per creare sw effimero, che so un sito web per iscriversi a una festa, sito che viene chiuso una volta finita la festa e non ha senso farlo fare a un'azienda / sviluppatore esterni. Oppure può crearsi il sw fatto su misura per lui, magari non esiste, magari ha avuto una idea particolare, e riesce a metterla in pratica con l'IA. Poi la pubblica open sorce su github e chi sa programmare davvero la migliora, ma intanto lui ha potuto mettere in pratica una idea.

E questo, per mia esperienza, si applica a qualsiasi ambito della vita, per questo trovo le IA veramente rivoluzionarie.

Il problema grosso per me è il fatto che siano in mano o a privati americani o a cinesi, e siccome diventeranno indispensabili per rimanere competitivi sul mercato, questo è molto pericoloso.

[zoomx]

Originariamente inviato da mmorselli

Non stiamo parlando di futuro, ma di una situazione contingente, che potrebbe durare ancora due o tre anni, ma poi la capacità produttiva si sarà necessariamente adeguata, se non lo fosse vorrebbe dire che qualcuno ha deciso di buttare via soldi non raccogliendo la domanda di un mercato, il ché sarebbe un assurdo economico.

Potrebbe succedere che il PC diventi un mercato di nicchia che non vuole occupare nessuno, anche se non mi sembra probabile.

Originariamente inviato da mmorselli

Fino a qui sembravi una normale persona che esprimeva una legittima preoccupazione su un futuro incerto, ma sta cosa che hai scritto non si può davvero leggere. Il silicio è il secondo elemento più abbondante sulla crosta terrestre, quasi il 30% è fatta di silicio, viene battuto solo, per ovvie ragioni, dall'ossigeno. Se c'è un elemento che puoi considerare virtualmente illimitato è quello.

Vero ma come per l'ossigeno risulta legato agli altri elementi per cui lo si va a prendere in luoghi dove i processi geologici lo hanno concentrato sotto forma di silice, cioè quarzo.
In Italia abbiamo miniere di silice ma non ha la necessaria purezza per la produzione di semiconduttori per cui viene utilizzato per la produzione di vetro, ceramiche (come piastrelle e sanitari) ed edilizia.

Il materiale estratto da queste cave italiane viene principalmente destinato all'industria del vetro, alle ceramiche (come piastrelle e sanitari) e all'edilizia.
E quindi succede che oltre il 70% del quarzo usato per i semiconduttori proviene da due miniere tche si trovano a Spruce Pine in North Carolina.
https://www.konvoy.vc/newsletters/se...north-carolina
Quindi si, il silicio è diffusissimo ma quello per i semiconduttori a basso costo non lo è.
È lo stesso discorso che si fa le terre rare i cui elementi sono diffusi ma le concentrazioni utili economicamente no.

Il discorso cambierebbe se trovassimo una fonte di energia estremamente economica e disponibile in enormi quantità. Il nodo è sempre quello.

[Ago72]

Se uno non ha l'esigenza di tenere i dati in locale per questioni di riservatezza, la scelta del cloud rimane la migliore. Un Claude Max costa 90€ al mese.
Mentre in locale la spesa minima, rivolgendosi al mercato dell'usato, è intorno ai 1500€.
Con il Cloud in netto vantaggio, in quanto usa modelli di un ordine di grandezza superiore rispetto al locale, e consumi elettrici già inclusi nel costo dell'abbonamento.

È da un po' che penso a una macchina AI in locale, ma sto tentennando proprio sul tema costo/benefici. Ho scelto come macchina target un M4 Pro da 24Gb, inferiore come prestazioni rispetto a un nVidia, ma con costi di gestione inferiori. Aspetterò l'uscita dei Mac Mini con M5 (M6?) per capire cosa fare.

[mmorselli]

Originariamente inviato da sintopatataelettronica

Non so se ridere o se piangere di fronte a certe.... (ma tu eri anche profeta dei bitconzi e delle crittokatz...udo. se non erro.. quindi )

In realtà non mi sono mai interessato troppo ai bitcoin, il ché è un peccato visto che li ho conosciuti quando valevano $0,10, mentre ho sempre parlato bene del valore tecnologico e dell'eleganza delle blockchain pubbliche, il ché è tutt'ora vero. L'AI è un po' più orizzontale comunque.

Infatti infatti si vede come sta migliorando tutto ..

Come ho già scritto, non segui i canali di notizie giusti, gli effetti non puoi vederli nel tuo quotidiano, una scoperta in campo medico avrà effetto fra 5-10 anni, l'AI non può saltare gli studi clinici, una scoperta in campo matematico potrebbe avere applicazioni fra 30 anni, oppure domani, è il bello della matematica.

TIPOOOO ?? LINKA! (aspetto con il fiato sospeso.. profetica rivelazione <incoming>.... )

In che senso linka? Ho detto gente che non conosce la programmazione che sviluppa software per risolvere i propri problemi, non quelli degli altri. Non cambiano il mondo, però vedere gente che non sa nemmeno cos'è un loop o una classe sviluppare programmi di gestione domotica belli e funzionali o software per ottimizzare il proprio tempo anche in attività extra lavorative mi fa molto piacere. E' quello che ho sempre fatto per me stesso da tutta la vita, ma fino a pochi anni fa era un privilegio di chi aveva studiato linguaggi difficili da imparare, mentre oggi è sufficiente avere buone idee. Sicuramente c'è gente che non ha buone idee e quindi per loro l'AI è abbastanza inutile.

[mail9000it]

Originariamente inviato da TorettoMilano

polemiche sterili, l’articolo vuole solo dimostrare come con una 5070 Ti si possano sfruttare le IA locali. ma potenzialmente, immagino essendo ignorante, si possono sfruttare schede video meno potenti

Quasi. Tutta la discussione sulla quantizzazione indica che è la RAM il limite più importante non la potenza di calcolo.
Quindi meno potente "forse" ma con almeno 16GB.