Il co-inventore di ChatGPT lancia un modello che non scrive: Jev risponde in 70 ms e non allucina mai

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/web/il...ai_159289.html

TypeSafe AI, la startup fondata dall'ex ricercatore OpenAI Diogo Almeida, è uscita dalla stealth con un round seed da 40 milioni di dollari e un modello, Jev, che non produce testo ma decisioni strutturate calcolate in meno di mezzo secondo

Click sul link per visualizzare la notizia.

[djfix13]

questi tipi di AI penso siano in grado di gestire bene la guida autonoma, molti input, risposte brevi e "zero" allucinazioni.

[sbaffo]

si è capito poco di cosa faccia in realà, il punto è proprio qui.
Anche un foglio excel ha zero allucinazioni...

[mmorselli]

Originariamente inviato da sbaffo

si è capito poco di cosa faccia in realà, il punto è proprio qui.

E' abbastanza chiaro, è un modello che in output produce risposte predeterminate, con un grado di confidenza. Esempio:

- Questa mail è spam? (sì, no)

Gli sto chiedendo di analizzare una mail, e lo farà alla maniera delle AI, sulla base di un addestramento fatto con miliardi di dati, ma gli dico che accetto solo due risposte, sì e no.

Risposta: (sì, 0.85)

Mi dice che probabilmente lo è, con l'85% di confidenza.

Ora, chi conosce un po' le AI sa che questa cosa esiste da tempo, si chiamano classificatori, e si usano proprio per compiti come questi, la differenza è che il classificatore è addestrato per un unico scopo, per esempio appunto valutare una mail, e le risposte che può dare sono vincolate alla nascita, mentre Jev è multipurpose, lo puoi usare in quel modo per qualsiasi domanda e set di possibili risposte.

I vantaggio sono:

- estremamente più veloce di un LLM
- estremamente meno costoso di un LLM
- meno allucinazioni (non zero, quella mail classificata 85% poteva essere spam allo 0% )

[lollo9]

per quelli cui interessa, si tratta di un classificatore multi-head
Lo spazio di output è predeterminato, le query risolte atomicamente. non può allucinare nel senso che non può uscire dal suo dominio

Laddove un LLM è quello che ti scrive un tema su Giacomo Leopardi, questo al più su Leopardi ti risponde ad una prova a crocette
non può allucinare per definizione, non può dirti che Leopardi era un pizzaiolo non vedente di Osaka appassionato di cricket e cambi shimano, ma può tranquillamente sparare cazzate

sono gli stessi tipi di modelli usato per analizzare le interazioni dei supporti clienti, temperatura, livello di efficacia ecc. non ti rispondono con nuovo testo, ma più con reportistica, per così dire

[mmorselli]

Originariamente inviato da djfix13

questi tipi di AI penso siano in grado di gestire bene la guida autonoma, molti input, risposte brevi e "zero" allucinazioni.

Però questo è generalizzato, la guida autonoma usa reti neurali molto verticali, addestrate solo con dati utili alla guida, non gli interessa nulla la risposta a "di che colore è il gatto?", gli interessa solo che in mezzo alla strada c'è un gatto e i gatti si comportano in un certo modo, a prescindere che siano rossi, bianchi o neri.

[Notturnia]

Originariamente inviato da mmorselli

Però questo è generalizzato, la guida autonoma usa reti neurali molto verticali, addestrate solo con dati utili alla guida, non gli interessa nulla la risposta a "di che colore è il gatto?", gli interessa solo che in mezzo alla strada c'è un gatto e i gatti si comportano in un certo modo, a prescindere che siano rossi, bianchi o neri.

non hai gatti.. i gatti rossi non si comportano come gli altri gatti

[aqua84]

Originariamente inviato da mmorselli

E' abbastanza chiaro, è un modello che in output produce risposte predeterminate, con un grado di confidenza. Esempio:

- Questa mail è spam? (sì, no)

Gli sto chiedendo di analizzare una mail, e lo farà alla maniera delle AI, sulla base di un addestramento fatto con miliardi di dati, ma gli dico che accetto solo due risposte, sì e no.

Risposta: (sì, 0.85)

Mi dice che probabilmente lo è, con l'85% di confidenza.

Ora, chi conosce un po' le AI sa che questa cosa esiste da tempo, si chiamano classificatori, e si usano proprio per compiti come questi, la differenza è che il classificatore è addestrato per un unico scopo, per esempio appunto valutare una mail, e le risposte che può dare sono vincolate alla nascita, mentre Jev è multipurpose, lo puoi usare in quel modo per qualsiasi domanda e set di possibili risposte.

I vantaggio sono:

- estremamente più veloce di un LLM
- estremamente meno costoso di un LLM
- meno allucinazioni (non zero, quella mail classificata 85% poteva essere spam allo 0% )

Ma a me nella pratica cosa cambia?

Se io voglio sapere se quella mail è SPAM, voglio sapere se è Spam al 100% o 0%, come dici tu SI o NO.

Qualunque altra % mi "costringe" comunque a prendere una decisione, e allora tanto vale tirare una moneta per decidere

[ionet]

Originariamente inviato da Notturnia

non hai gatti.. i gatti rossi non si comportano come gli altri gatti

ho un gatto rosso affetto da tripofilia(termine forzato per dire che ama i buchi) se lo faccio uscire di casa passerebbe la giornata davanti a un muro filo strada con dei fori di scolo.. con la speranza che gli esce qualche preda, la cosa triste e' che ha paura dei mezzi che passano tagliando la strada all'ultimo secondo, sono gia due volte che lo sfiorano e l'ultima volta ha avuto una commozione cerebrale.. terminera' la sua esistenza agli arresti domiciliari

Originariamente inviato da aqua84

Ma a me nella pratica cosa cambia?

Se io voglio sapere se quella mail è SPAM, voglio sapere se è Spam al 100% o 0%, come dici tu SI o NO.

Qualunque altra % mi "costringe" comunque a prendere una decisione, e allora tanto vale tirare una moneta per decidere

l'assoluta sicurezza non puoi sempre averla, e un 85% e' nettamente meglio di un generico 50%
c'e' stata una fuga di dati da Revolut proprio perche le richieste arrivavano da una Pec ufficiale, anche l'AI ti avrebbe detto fidati, "quasi" sicuramente e' tutto regolare, ma se non ci si sbatte un pochino per assicurarsi..

[aqua84]

Originariamente inviato da ionet

l'assoluta sicurezza non puoi sempre averla, e un 85% e' nettamente meglio di un generico 50%
c'e' stata una fuga di dati da Revolut proprio perche le richieste arrivavano da una Pec ufficiale, anche l'AI ti avrebbe detto fidati, "quasi" sicuramente e' tutto regolare, ma se non ci si sbatte un pochino per assicurarsi..

Grazie
Ma queste cose le sapevo anche PRIMA allora, senza la IA

[mmorselli]

Originariamente inviato da aqua84

Ma a me nella pratica cosa cambia?
Se io voglio sapere se quella mail è SPAM, voglio sapere se è Spam al 100% o 0%, come dici tu SI o NO.

Questo non c'entra con il modello AI di cui stiamo parlando, va premesso, riguarda tutti i classificatori. Questo Jev è un classificatore che è in grado di generalizzare, la differenza sta qui.

Venendo ai classificatori, nulla potrebbe mai dirti che un messaggio è spam al 100%, immagina che un amico mi chiami e mi dica "puoi guardare una mail che ho ricevuto e dirmi se è spam?" - "si, mandamela" - Quando ricevo quella mail, è spam o no? E' una mail di spam, ma per me non è spam perché quella mail io la stavo aspettando per leggerla.

Questo è un esempio estremo, ma il confine tra una mail desiderata e una indesiderata sei solo tu.

Detto questo, non vedo il problema, di solito gli antispam lavorano per soglie, tu decidi che tutto quello che supera il 90% di confidenza finisce in spam, se delle mail ti interessa poco puoi mettere 70%, se ricevi mail importantissime metti il 95%, la scelta è tua, ma la fai a priori. I falsi positivi sono sempre possibili, ce ne facciamo una ragione, poi guai a togliere questo grado di incertezza, poi come faccio a dire "ah, scusa, la mail era finita in spam" quando mi scordo di rispondere a qualcuno per una settimana?

I grandi provider di posta come GMail non usano solo i classificatori come tecnica, una mail di spam di solito viene inviata a migliaia di persone, per cui loro sono in grado di vedere che una determinata mail che sembra molto spam è anche stata inviata a migliaia di persone che non si conoscono, per cui si può dire che sia spam al 100%

[mmorselli]

Originariamente inviato da Notturnia

non hai gatti.. i gatti rossi non si comportano come gli altri gatti

Sono arrivato ad averne anche 20, oggi ne ho zero, è vero, ma conosco bene i gatti. I gatti rossi sono strani perché vengono da una società patriarcale, infatti il tratto rosso è legato al cromosoma X e questo porta a popolazioni con 80% di gatti rossi e solo 20% di gatte rosse. C'è poca figa, per questo anche sono un po' strani.

Dal punto di vista di una Tesla a guida autonoma, però, maschio o femmina fanno lo stesso rumore quando li stiri.

[aqua84]

Originariamente inviato da mmorselli

Questo non c'entra con il modello AI di cui stiamo parlando, va premesso, riguarda tutti i classificatori. Questo Jev è un classificatore che è in grado di generalizzare, la differenza sta qui.

Venendo ai classificatori, nulla potrebbe mai dirti che un messaggio è spam al 100%, immagina che un amico mi chiami e mi dica "puoi guardare una mail che ho ricevuto e dirmi se è spam?" - "si, mandamela" - Quando ricevo quella mail, è spam o no? E' una mail di spam, ma per me non è spam perché quella mail io la stavo aspettando per leggerla.

Questo è un esempio estremo, ma il confine tra una mail desiderata e una indesiderata sei solo tu.

Sinceramente nn capisco il senso del tuo esempio.

Se io ASPETTO una mail e mi arriva, non chiedo a nessuno se quella è spam o no.
La aspettavo e stop.

La domanda va fatta sulle mail che NON ASPETTO, ma se la IA mi dice "Forse si, forse no", anche un bel Grazie al Ca...

[mmorselli]

Originariamente inviato da aqua84

Se io ASPETTO una mail e mi arriva, non chiedo a nessuno se quella è spam o no.
La aspettavo e stop.

ok, ma tu vuoi un sistema automatico che smista le mail, no? Come infatti c'è nella maggior parte dei servizi di posta.

Il sistema automatico, diciamo l'antispam di GMail, quando arriva una mail deve decidere se consegnartela nella cartella principale, dove la vedrai, oppure mandarla in spam. Se decide di mandare in spam la mail che aspettavi, ci va, poi magari tu, non trovandola, andrai a cercare se è finita in spam.

Non hai mai usato un antispam? Non chiedi nulla a nessuno, è un software che intercetta le mail e decide in quale cartella mandarle. In certi casi, a livello di server e non di client, può anche decidere che quella mail non ti arriva proprio, nemmeno in spam. Se la reputazione del server mittente è troppo bassa non arriva nemmeno al classificatore del client, viene rifiutata.

[aqua84]

Originariamente inviato da mmorselli

ok, ma tu vuoi un sistema automatico che smista le mail, no? Come infatti c'è nella maggior parte dei servizi di posta.

Il sistema automatico, diciamo l'antispam di GMail, quando arriva una mail deve decidere se consegnartela nella cartella principale, dove la vedrai, oppure mandarla in spam. Se decide di mandare in spam la mail che aspettavi, ci va, poi magari tu, non trovandola, andrai a cercare se è finita in spam.

Non hai mai usato un antispam? Non chiedi nulla a nessuno, è un software che intercetta le mail e decide in quale cartella mandarle. In certi casi, a livello di server e non di client, può anche decidere che quella mail non ti arriva proprio, nemmeno in spam. Se la reputazione del server mittente è troppo bassa non arriva nemmeno al classificatore del client, viene rifiutata.

Che appunto quello che faccio già da anni, prima dell'arrivo della IA

[mmorselli]

Originariamente inviato da aqua84

Che appunto quello che faccio già da anni, prima dell'arrivo della IA

Dipende che servizio email hai usato e che tipo di antispam implementava, magari usavi l'IA e non lo sapevi.

Attenzione che IA non vuol dire LLM, non vuol dire ChatGPT, IA è un termine più ampio che dentro comprende i LLM, reti neurali, modelli a diffusione, classificatori, ecc...

[Notturnia]

Originariamente inviato da mmorselli

Sono arrivato ad averne anche 20, oggi ne ho zero, è vero, ma conosco bene i gatti. I gatti rossi sono strani perché vengono da una società patriarcale, infatti il tratto rosso è legato al cromosoma X e questo porta a popolazioni con 80% di gatti rossi e solo 20% di gatte rosse. C'è poca figa, per questo anche sono un po' strani.

Dal punto di vista di una Tesla a guida autonoma, però, maschio o femmina fanno lo stesso rumore quando li stiri.

strani.. e si fanno spiaccicare più facilmente

due ne ho persi e poi ho detto basta rossi

[Notturnia]

Originariamente inviato da aqua84

Sinceramente nn capisco il senso del tuo esempio.

Se io ASPETTO una mail e mi arriva, non chiedo a nessuno se quella è spam o no.
La aspettavo e stop.

La domanda va fatta sulle mail che NON ASPETTO, ma se la IA mi dice "Forse si, forse no", anche un bel Grazie al Ca...

te lo spiego io che sto lavorando sul sistema da un pò.. il vantaggio di questi sistemi è poter fare una selezione a monte per eliminare le mail certamente spam e selezionare le mail certamente "lavoro" (o quello che hai scelto) ed inviare in revisione le mail che non sono 100% si e neanche 100% no.. questo riduce l'inferenza necessaria per lavorare le mail dubbie perchè lavori solo le dubbie e non tutto quello che entra..
per le persone normali utilità zero.. ma per noi, per farti un esempio, che riceviamo un migliaio di mail al giorno vuol dire poter smistare con maggiore attenzione la posta in arrivo e avere meno posta da lavorare.... le mail "certe" hanno già una strada definita

un agente "deterministico" affidabile fa risparmiare soldi alle IA

[aqua84]

Originariamente inviato da Notturnia

te lo spiego io che sto lavorando sul sistema da un pò.. il vantaggio di questi sistemi è poter fare una selezione a monte per eliminare le mail certamente spam e selezionare le mail certamente "lavoro" (o quello che hai scelto) ed inviare in revisione le mail che non sono 100% si e neanche 100% no.. questo riduce l'inferenza necessaria per lavorare le mail dubbie perchè lavori solo le dubbie e non tutto quello che entra..
per le persone normali utilità zero.. ma per noi, per farti un esempio, che riceviamo un migliaio di mail al giorno vuol dire poter smistare con maggiore attenzione la posta in arrivo e avere meno posta da lavorare.... le mail "certe" hanno già una strada definita

un agente "deterministico" affidabile fa risparmiare soldi alle IA

Ok, questo ha già piu senso.
Grazie

[Notturnia]

Originariamente inviato da aqua84

Ok, questo ha già piu senso.
Grazie

è solo un tassello quando vuoi "smezzare" il lavoro.. è utile ed inutile al tempo stesso.. in certi casi ti risparmia lavoro in altri è inutile come un semaforo rotto