Claude AI inventa una citazione in tribunale, l'errore che imbarazza Anthropic

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/web/cl...ic_138841.html

Anthropic ha riconosciuto che il proprio chatbot Claude AI ha inserito, all'interno di un documento difensivo di un procedimento contro l'uso utilizzo illecito di testi protetti da copyright, una citazione legale errata. La società ha riconosciuto lo scivolone e si è scusata.

Click sul link per visualizzare la notizia.

[Hiei3600]

Io non capisco perché la notizia che un IA può fare degli errori sia...una notizia, boh? Lo sanno tutti che le IA non sono perfette, perché facciamo finta di stupirci quando accade?

[gnpb]

La notizia non è che una ai abbia fatto errori, la notizia è che uno studio legale si sia affidato all'ai senza verificare che il contenuto prodotto fosse corretto, ovvero che ci sia qualcuno, che pure ha studiato quindi è istruito ed è pure pagato un botto per andare in tribunale a parlare di leggi e condanne alla gente, che è così poco affidabile e intelligente. Tra l'altro in un processo che riguarda fatti di questo genere.
Probabilmente qualche tirocinante cambierà mestiere.

[pachainti]

Niente di nuovo, i modelli probabilistici sono generatori di stronzate. ChatGPT is bullshit.

Inoltre, questo articolo scientifico chiude la possibilità di rimuovere le "allucinazioni" forse più correttamente confabulazioni.

Hallucination is Inevitable: An Innate Limitation of Large Language Models
Hallucination has been widely recognized to be a significant drawback for large language models (LLMs). In this paper, we formalize the problem and show that it is impossible to eliminate hallucination in LLMs. Specifically, we define a formal world where hallucination is defined as inconsistencies between a computable LLM and a computable ground truth function. By employing results from learning theory, we show that LLMs cannot learn all the computable functions and will therefore inevitably hallucinate if used as general problem solvers. Since the formal world is a part of the real world which is much more complicated, hallucinations are also inevitable for real world LLMs.

[pachainti]

Originariamente inviato da gnpb

La notizia non è che una ai abbia fatto errori, la notizia è che uno studio legale si sia affidato all'ai senza verificare che il contenuto prodotto fosse corretto, ovvero che ci sia qualcuno, che pure ha studiato quindi è istruito ed è pure pagato un botto per andare in tribunale a parlare di leggi e condanne alla gente, che è così poco affidabile e intelligente. Tra l'altro in un processo che riguarda fatti di questo genere.
Probabilmente qualche tirocinante cambierà mestiere.

Concordo

[danylo]

Vanno in tribunale, senza nemmeno rileggere cio' che ha scritto la IA, e danno la colpa alla IA.
Suona un po' come "Il gatto mi ha mangiato il quaderno"

[Gnubbolo]

una allucinazione può essere generata anche da un eccesso di regole date.
immagina una ricerca sui generali cinesi, ce ne è uno che si chiama Zhing Zhong ( Cin Ciong, quindi un nome vincolato esattamente come l'n-word o la r-word (retard) ), l'AI potrebbe escluderlo dagli eventi storici facendo un buco che poi richiude inventando qualcosa ( esattamente come quando l'AI generativa prende un parte di immagine e la ricostruisce ).