Claude AI inventa una citazione in tribunale, l'errore che imbarazza Anthropic

Claude AI inventa una citazione in tribunale, l'errore che imbarazza Anthropic

Anthropic ha riconosciuto che il proprio chatbot Claude AI ha inserito, all'interno di un documento difensivo di un procedimento contro l'uso utilizzo illecito di testi protetti da copyright, una citazione legale errata. La società ha riconosciuto lo scivolone e si è scusata.

di pubblicata il , alle 09:01 nel canale Web
ClaudeAnthropic
 

Anthropic ha ammesso di aver incluso, in modo non intenzionale, una citazione errata in un documento legale presentato lo scorso 30 aprile. L'accaduto è stato riportato in modo completo da The Verge.

Il riferimento, preparato con l'ausilio del chatbot Claude AI, è stato contestato dai rappresentanti legali di Universal Music Group, ABKCO e Concord nell'ambito di una causa in corso per l'uso di testi protetti da copyright per l'addestramento dell'IA.

L'errore è emerso durante un'udienza, in cui un legale delle case discografiche ha definito "completamente inventata" una delle fonti citate da Olivia Chen, data scientist di Anthropic, insinuando che potesse trattarsi di un risultato "allucinato" dal sistema AI.

In una memoria difensiva successiva, l'avvocata di Anthropic, Ivana Dukanovic, ha chiarito che la fonte contestata esiste effettivamente, ma che Claude ha generato un titolo e autori inesatti pur fornendo l'anno di pubblicazione corretto e un link valido. Il chatbot era stato impiegato per formattare le citazioni legali, e un controllo manuale aveva già corretto alcuni numeri di volume e pagina sbagliati. Tuttavia, errori di formulazione sono passati inosservati.

Anthropic, Amodei ammette: "Non capiamo come funziona davvero l'IA"

L'azienda ha definito l'incidente un "errore imbarazzante e non intenzionale" e ha ribadito che non si è trattato di un'alterazione deliberata di una fonte. Il caso si inserisce in una crescente serie di episodi in cui l'uso di strumenti di intelligenza artificiale nella redazione di documenti legali ha causato problemi, sollevando interrogativi sull'affidabilità di tali tecnologie in ambito giuridico.

Problemi tra la "Giustizia" e i "Chatbot AI" vi sono stati anche in Italia, come riportato da alcuni quotidiani (es. La Repubblica), mentre proprio The Verge segnala che la scorsa settimana un giudice della California ha rimproverato due studi legali per non aver rivelato che l'intelligenza artificiale era stata utilizzata per creare una memoria integrativa piena di materiale "falso" che "non esisteva".

I migliori sconti su Amazon oggi

TCL 85T8B, TV QLED 85”, 4K Ultra HD, Google TV (Dolby Vision, Audio ONKYO 2.1 con Dolby Atmos, Controllo vocale hands-free, compatibile con Google assistant & Alexa, AirPlay2)

Compra ora
-15%

Apple iPhone 16 Pro 128 GB: Telefono 5G con Controllo fotocamera, Dolby Vision 4K a 120 fps e un’autonomia senza precedenti. Compatibile con AirPods; Titanio bianco

1239.00 1049.00€ Compra ora
-13%

Samsung Galaxy S25 Ultra Smartphone AI, 3 anni di Garanzia del produttore, Display 6.9'' QHD+ Dynamic AMOLED 2X, Fotocamera 200MP, RAM 12GB, 256GB, 5.000 mAh, Titanium Whitesilver [Versione italiana]

1499.00 1299.00€ Compra ora
6 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - info
Hiei360017 Maggio 2025, 09:33 #1
Io non capisco perché la notizia che un IA può fare degli errori sia...una notizia, boh? Lo sanno tutti che le IA non sono perfette, perché facciamo finta di stupirci quando accade?
gnpb17 Maggio 2025, 11:49 #2
La notizia non è che una ai abbia fatto errori, la notizia è che uno studio legale si sia affidato all'ai senza verificare che il contenuto prodotto fosse corretto, ovvero che ci sia qualcuno, che pure ha studiato quindi è istruito ed è pure pagato un botto per andare in tribunale a parlare di leggi e condanne alla gente, che è così poco affidabile e intelligente. Tra l'altro in un processo che riguarda fatti di questo genere.
Probabilmente qualche tirocinante cambierà mestiere.
pachainti17 Maggio 2025, 11:56 #3
Niente di nuovo, i modelli probabilistici sono generatori di stronzate. ChatGPT is bullshit.

Inoltre, questo articolo scientifico chiude la possibilità di rimuovere le "allucinazioni" forse più correttamente confabulazioni.

Hallucination is Inevitable: An Innate Limitation of Large Language Models
[I]Hallucination has been widely recognized to be a significant drawback for large language models (LLMs). In this paper, we formalize the problem and show that it is impossible to eliminate hallucination in LLMs. Specifically, we define a formal world where hallucination is defined as inconsistencies between a computable LLM and a computable ground truth function. By employing results from learning theory, we show that LLMs cannot learn all the computable functions and will therefore inevitably hallucinate if used as general problem solvers. Since the formal world is a part of the real world which is much more complicated, hallucinations are also inevitable for real world LLMs.[/I]
pachainti17 Maggio 2025, 11:57 #4
Originariamente inviato da: gnpb
La notizia non è che una ai abbia fatto errori, la notizia è che uno studio legale si sia affidato all'ai senza verificare che il contenuto prodotto fosse corretto, ovvero che ci sia qualcuno, che pure ha studiato quindi è istruito ed è pure pagato un botto per andare in tribunale a parlare di leggi e condanne alla gente, che è così poco affidabile e intelligente. Tra l'altro in un processo che riguarda fatti di questo genere.
Probabilmente qualche tirocinante cambierà mestiere.


Concordo
danylo17 Maggio 2025, 17:17 #5
Vanno in tribunale, senza nemmeno rileggere cio' che ha scritto la IA, e danno la colpa alla IA.
Suona un po' come "Il gatto mi ha mangiato il quaderno"
Gnubbolo17 Maggio 2025, 18:44 #6
una allucinazione può essere generata anche da un eccesso di regole date.
immagina una ricerca sui generali cinesi, ce ne è uno che si chiama Zhing Zhong ( Cin Ciong, quindi un nome vincolato esattamente come l'n-word o la r-word (retard) ), l'AI potrebbe escluderlo dagli eventi storici facendo un buco che poi richiude inventando qualcosa ( esattamente come quando l'AI generativa prende un parte di immagine e la ricostruisce ).

Devi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".

La discussione è consultabile anche qui, sul forum.
 
^