Intelligenza Artificiale e parole rivelatrici: ecco come scoprire se un testo è stato scritto dall'IA generativa

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/scienz...va_128583.html

Uno studio accademico mostra come l'incidenza di determinate parole nei documenti scientifici sia aumentata in modo improvviso e significativo dopo la diffusione delle IA Generative

Click sul link per visualizzare la notizia.

[pachainti]

L'utilizzo di chatGPT e simili nella ricerca scientifica, ha hanno messo in luce ancora una volta l'assenza di revisione. Riviste scientifiche importanti come Elsevier contengono ricerche con la presenza della firma dei software e non sono state rigettate dai revisori. Questo mette in serio dubbio la credibilità di una buona parte della ricerca scientifica.
Elsevier: science or rogue scoundrels?

[Diesel_NA]

E' solo la punta dell'iceberg.
Io proprio nella definizione di "intelligenza" artificiale non mi ci ritrovo.
L'intelligenza è spesso il trovare una soluzione nuova ed impensata. A volte unendo due cose apparentemente slegate, molte volte di più proprio ex-novo, immaginando, creando, inventando, sperimentando.
Una IA non sperimenta. Lega tra loro conoscenze già esistenti in millemila banche dati.
Se una cosa non esiste (ancora) è fuori dal range dell'IA.
Ergo, fine delle "scoperte". Fine delle "invenzioni". Se esiste potrà essere utilizzata dall'IA, se non esiste, l'IA non la inventerà. Poiché la stragrande maggioranza degli ometti si affida all'IA per qualsiasi cosa...
Ci preoccupiamo dell'ambiente... ma non ci preoccipiamo se tra 50 anni saremo ancora qui a parlarne.

[sbaffo]

Originariamente inviato da pachainti

L'utilizzo di chatGPT e simili nella ricerca scientifica, ha hanno messo in luce ancora una volta l'assenza di revisione. Riviste scientifiche importanti come Elsevier contengono ricerche con la presenza della firma dei software e non sono state rigettate dai revisori. Questo mette in serio dubbio la credibilità di una buona parte della ricerca scientifica.
Elsevier: science or rogue scoundrels?

Ecco il vero problema, la pigrizia/cialtroneria/sciatteria/fretta degli "ometti" (insieme ai tagli costi indiscriminati dei ceo): tutti sanno che l'ia può essere utile e comoda ma va ricontrollata accuratamente, qui abbiamo la dimostrazione che famosi ricercatori non hanno neanche riletto prima di mandare la loro pseudoricerche, idem la peer review fantomatica che avrebbe dovuto garantirne la bontà.

Mi ricorda molto le certificazioni allegre di famose agenzie di rating sui mutui americani prima del 2008... sappiamo tutti come è andata a finire. Ma qui il problema si allarga a qualunque campo (dove si possa usare l'ia), con esiti imprevedibili.

[Gio. Van]

Notizia/articolo interessante. Fa riflettere su come il linguaggio può riflettere il pensiero ma come anche anche il contrario, ovvero il linguaggio può simulare il pensiero. A vario livello, con potenziali riflessi sociologici. Personalmente quando ho interpellato le varie IA "mainstream" su temi particolarmente tecnici, ho rilevato una eccessiva frequenza di allucinazioni belle e buone. Informazioni inventate di sana pianta, su cui poi viene impiantato un "ragionamento" logico conseguente con derive purtroppo credibili se non supervisionate. In definitiva, imho we are still very far from a real professional use of AI.

[The_ouroboros]

Originariamente inviato da Redazione di Hardware Upgrade

Link alla notizia: https://www.hwupgrade.it/news/scienz...va_128583.html

Uno studio accademico mostra come l'incidenza di determinate parole nei documenti scientifici sia aumentata in modo improvviso e significativo dopo la diffusione delle IA Generative

Click sul link per visualizzare la notizia.

ma non bastava leggerlo e vedere che uno in prima elementare scriveva meno castronate?

[Nui_Mg]

Originariamente inviato da sbaffo

Ma qui il problema si allarga a qualunque campo (dove si possa usare l'ia), con esiti imprevedibili.

Ah beh, il plagio te lo trovi pure ai vertici di università quali Harvard (varie accuse, anche all'ex-rettrice, C. Gay, che poi si è dimessa), quindi pensa cosa potrà venir fuori più avanti con il perfezionamento di certe tegnologie.

Edit: tegnologie --> tecnologie (colpa della troppa abbronzatura )

[The_ouroboros]

Originariamente inviato da Nui_Mg

Ah beh, il plagio te lo trovi pure ai vertici di università quali Harvard (varie accuse, anche all'ex-rettrice, C. Gay, che poi si è dimessa), quindi pensa cosa potrà venir fuori più avanti con il perfezionamento di certe tegnologie.

in usa usano ChatGPT per inventarsi precedenti legali so....

[sbaffo]

Originariamente inviato da Nui_Mg

Ah beh, il plagio te lo trovi pure ai vertici di università quali Harvard (varie accuse, anche all'ex-rettrice, C. Gay, che poi si è dimessa), quindi pensa cosa potrà venir fuori più avanti con il perfezionamento di certe tegnologie.

Il problema non è il plagio, ma le vaccate (bullshit come diceva un altro utente) cha passano per buone se non controllate:

Originariamente inviato da Gio. Van

Notizia/articolo interessante. Fa riflettere su come il linguaggio può riflettere il pensiero ma come anche anche il contrario, ovvero il linguaggio può simulare il pensiero. A vario livello, con potenziali riflessi sociologici. Personalmente quando ho interpellato le varie IA "mainstream" su temi particolarmente tecnici, ho rilevato una eccessiva frequenza di allucinazioni belle e buone. Informazioni inventate di sana pianta, su cui poi viene impiantato un "ragionamento" logico conseguente con derive purtroppo credibili se non supervisionate. In definitiva, imho we are still very far from a real professional use of AI.

E' questo il vero problema, se passa per scientificamente accettato (con peer review fasulle come visto) una vaccata non facilmente individuabile, poi diventa "scienza" e può fare danni per anni o decenni in maniera imprevedibile, finchè qualcuno non trova l'origine del problema mettendo in discussione tutti gli studi pregressi, lavoro improbo.
Spero che la scienza prima di accettare una idea richieda più studi indipendenti che la confermano. Ma in ambiti meno rigorosi/scientifici diventa una "fake news" (quasi) inverificabile, anzi supportata da studi apparentemente seri che la certificano come vera.

[Nui_Mg]

Originariamente inviato da sbaffo

Il problema non è il plagio, ma le vaccate (bullshit come diceva un altro utente) cha passano per buone se non controllate

Il discorso "plagio" era solo un esempio per evidenziare che se si ricorre al plagio (a causa di pigrizia, incapacità, tempi stretti e via scoreggiando...), perfino in ambiti/ambienti considerati il gotha della cultura accademica, provare ad immaginare le implicazioni a 360 gradi disponendo di strumenti tecnologici sempre più potenti.

[sbaffo]

Originariamente inviato da Nui_Mg

Il discorso "plagio" era solo un esempio per evidenziare che se si ricorre al plagio (a causa di pigrizia, incapacità, tempi stretti e via scoreggiando...), perfino in ambiti/ambienti considerati il gotha della cultura accademica, provare ad immaginare le implicazioni a 360 gradi disponendo di strumenti tecnologici sempre più potenti.

Ah ok, tu dicevi: se fanno nefandezze i top figurarsi gli altri.
Vedo un futuro grigio.
Mia sorella che vent'anni fa ha fatto la tesi sull'IA (agli albori suppongo) dice di essere molto preoccupata, ma non è scesa in dettagli.

[Nui_Mg]

Originariamente inviato da sbaffo

Mia sorella che vent'anni fa ha fatto la tesi sull'IA (agli albori suppongo) dice di essere molto preoccupata, ma non è scesa in dettagli.

Ah beh, per forza di cose: pensa che oggi i vari corsi di statistica, deep/machine learning, AI e reti neurali (intese anche come rappresentazione computazionale del processo percettivo umano) te li mettono pure (ovviamente a livelli diversi, richiedono buone conoscenze matematiche) in facoltà non appartenenti all'ingegneria/informatica pura.

[tbo27]

Non mi stancherò mai di ripetere che queste applicazioni sono solo supercazzolatrici automatiche. E tali resteranno per molto tempo, decenni oserei dire, a venire.

[sbaffo]

Originariamente inviato da tbo27

Non mi stancherò mai di ripetere che queste applicazioni sono solo supercazzolatrici automatiche. E tali resteranno per molto tempo, decenni oserei dire, a venire.

Antani approva

Originariamente inviato da Nui_Mg

Ah beh, per forza di cose: pensa che oggi i vari corsi di statistica, deep/machine learning, AI e reti neurali (intese anche come rappresentazione computazionale del processo percettivo umano) te li mettono pure (ovviamente a livelli diversi, richiedono buone conoscenze matematiche) in facoltà non appartenenti all'ingegneria/informatica pura.

Beh, all'epoca mia sorella non studiava le supercazzole sull'ai, in realtà studiava ingegneria nucleare e nella tesi cercava di applicare metodi AI per fare dei "calcoli" (di cui non ho idea). La cosa che mi disse è che, avuto il risultato, con l'ia non c'è modo di sapere il "ragionamento/formula" che c'è dietro. Quindi, aggiungo io, o si sa con altri metodi se i risultati sono giusti, o ci si fida ciecamente. Perciò per le cose importanti è pericolosa, a meno che non si voglia un'altra chernobil.


Il problema che vedo emergere dall'articolo è che l'ia sta iniziando a entrare attraverso singoli lavori, che presi singolarmente magari non sono tanto importanti, ma in questo modo sta iniziando a inquinare la scienza, poco alla volta, subdolamente. Se porterà a degli errori è difficile dirlo, ma sarà ancor più difficile scoprirlo, e nel caso ci vorranno anni o più per farli emergere e altrettanto per depurare la scienza da tali "deviazioni".