ChatGPT è in difficoltà sulle diagnosi di casi medici pediatrici: il tasso di errore è dell'83%

ChatGPT è in difficoltà sulle diagnosi di casi medici pediatrici: il tasso di errore è dell'83%

Un'IA generica non è ancora capace di effettuare diagnosi con un soddisfacente tasso di precisione, ed ancor peggio si comporta quando si trova a che fare con casi medici pediatrici

di pubblicata il , alle 16:31 nel canale Scienza e tecnologia
 

Uno studio pubblicato su JAMA Pediatrics ad opera dei ricercatori del Cohen Children's Medical Center di New York evidenzia come le capacità elaborative di ChatGPT-4 non siano in grado di stabilire accurate diagnosi pediatriche. Anzi, è vero l'opposto: il tasso di precisione registrato nelle diagnosi di casi medici riguardanti bambini è solamente del 17%.

Il settore medico è stato tra i primi a sperimentare le tecnologie IA come supporto e ausilio alla pratica medica. Sperimentazione che ha portato sia a veri e propri epic fail, in particolare (ma questo è un problema ancor comune a molti modelli IA) con pregiudizi razziali "algoritmici", sia a risultati positivi, come ad esempio l'aiuto nell'interpretazione di lastre toraciche e immagini della retina, con interessanti prospettive di sviluppo nel campo della diagnostica dell'immagine.

Le potenziali capacità dell'IA nella risoluzione di problemi hanno suggerito anche un suo impiego nelle diagnosi di casi complessi, in cui è necessario prendere in considerazione numerosi aspetti, dati e informazioni e riuscire ad individuare correlazioni che potrebbero essere non immediate. I primi tentativi, lo scorso anno, non sono stati particolarmente incoraggianti, con un tasso di precisione del 39%. Ma il nuovo studio evidenzia come spostando l'attenzione sui casi pediatrici il successo sia ancora inferiore.

Questo comportamento si spiega perché, sottolineano i ricercatori, nelle patologie che riguardano i bambini è necessario molta più attenzione all'età del paziente oltre alla difficoltà nel poter individuare chiaramente tutti i sintomi di cui un bambino o un neonato sta avendo esperienza. 

Lo studio è stato condotto sottoponendo l'IA a 100 casi pediatrici pubblicati su JAMA Pediatrics e NEJM tra il 2013 e il 2023 in forma di quiz o sfide: i medici che leggono le pubblicazioni possono formulare la diagnosi corretta sulla base delle informazioni rese note e che sono solitamente le stesse che il medico curante aveva a disposizione al momento della gestione del caso.

La porzione di testo rilevante del caso medico è stata copiata nel prompt d ChatGPT e due ricercatori medici si sono poi occupati di classificare il responso dell'IA e stabilire se la risposta fosse corretta, errata o correlata al caso ma troppo generica per poter essere considerata corretta.

Di 100 casi sottoposti, ChatGPT è riuscita a determinare la diagnosi corretta solamente per 17 di essi. 72 diagnosi sono state del tutto errate, mentre 11 sono risultate troppo generiche. Delle 83 diagnosi non corrette, 47 hanno riguardato lo stesso organo.

I ricercatori sono rimasti un po' sorpresi dal fatto che l'IA ha avuto difficoltà a correlare elementi che un medico con esperienza riuscirebbe facilmente a mettere in relazione tra loro, come ad esempio la connessione tra autismo e scorbuto in un caso medico: i soggetti affetti da autismo possono avere diete non equilibrate con carenze vitaminiche, e lo scorbuto è una condizione patologica che insorge in caso di carenza di vitamina C. Nel caso specifico, ChatGPT ha invece diagnosticato una rara condizione autoimmune.

I ricercatori sottolineano quindi come lo studio metta in evidenza il ruolo inestimabile che l'esperienza clinica ricopre, ma allo stesso tempo identifica anche i punti critici che hanno portato all'alto tasso di errore di ChatGPT e i modi per trasformarlo in uno strumento utile nell'assistenza clinica.

Ad esempio un training più specifico e selezionato su letteratura medica accurata ed affidabile potrebbe consentire di migliorare la precisione nella formulazione delle diagnosi, assieme ad un accesso in tempo reale o quasi ai dati medici per affinare sempre di più la capacità di problem solving specifica nel campo medico.

34 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - info
silvanotrevi04 Gennaio 2024, 16:45 #1
Ah si? Ma che sorpresa

Ma veramente Bard e Chatgpt non sono stati in grado di risolvermi nemmeno un problema di matematica di terza elementare preso dal sussidiario di quando ero piccolo

Dai su siamo seri, questa mania di IA che ci propinate insistentemente ogni giorno è solo un grande enorme business da parte delle poche potenti lobbies che ci stanno dietro. In pratica è tutta fuffa, aria fritta, come aria fritta erano le ossessioni degli ultimi anni sulla realtà virtuale e poi sul metaverso

Soldi, soldi, soldi e lavaggio del cervello alla gente. Voglio vedere quando finirà questa fissa per la IA che ci sta devastando le menti da oltre un anno e una gran rottura di c ( ) ( ) ni
Mo4204 Gennaio 2024, 17:05 #2
Originariamente inviato da: silvanotrevi
Ah si? Ma che sorpresa

Ma veramente Bard e Chatgpt non sono stati in grado di risolvermi nemmeno un problema di matematica di terza elementare preso dal sussidiario di quando ero piccolo

Dai su siamo seri, questa mania di IA che ci propinate insistentemente ogni giorno è solo un grande enorme business da parte delle poche potenti lobbies che ci stanno dietro. In pratica è tutta fuffa, aria fritta, come aria fritta erano le ossessioni degli ultimi anni sulla realtà virtuale e poi sul metaverso

Soldi, soldi, soldi e lavaggio del cervello alla gente. Voglio vedere quando finirà questa fissa per la IA che ci sta devastando le menti da oltre un anno e una gran rottura di c ( ) ( ) ni


Hai fatto benissimo a citare VR e metaverso, perché in risposta a coloro che vedono nell'IA il loro nuovo messia, mi viene proprio in mente questo genere di tecnologia "futuristica" che, ben lungi dallo scomparire completamente, resterà relegata ad una nicchia di ostinati utilizzatori che negano e sempre negheranno (fino al loro eventuale decesso corporeo) le limitazioni, la scarsa qualità, o l'inaffidabilità intrinseca delle suddette soluzioni. Indipendentemente dal quesito, io non metterei mai la mia vita in mano ad un responso generato da una tastiera predittiva glorificata. E dover ricontrollare tutto ogni santa volta... beh, non mi sembra un gran salto di efficienza.

P.S. "Eh, ma sai, è presto, ci vuole tempo, deve affinarsi. Migliorarsi..." Bene, allora chiudete tutto, lavorateci su, e fatevi risentire quando questa tecnologia sarà finalmente pronta (... per il bidone ).
the_joe04 Gennaio 2024, 17:11 #3
Originariamente inviato da: silvanotrevi
Ah si? Ma che sorpresa

Ma veramente Bard e Chatgpt non sono stati in grado di risolvermi nemmeno un problema di matematica di terza elementare preso dal sussidiario di quando ero piccolo

Dai su siamo seri, questa mania di IA che ci propinate insistentemente ogni giorno è solo un grande enorme business da parte delle poche potenti lobbies che ci stanno dietro. In pratica è tutta fuffa, aria fritta, come aria fritta erano le ossessioni degli ultimi anni sulla realtà virtuale e poi sul metaverso

Soldi, soldi, soldi e lavaggio del cervello alla gente. Voglio vedere quando finirà questa fissa per la IA che ci sta devastando le menti da oltre un anno e una gran rottura di c ( ) ( ) ni


Originariamente inviato da: Mo42
Hai fatto benissimo a citare VR e metaverso, perché in risposta a coloro che vedono nell'IA il loro nuovo messia, mi viene proprio in mente questo genere di tecnologia "futuristica" che, ben lungi dallo scomparire completamente, resterà relegata ad una nicchia di ostinati utilizzatori che negano e sempre negheranno (fino al loro eventuale decesso corporeo) le limitazioni, la scarsa qualità, o l'inaffidabilità intrinseca delle suddette soluzioni. Indipendentemente dal quesito, io non metterei mai la mia vita in mano ad un responso generato da una tastiera predittiva glorificata. E dover ricontrollare tutto ogni santa volta... beh, non mi sembra un gran salto di efficienza.

P.S. "Eh, ma sai, è presto, ci vuole tempo, deve affinarsi. Migliorarsi..." Bene, allora chiudete tutto, lavorateci su, e fatevi risentire quando questa tecnologia sarà finalmente pronta (... per il bidone ).


Non sapete quante volte la vostra salute potrebbe essere nelle mani di un algoritmo, ma pontificate, poi domandiamoci perchè nella nostra italietta siamo ai margini dell'occidente.

Nell'elaborazione dei codici genetici dei tumori ormai il software fa il 100% del lavoro, poi il medico o biologo da la conferma e firma il referto, ma se fossimo ancora nelle mani dell'analisi visiva dei tracciati da parte del personale umano, potremmo elaborare una frazione infinitesimale dei dati che vengono elaborati dal software.

E chissà in quanti altri settori il software ha già preso il posto del personale umano, ma naturalmente i Silvano & Co. sono i più meglio perchè "l'intelligenza artificiale è caccapupu"
Mo4204 Gennaio 2024, 18:28 #4
Originariamente inviato da: the_joe
Non sapete quante volte la vostra salute potrebbe essere nelle mani di un algoritmo, ma pontificate, poi domandiamoci perchè nella nostra italietta siamo ai margini dell'occidente.

Nell'elaborazione dei codici genetici dei tumori ormai il software fa il 100% del lavoro, poi il medico o biologo da la conferma e firma il referto, ma se fossimo ancora nelle mani dell'analisi visiva dei tracciati da parte del personale umano, potremmo elaborare una frazione infinitesimale dei dati che vengono elaborati dal software.

E chissà in quanti altri settori il software ha già preso il posto del personale umano, ma naturalmente i Silvano & Co. sono i più meglio perchè "l'intelligenza artificiale è caccapupu"


Innanzitutto si scrive "perché" e non "perchè". Poi, abbassiamo la cresta da gallo cedrone e impariamo a leggere bene i commenti ed i relativi argomenti di partenza. Qui nessuno mette in dubbio l'utilità dell'analisi computerizzata in ambito sanitario, tanto meno ne s'ignora la sua presenza pluridecennale all'interno della sanità mondiale. Quello che qui si contesta è l'affidabilità/abilità di ChatGPT. Punto. È un indice di altissima incompetenza accomunare terminologie generiche come "software" e "algoritmo" a ciò che un machine learning ricorsivo ad alto apprendimento basato su architettura neurale come ChatGPT rappresenta. Forse (e sottolineo forse) quell'Italietta dobbiamo iniziare ad epurarla guardandoci allo specchio prima di postare certe fesserie qualunquiste da "tech bro".

Ci tengo a precisare che l'uso continuato del riflessivo nel mio presente messaggio è destinato solo ad indicare un'empatia grammaticale, e non un'implicita inclusione della mia persona al discorso enunciato.
the_joe04 Gennaio 2024, 18:51 #5
Originariamente inviato da: Mo42
Innanzitutto si scrive "perché" e non "perchè". Poi, abbassiamo la cresta da gallo cedrone e impariamo a leggere bene i commenti ed i relativi argomenti di partenza. Qui nessuno mette in dubbio l'utilità dell'analisi computerizzata in ambito sanitario, tanto meno ne s'ignora la sua presenza pluridecennale all'interno della sanità mondiale. Quello che qui si contesta è l'affidabilità/abilità di ChatGPT. Punto. È un indice di altissima incompetenza accomunare terminologie generiche come "software" e "algoritmo" a ciò che un machine learning ricorsivo ad alto apprendimento basato su architettura neurale come ChatGPT rappresenta. Forse (e sottolineo forse) quell'Italietta dobbiamo iniziare ad epurarla guardandoci allo specchio prima di postare certe fesserie qualunquiste da "tech bro".

Ci tengo a precisare che l'uso continuato del riflessivo nel mio presente messaggio è destinato solo ad indicare un'empatia grammaticale, e non un'implicita inclusione della mia persona al discorso enunciato.


Perfetto, torniamo qua fra qualche anno per vedere se la IA sarà stato un bluff o meno e grazie per le correzioni.
alfredaino04 Gennaio 2024, 19:22 #6
Originariamente inviato da: Mo42
Innanzitutto si scrive "perché" e non "perchè". Poi, abbassiamo la cresta da gallo cedrone e impariamo a leggere bene i commenti ed i relativi argomenti di partenza. Qui nessuno mette in dubbio l'utilità dell'analisi computerizzata in ambito sanitario, tanto meno ne s'ignora la sua presenza pluridecennale all'interno della sanità mondiale. Quello che qui si contesta è l'affidabilità/abilità di ChatGPT. Punto. È un indice di altissima incompetenza accomunare terminologie generiche come "software" e "algoritmo" a ciò che un machine learning ricorsivo ad alto apprendimento basato su architettura neurale come ChatGPT rappresenta. Forse (e sottolineo forse) quell'Italietta dobbiamo iniziare ad epurarla guardandoci allo specchio prima di postare certe fesserie qualunquiste da "tech bro".


Piedone111304 Gennaio 2024, 19:44 #7
Originariamente inviato da: Mo42
Hai fatto benissimo a citare VR e metaverso, perché in risposta a coloro che vedono nell'IA il loro nuovo messia, mi viene proprio in mente questo genere di tecnologia "futuristica" che, ben lungi dallo scomparire completamente, resterà relegata ad una nicchia di ostinati utilizzatori che negano e sempre negheranno (fino al loro eventuale decesso corporeo) le limitazioni, la scarsa qualità, o l'inaffidabilità intrinseca delle suddette soluzioni. Indipendentemente dal quesito, io non metterei mai la mia vita in mano ad un responso generato da una tastiera predittiva glorificata. E dover ricontrollare tutto ogni santa volta... beh, non mi sembra un gran salto di efficienza.

P.S. "Eh, ma sai, è presto, ci vuole tempo, deve affinarsi. Migliorarsi..." Bene, allora chiudete tutto, lavorateci su, e fatevi risentire quando questa tecnologia sarà finalmente pronta (... per il bidone ).


Invece l'IA è il futuro della medicina:
Se un essere umano ( anche il miglior medico del mondo) si trova a diagnosticare qualcosa di impreciso, l'IA ( a fronte di un database immenso e quindi con esperienza sempre crescente) potrebbe suggerire tranquillamente ulteriori esami, o analizzare sintomi lievi, in modo da poter migliorare la precisione dello stesso.
L'IA deve essere intesa come coadiuvante dello specialista e non certo come suo sostituto, un po come la guida autonoma che considero pericolosa se usata in modo superficiale, mentre se coadiuvante potrebbe ridurre di molto gli incidentti sia lievi che gravi.
Notturnia04 Gennaio 2024, 19:57 #8
ma non erano migliori dei dottori qualche mese fa ?

in medicina, come hanno sempre asserito i medici veri, si va per tentativi perchè non ci sono esami per qualsiasi malattia.. le AI vanno a tentoni a quanto leggo qua..

ma vedo che ci sono comunque persone che ritengono siano migliori.. io resto dell'idea che servano da affiancamento ma che sia indispensabile l'esperienza dell'uomo
cresg8204 Gennaio 2024, 20:04 #9
Originariamente inviato da: Piedone1113
Invece l'IA è il futuro della medicina:
Se un essere umano ( anche il miglior medico del mondo) si trova a diagnosticare qualcosa di impreciso, l'IA ( a fronte di un database immenso e quindi con esperienza sempre crescente) potrebbe suggerire tranquillamente ulteriori esami, o analizzare sintomi lievi, in modo da poter migliorare la precisione dello stesso.
L'IA deve essere intesa come coadiuvante dello specialista e non certo come suo sostituto, un po come la guida autonoma che considero pericolosa se usata in modo superficiale, mentre se coadiuvante potrebbe ridurre di molto gli incidentti sia lievi che gravi.


Condivido ma userei il termine "informatica e algoritmi" invece di "AI" che è talmente inflazionato come termine da non avere più un significato.
WarSide04 Gennaio 2024, 20:25 #10
Solo un ignorante userebbe ChartGPT per fare diagnosi.

ChatGPT usa un LLM (large language model). In pratica costruisce frasi e paragrafi basandosi su quale parola è più probabile che vada dopo quelle che scrivete voi. Si, è così tanto stupido, solo che un modello del genere allenato con MILIARDI di parole può dare risultati soprendenti in alcuni ambiti e da barzelletta in tanti altri.
Inoltre un LLM è ottimo per trovare correlazioni tra argomenti / tesi, ma non è creativo per nulla. Un LLM non può creare concetti nuovi ed evolvere, quindi AI staceppa...

Devi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".

La discussione è consultabile anche qui, sul forum.
 
^