GPT-4 quasi come un oculista: in un test l'IA ottiene risultati simili agli specialisti

GPT-4 quasi come un oculista: in un test l'IA ottiene risultati simili agli specialisti

L'IA di OpenAI ha mostrato, in un test, una capacità simile a quella di specialisti oftalmologi, superando anche specializzandi e giovani medici

di pubblicata il , alle 18:08 nel canale Scienza e tecnologia
OpenAI
 

La School of Clinical Medicine dell'Università di Cambridge ha recentemente condotto uno studio sull'uso dei modelli LLM nel campo della medicina, dal quale è emerso come GPT-4 di OpenAI sia stato capace di ottenere risultati quasi comparabili a quelli di specialisti nel campo della valutazione oftalmologica.

Lo studio, condotto a metà dello scorso anno, è stato pubblicato su PLOS Digital Health e mette a confronto tra loro diversi LLM: oltre al già citato GPT-4 c'è anche il diretto predecessore GPT-3.5, assieme a PaLM 2 di Google e LLaMA di Meta. Alle diverse IA sono state sottoposte 87 domande a scelta multipla, e gli stessi quesiti sono stati presentati a cinque oftalmologi esperti, a tre tirocinanti e a due medici junior non specializzati.

Le domande vertevano su vari aspetti dell'oculistica, come lesioni oculari e sensibilità alla luce. I contenuti del test non erano pubblicamente disponibili, e per questo motivo i ricercatori ritengono che gli LLM non fossero stati specificatamente addestrati in precedenza su tali argomenti.

Come dicevamo, GPT-4 è l'LLM che ha ottenuto i migliori risultati tra le IA: con 60 risposte corrette su 87 ha inoltre superato anche i tirocinanti (media di 59,7/87) e i medici junior (37/87). Solo gli oftalmologi hanno superato GPT-4 con un punteggio medio di 66,4 risposte esatte.

PaLM 2 di Google ha segnato un punteggio di 49, GPT-3 ha invece risposto correttamente a 42 domande. Risultato da punizione dietro la lavagna per LLaMa di Meta, con 28 risposte esatte su 87.

I risultati dello studio, più che suggerire la possibilità di utilizzare l'IA come ausilio nella pratica medica (cosa che, presto o tardi, avverrà comunque), evidenziano in realtà come l'evoluzione delle capacità degli LLM proceda a ritmi veramente sostenuti e gli stessi autori evidenziano come l'impostazione del test incoraggi ad approfondire ulteriormente le loro capacità.

Ovviamente la cautela è d'obbligo, specie in un contesto come questo: se da un lato gli LLM possono avere la capacità di cogliere elementi che potrebbero passare inosservati, è anche vero che essi mostrano spesso la tendenza ad inventare informazioni quando non le conoscono o non sono facilmente inferibili, oltre a mancare della capacità "sfumatura" propria dell'essere umano. Quest'ultima è una capacità fondamentale nella pratica medica, che permette di discernere elementi che considerati in maniera asettica potrebbero portare a decisioni del tutto errate.

8 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - info
silvanotrevi18 Aprile 2024, 19:46 #1
perfetto. Licenziamo anche gli oculisti, tanto non servono. C'è l'IA
AlPaBo18 Aprile 2024, 20:25 #2
All'inizio degli anni '70 (ovvero cinquant'anni fa) fu sviluppato il sistema esperto MYCIN, in grado di diagnosticare alcuni tipi di infezioni batteriche che richiedevano diagnosi rapide.

Il tasso di successo era leggermente superiore a quello di clinici esperti. Utilizzi dopo la fase sperimentale: nessuno, per vari motivi in particolare etici e legali.

Significato di quanto scritto nell'articolo: può funzionare solo su un mercato simile a quello americano (ma non credo neppure lì ), assai peggiorato in questi decenni, in cui il costo economico prevale sulla salute delle persone. Mi aspetterei che aumentino le diagnosi fai da te a casa, molto meno costose per il privato cittadino, con i danni per la salute che ne seguirebbero a causa della mancata cultura degli effetti collaterali. Dove il sistema sanitario funziona (da noi è ancora vero, anche se la privatizzazione voluta dalla destra lo sta distruggendo) nessuna struttura sanitaria seria applicherebbe questo sistema.
zappy18 Aprile 2024, 21:08 #3
Qualcuno ha già detto che a furia di usare l'IA si diventa ciechi?
UtenteHD19 Aprile 2024, 08:54 #4
Originariamente inviato da: silvanotrevi
perfetto. Licenziamo anche gli oculisti, tanto non servono. C'è l'IA


Beh tra 10 o 20 anni sara' infinitamente migliroe di quella attuale in tutto, probabilmente fara' tutto e mi chiedo Noi che faremo per avere uno stipendio..
Detto questo, mi sbagliero', ma vedo gente povera o ceto medio per curarsi chiedere all'AI (non perche' meno brava, ma perche' economica), mentre i "ricconi" permettersi un dottore in carne ed ossa (che usa l'AI come assistente che probabilmente sara' piu' brava di Lui)
danylo19 Aprile 2024, 12:09 #5
Per vederla da un'altro punto di vista, i professionisti umani hanno risposto correttamente SOLO a 66 domande su 87, poco piu' di ChatGPT.
Quindi sono i professionisti ad essere scarsi, non ChatGpt ad essere bravo.


.
filippo198019 Aprile 2024, 15:27 #6
Sarò cattivo ma spero che il test sia stato ripetuto in diverse sessioni delle AI perché il dubbio che abbiano sparato a caso, visto che le informazioni richieste NON erano disponibili al pubblico, non è poi così assurdo IMHO
zappy19 Aprile 2024, 18:31 #7
Originariamente inviato da: danylo
Per vederla da un'altro punto di vista, i professionisti umani hanno risposto correttamente SOLO a 66 domande su 87, poco piu' di ChatGPT.
Quindi sono i professionisti ad essere scarsi, non ChatGpt ad essere bravo.
.


in effetti "professionisti" è spesso una dicitura meramente fiscale, ma di professionalità ce n'è molto ma molto poca...
Unax19 Aprile 2024, 18:43 #8
però bisogna fare attenzione a non chiedere alla IA quante dita sono queste

https://cosemoltostrane.com/wp-cont...ita-740x416.jpg

Devi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".

La discussione è consultabile anche qui, sul forum.
 
^