GPT-4 quasi come un oculista: in un test l'IA ottiene risultati simili agli specialisti

L'IA di OpenAI ha mostrato, in un test, una capacità simile a quella di specialisti oftalmologi, superando anche specializzandi e giovani medici
di Andrea Bai pubblicata il 18 Aprile 2024, alle 18:08 nel canale Scienza e tecnologiaOpenAI
La School of Clinical Medicine dell'Università di Cambridge ha recentemente condotto uno studio sull'uso dei modelli LLM nel campo della medicina, dal quale è emerso come GPT-4 di OpenAI sia stato capace di ottenere risultati quasi comparabili a quelli di specialisti nel campo della valutazione oftalmologica.
Lo studio, condotto a metà dello scorso anno, è stato pubblicato su PLOS Digital Health e mette a confronto tra loro diversi LLM: oltre al già citato GPT-4 c'è anche il diretto predecessore GPT-3.5, assieme a PaLM 2 di Google e LLaMA di Meta. Alle diverse IA sono state sottoposte 87 domande a scelta multipla, e gli stessi quesiti sono stati presentati a cinque oftalmologi esperti, a tre tirocinanti e a due medici junior non specializzati.
Le domande vertevano su vari aspetti dell'oculistica, come lesioni oculari e sensibilità alla luce. I contenuti del test non erano pubblicamente disponibili, e per questo motivo i ricercatori ritengono che gli LLM non fossero stati specificatamente addestrati in precedenza su tali argomenti.
Come dicevamo, GPT-4 è l'LLM che ha ottenuto i migliori risultati tra le IA: con 60 risposte corrette su 87 ha inoltre superato anche i tirocinanti (media di 59,7/87) e i medici junior (37/87). Solo gli oftalmologi hanno superato GPT-4 con un punteggio medio di 66,4 risposte esatte.

PaLM 2 di Google ha segnato un punteggio di 49, GPT-3 ha invece risposto correttamente a 42 domande. Risultato da punizione dietro la lavagna per LLaMa di Meta, con 28 risposte esatte su 87.
I risultati dello studio, più che suggerire la possibilità di utilizzare l'IA come ausilio nella pratica medica (cosa che, presto o tardi, avverrà comunque), evidenziano in realtà come l'evoluzione delle capacità degli LLM proceda a ritmi veramente sostenuti e gli stessi autori evidenziano come l'impostazione del test incoraggi ad approfondire ulteriormente le loro capacità.
Ovviamente la cautela è d'obbligo, specie in un contesto come questo: se da un lato gli LLM possono avere la capacità di cogliere elementi che potrebbero passare inosservati, è anche vero che essi mostrano spesso la tendenza ad inventare informazioni quando non le conoscono o non sono facilmente inferibili, oltre a mancare della capacità "sfumatura" propria dell'essere umano. Quest'ultima è una capacità fondamentale nella pratica medica, che permette di discernere elementi che considerati in maniera asettica potrebbero portare a decisioni del tutto errate.
8 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - infoIl tasso di successo era leggermente superiore a quello di clinici esperti. Utilizzi dopo la fase sperimentale: nessuno, per vari motivi in particolare etici e legali.
Significato di quanto scritto nell'articolo: può funzionare solo su un mercato simile a quello americano (ma non credo neppure lì ), assai peggiorato in questi decenni, in cui il costo economico prevale sulla salute delle persone. Mi aspetterei che aumentino le diagnosi fai da te a casa, molto meno costose per il privato cittadino, con i danni per la salute che ne seguirebbero a causa della mancata cultura degli effetti collaterali. Dove il sistema sanitario funziona (da noi è ancora vero, anche se la privatizzazione voluta dalla destra lo sta distruggendo) nessuna struttura sanitaria seria applicherebbe questo sistema.
Beh tra 10 o 20 anni sara' infinitamente migliroe di quella attuale in tutto, probabilmente fara' tutto e mi chiedo Noi che faremo per avere uno stipendio..
Detto questo, mi sbagliero', ma vedo gente povera o ceto medio per curarsi chiedere all'AI (non perche' meno brava, ma perche' economica), mentre i "ricconi" permettersi un dottore in carne ed ossa (che usa l'AI come assistente che probabilmente sara' piu' brava di Lui)
Quindi sono i professionisti ad essere scarsi, non ChatGpt ad essere bravo.
.
Quindi sono i professionisti ad essere scarsi, non ChatGpt ad essere bravo.
.
in effetti "professionisti" è spesso una dicitura meramente fiscale, ma di professionalità ce n'è molto ma molto poca...
https://cosemoltostrane.com/wp-cont...ita-740x416.jpg
Devi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".