ChatGPT meglio degli studenti di medicina nei complessi esami di assistenza clinica
Un nuovo studio evidenzia le capacità dell'intelligenza artificiale nell'analizzare i testi medici e offrire diagnosi, il che potrebbe condurre a un ripensamento delle modalità di insegnamento della medicina
di Rosario Grasso pubblicata il 28 Luglio 2023, alle 16:29 nel canale WebOpenAIChatGPT
ChatGPT, il più noto tra i sistemi di intelligenza artificiale che hanno suggestionato l'opinione pubblica negli ultimi mesi, ha superato gli studenti di medicina del primo e del secondo anno nel rispondere alle impegnative domande dell'esame di assistenza clinica. Lo ha evidenziato un nuovo studio condotto da un gruppo di ricercatori di Stanford, i cui risultati suggeriscono la necessità di un nuovo approccio all'insegnamento dei medici di domani.
Il sistema di intelligenza artificiale era già stato chiamato ad affrontare l'esame di scienza medica degli Stati Uniti (USMLE) strutturato su domande a scelta multipla, obbligatorio per un medico che voglia esercitare la professione. Tuttavia, adesso i ricercatori di Stanford hanno voluto sottoporlo a un test più complesso che prevede domande che richiedono agli studenti abilità di ragionamento clinico, per esempio nell'elaborazione di possibili diagnosi, e risposte complesse e aperte.
Nell'articolo pubblicato su JAMA Internal Medicine, i ricercatori sostengono che il modello ChatGPT ha ottenuto in questo tipo di test una media di oltre quattro punti in più rispetto agli studenti. "Siamo rimasti molto sorpresi da come ChatGPT si sia comportato bene su questo tipo di domande di ragionamento medico a risposta libera superando i punteggi dei partecipanti umani al test", afferma Eric Strong, professore presso la Scuola di Medicina di Stanford e autore dello studio.
"L'insegnamento e la verifica del ragionamento medico possono essere completamente stravolti dai nuovi strumenti di intelligenza artificiale" aggiunge Alicia DiGiammarino, responsabile dell'istruzione del secondo anno di pratica medica presso la Scuola di Medicina. "ChatGPT e altri programmi simili stanno cambiando il modo in cui insegniamo e pratichiamo la medicina".
I ricercatori hanno utilizzato la più recente versione di ChatGPT, denominata GPT-4 e rilasciata nello scorso marzo. I vari casi su cui studenti e intelligenza artificiale sono stati chiamati a esprimersi presentavano descrizioni testuali che vanno da diverse centinaia a mille parole con molti dettagli estranei, come condizioni mediche croniche e farmaci non correlati, esattamente come accade nelle cartelle cliniche dei pazienti nella vita reale. L'IA ha dunque dovuto innanzitutto riconoscere le informazioni superflue, in modo da escluderle per la formulazione della sua analisi.
Analizzare il testo e comporre risposte originali è certamente più difficile che rispondere (in non più di un paragrafo) alle domande a scelta multipla del test USMLE. "Non è estremamente sorprendente che ChatGPT e programmi simili funzionino bene con domande a scelta multipla", afferma Strong. "Basta ricordare delle informazioni per poter rispondere, qualcosa su cui ChatGPT e soci sono fin troppo bravi. Ben più difficile è una domanda a risposta aperta e libera".
I ricercatori hanno modificato leggermente le domande in modo da non sottoporre ChatGPT a casi di interpretazioni errate. Dopo aver modificato le domande di conseguenza, hanno registrato le risposte del chatbot e le hanno trasmesse a valutatori esperti della facoltà. I voti del programma AI sono stati quindi confrontati con quelli degli studenti di medicina del primo e del secondo anno che avevano affrontato gli stessi problemi.
Tra le altre cose, i ricercatori hanno notato un netto miglioramento con la versione GPT-4 rispetto alla 3.5. Mentre la precedente mostrava risultati paragonabili a quelli ottenuti dagli studenti, la nuova versione è molto più accurata. I risultati sono stati talmente lusinghieri da indurre a modificare anche il sistema di insegnamento stesso della medicina. L'assistenza clinica, in particolare, si basa molto sulla raccolta delle informazioni dalle fonti, una pratica in cui l'intelligenza artificiale può essere di grande supporto ai professionisti della medicina.
"Non vogliamo medici che dipendano così tanto dall'intelligenza artificiale a scuola da non riuscire a imparare a ragionare da soli sui casi", afferma DiGiammarino. "Ma ho più paura di un mondo in cui i medici non sono addestrati a utilizzare efficacemente l'intelligenza artificiale".
"Manca ancora molto affinché l'intelligenza artificiale prenda completamente il posto dei medici" aggiunge Strong. "Ma sicuramente a breve dovremo integrarla nella medicina di tutti i giorni".
9 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - infoQuesti risultati "straordinari" servono solo al marketing di Microsoft ed "OpenAI" (ormai ClosedAI) per vendere prodotti basati su ChatGPT.
Io ho provato ad usarla per imparare qualche nuovo concetto di fisica chimica. Risultato pessimo, le sue risposte erano molto spesso contraddittorie e soprattutto continuava a ripetere i medesimi errori. Ho lasciato perdere e sono tornato ai libri e a Wikipedia.
Credo che dipenda molto dalla materia. La medicina é molto nozionistica, la fisica e la matematica invece si basano sulla logica.
Paradossalmente sembra che questa AI sia proprio scarsa nella logica, ed eccelga nello sbobinare nozioni delle quali capisce poco o nulla (come un medico, senza offesa).
Forse i fisici e i matematici perderanno il lavoro dopo i medici.
Però ho notato che su questo bard funziona un po meglio
Ma certo che no. Finché non completa gli studi, si laurea, passa l'esame di stato e si iscrive all'ordine dei medici, non può esercitare la professione.
perchè manca una informazione.
Hai ragione, ho provato a fare la stessa domanda fornendo pian piano più dettagli ma alla fine il suo calcolo è sempre sbagliato.
Devi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".