Watson for Oncology, in passato casi di suggerimenti terapeutici sbagliati

[Redazione di Hardware Upg]

Link alla notizia: https://pro.hwupgrade.it/news/scienz...ati_77285.html

Documenti interni di IBM svelano insoddisfazioni di medici per via di suggerimenti sbagliati e rischiosi. Ma si evidenza anche un problema di metodo nella fase di allenamento dell'intelligenza artificiale

Click sul link per visualizzare la notizia.

[giovanni69]

Sì, vabbè! ci hanno messo 6 anni a rendersi conto che c'è stato un problema di metodo?

E dove era lo scienziato supervisore durante inserimento dei dati teorici invece che casi reali? Nessun controllo fino al 2017 sulle modalità di lavoro dei dottori e pure degli IBM engineers che davano in pasto a Watson "small number of “synthetic” cancer cases, or hypothetical patients, rather than real patient data"?
Quel Norden sembra abbia voluto parare il ad IBM, scaricando la responsabilità sui medici/ingegneri incapaci mentre lui era Deputy Health Chief di IBM.

Dall'altra parte il portavoce dell'ospedale Hool, fa il P.R. per evitare di sputtanare i dottori e soprattutto evitare azioni legali da parte di pazienti potenzialmente danneggiati precisando ( [...] che i suggerimenti errati sono solamente degli esempi e non sono stati chiaramente utilizzati nelle terapie effettive. ).

Garbage-In, Garbage-Out si diceva un tempo...

Nessuno andrà a verificare realmente se quelle decisioni sono state applicate a qualche paziente pari-pari, soltanto perchè Hool rassicura dicendo che "Watson for Oncology offre opzioni di trattamento sicure, ma le decisioni richiedono in ultima istanza l'intervento e il giudizio clinico di un medico. Nessuna tecnologia può sostituire un dottore e la sua conoscenza del singolo paziente" ?

Quindi la frase parte dalla premessa che 'Watson for Oncology offre opzioni di trattamento sicure...'? -- non stiamo qui a parlare di queste cose perchè appunto i documenti interni di IBM dimostrano tutt'altro ovvero suggerimenti sbagliati e rischiosi?
e poi il PR salva la figura del medico, la sua professionalità ed indipendenza decisionale.

Tornando alla domanda iniziale: e se invece fosse stato il metodo a prevedere appositamente l'inserimento di dati sintetici all'inizio come pre-training (un po' come i dottori imparano sui libri prima di tagliare con il bisturi)? E solo adesso si è arrivati alla fase di training con dati reali? Ma nel frattempo serviva piazzare le licenze Watson in giro per il mondo, con i dottori a fare da beta tester... ed a giocare a fare i dottori AI con la salute dei pazienti.

C'è sempre il business sotto, del resto. The show must go on! E dare la colpa ad un errore di metodo è un buon modo per far finire tutto a tarallucci e vino anche se si tratta di salute.

[Gundam.75]

e poi dicono male a chi consulta wikipedia per curarsi....

[cignox1]

Alla fine l'unico dato importante é la percentuale di pazienti curati con successo: é piú alta per chi é stato curato con l'ausilio di Watson? Si/No.

[giovanni69]

Non è così semplice: ci sono anche i falsi positivi e falsi negativi. Anche in una serie casuale ci sono degli apparenti trend (testa-testa-testa-testa-testa) così come possono uscire con X probabilità anche 8 testa/croce consecutive.
E lì non è una questione di metodo corretto o sbagliato come quando si va ad istruire una AI.
Quindi per ottenere delle risposte che sia affidabili non si può prescindere dal metodo in quanto altrimenti è come usare una moneta truccata o sbilanciata. Ed a quel punto non potrai attribuire più al caso i risultati siano essi a favore che contrari (insomma la serie non risponde più ad un fenomeno stazionario), figuriamoci nei meandri del training AI.

[TheDarkAngel]

Originariamente inviato da giovanni69

Non è così semplice: ci sono anche i falsi positivi e falsi negativi. Anche in una serie casuale ci sono degli apparenti trend (testa-testa-testa-testa-testa) così come possono uscire con X probabilità anche 8 testa/croce consecutive.
E lì non è una questione di metodo corretto o sbagliato come quando si va ad istruire una AI.
Quindi per ottenere delle risposte che sia affidabili non si può prescindere dal metodo in quanto altrimenti è come usare una moneta truccata o sbilanciata. Ed a quel punto non potrai attribuire più al caso i risultati siano essi a favore che contrari (insomma la serie non risponde più ad un fenomeno stazionario), figuriamoci nei meandri del training AI.

Concordo, è un problema di consistenza

[willyx78]

Originariamente inviato da TheDarkAngel

Concordo, è un problema di consistenza

Coerenza!
Purtroppo tutti i libri italiani traducono consistent con consistenza e quindi milioni di studenti che sanno che tra le varie cose un software deve essere... Consistente!
In realtà la traduzione corretta e coerente, un software deve essere coerente

[tracomanno]

Qualunque esame o algoritmo non è mai sostitutivo del giudizio medico (è così per buon senso oltre che da un punto di vista medico-legale). Per cui dubito che i medici in questione si siano fidati ciecamente delle elaborazioni di Watson. Se così fosse, il problema sarebbe l'imprudenza dei medici stessi, certamente non di Watson. Niente in medicina ha sensibilità e specificità del 100% e questo lo sa anche il più scarso studente di medicina.
I medici lavorano di statistiche arricchite dalla propria esperienza quotidiana.. non si fermano certo alle affermazioni (di puro marketing), della IBM circa la sua IA mirabolante.
Se la IBM ha deciso di far allenare la propria IA dai medici in modo non consono, questo è un problema della sola IBM nel riuscire a creare un software valido, ma questo dubito abbia avuto alcuna implicazione per i pazienti.

[Zenida]

Originariamente inviato da willyx78

Coerenza!
Purtroppo tutti i libri italiani traducono consistent con consistenza e quindi milioni di studenti che sanno che tra le varie cose un software deve essere... Consistente!
In realtà la traduzione corretta e coerente, un software deve essere coerente

Il traduttore ha ritornato la parola sbagliata