Strålebehandling eller kemoterapi? IBM's kunstige intelligens Watson er inviteret indenfor på kræftafdelinger over hele verden for at give sit bud på en behandling. Men Watson svar får ikke alle læger til at juble.

På Rigshospitalet har centerdirektør Leif Panduro Jensen oplevet AI-doktoren foreslå præparater, som risikerer at slå patienten ihjel, skriver Ingeniøren.

"Vi har for eksempel oplevet Watson foreslå en behandling med stoffer, som patienten aldrig mere måtte få i sit liv, fordi det var livsfarligt," lyder det.

På Finsenscentret på Rigshospitalet har en gruppe læger for nylig kørt forsøg med Watson, hvor computeren skulle foreslå behandlinger på tre kræftområder: bryst-, lunge- og tyktarmskræft. Lægerne testede Watsons svar på 31 patienter, der allerede havde været i behandling, og i to tredjedel af tilfældene var Watson og lægerne nogenlunde enige om valget af behandling.

Men i en tredjedel af tilfældene var Watsons forslag "helt i skoven", som Leif Panduro Jensen udtrykker det. I et tilfælde foreslog Watson trestof-kemoterapikuren Folfox til en patient, der allerede havde fået 11 serier Folfox og viste bedring, men havde skader på nervebanerne.

Finsenscentret samarbejder nu ikke længere med IBM på det område, men de danske læger har dog ikke opgivet Watson og samarbejder med IBM på andre områder. Region H har også indgået en femårig rammeaftale med IBM om fortsat at udforske Watson-teknologien.

"Egentlig er jeg helt overbevist om, at Watson eller andre AI-systemer er fremtiden på området, men vi er slet ikke der, hvor den kan hjælpe os med at vælge behandling på et meget højt specialistniveau. Slet ikke," siger Leif Panduro Jensen til Ingeniøren.

I evalueringsrapporten "Kunstig intelligens og innovation i sundhedsvæsnet" udarbejdet af IBM og Region H, kan man også læse lignende klare konklusioner: "Watson for Oncology er endnu ikke fuldt udviklet og fejl kan opstå", og "Watson for Oncology er ikke trænet til at håndtere komplekse behandlingsforløb f.eks over en længer årrække."

Watson bliver pisket af kritikere

Samme melding kom for nylig fra et hav af læger verden over på det anerkendte amerikanske sundhedssite Stat, der ejes af avisen Boston Globe.

I en usædvanligt grundig artikel har journalisterne blandt andet interviewet læger på en stor del af de 50 hospitaler i 13 lande, der i dag bruger Watsons kræftprogram, Watson Oncology, i dagligdagen. Og der tegner sig et meget klart mønster af en umoden teknologi.

"Watson Oncology er på børnestadiet, og vi må vente og aktivt engagere os i håb om at hjælpe den med at vokse," siger en sydkoreansk kræftspecialist ved navn Taewoo Kang til Stat.

Kritikken er nådesløs, hvis man sammenfatter pointerne i Stat. Watson Oncology skaber ingen ny viden, den har svært ved at læse og forstå journaler, den er ikke underlagt offentlig regulering eller kvalitetskontrol, den er ikke underlagt en kritisk vurdering af dens kvalitet (peer-review), dens resultater er uigennemsigtige, og den er ikke godt nok opdateret med den seneste viden på området.

"Watsons styrke er at søge i dokumenter og hjælpe med at finde baggrundsinformation til lægerne. Til det fungerer den rigtig godt. Men så snart den skal i gang med at kigge i patientjournaler og give forslag, så går det mindre godt," siger Lars Kai Hansen fra DTU Compute, der har arbejdet med kunstig intelligens på medicin-området i 30 år.

Watson er for amerikansk

DTU-forskeren peger på et problem, som også et utal af ikke-amerikanske læger peger på, nemlig at Watson er alt for præget af en amerikansk tilgang til kræftbehandling. En almindelig fejlslutning blandt læger er nemlig, at Watson Oncology trækker på erfaringer fra hele verden, når den kommer med forslag til behandlinger.

Men her er det nødvendigt at forstå følgende: Watsons erfaringer med patienter stammer alene fra kræftcentret Memorial Sloan Kettering i New York. Det er her, Watson bliver trænet i sessioner, hvor de dygtigste læger fra hospitalet samles med IBM's folk og propper data ind i Watson ved at fortælle, hvordan de ville behandle patient x i et x-scenarie. Den erfaring kobler Watson med sin evne til at læse gennem forskningsartikler, og igen er det kræftspecialisterne på Memorial Sloan Kettering, der udvælger, hvilke artikler Watson skal læse, og hvilke computeren skal lægge mest vægt på. Da Watson Oncology blev testet på Rigshospitalet var den i et sent prototypestadie og var baseret på mere end 17.000 onkologitimer, fremgår det af en evalueringsrapport fra Region H.

"Vi tror, at den høje grad af amerikansk dominans i Watson er årsagen til, at vi oplever så store fejlmargen i arbejdet med den," siger Leif Panduro Jensen.

USA og Europa har nemlig ikke altid samme tilgang til anbefalinger og god praksis. Og Watson har også kun adgang til amerikanske data og ikke til de europæiske retningslinjer på området. Og det er en skam, mener den danske centerdirektør.

"Vi har foreslået IBM at give Watson løbende adgang til de nyeste europæiske retningslinjer og teste systemet igen på vores patienter. Men det passede ikke ind i deres udviklingsplaner på det tidspunkt," siger han.

Læger vil vide det, som de ikke ved

Til gengæld ser Watson ud til at klare sig markant bedre i kræftafdelinger, der har større ligheder med de amerikanske. I Indien og Sydøstasien er der glæde over, at Watson spare tid og øger kvaliteten af behandlingen. I nogle lande er der 96 procent overensstemmelse mellem Watsons valg af behandling og lægernes valg. Men. Det viser jo alene, at Watson kan tilbyde det samme som lægerne, lyder kritikken.

"Vi har jo ikke brug for at vide, at det vi allerede ved, er rigtigt. Værdien ligger i, hvis Watson kan foreslå os behandlinger, når vi har prøvet alt, og patienten stadig har det så godt, at det ikke giver mening at give op," siger Leif Panduro Jensen.

Men ifølge centerdirektøren er der meget lang vej til det scenarie.

"Det kræver et langt juridisk og teknologisk skridt, hvor Watson også kan få udstrakt adgang til internationale databaser," siger han.

... men hvorfor kom du til det svar, Watson?

Endelig er der en udfordring i gennemsigtighed. Watson er god til at give læger og forskere indsigt i, hvordan den er kommet frem til konklusioner baseret på forskningsartikler. Her kan eksperterne gå direkte ind og læse baggrundsartiklerne bag Watsons beslutning. Noget, der i øvrigt kan vise sig at give Watson en rolle i undervisningssammenhæng, peger flere læger på.

Det er også fremragende i forskningsøjemed, hvis Watson bliver bedt om at finde oplagte kandidater til medicinske forsøg. Men når det gælder Watsons forslag til behandlinger baseret på data om patienter, så er det lukket land.

I artiklen i Stat fortæller en sydkoreansk kræftkirurg, Taewoo Kang, for eksempel, hvordan Watson anbefaler en kemokur ved navn taxan til en bestemt patient. Lægen undrer sig over Watsons valg, da taxan normalt kun gives til patienter med lymfeknudekræft, og patienten har ikke kræft, der har spredt sig til lymfeknuderne. Om Watson har ret, er ikke pointen. Problemet er, at Taewoo Kang ikke kan få svar på, hvorfor Watson tager det valg.

Samme udfordring har Lars Kai Hansen i sit arbejde med Watson:

"Vi mangler stadig at komme helt ned under kølerhjelmen og forstå, hvordan Watson arbejder. Hvis man skal anvende det ordentligt i sundhedssektoren, så skal man kende systemet bit for bit. Det har IBM ikke givet mulighed for endnu," siger han.

Brug Watson andre steder

Betyder det så, at Watson er helt uduelig og slet ikke kan bruges til noget? Nej, lyder det klare svar fra både Leif Panduro Jensen og Lars Kai Hansen. Ifølge begge er Watson endnu under udvikling, og der er en række andre anvendelsesmuligheder, som er mest oplagte i første omgang.

Centerdirektøren peger blandt andet på brug af Watson til at gennemgå røntgenbilleder eller scanninger efter brystkræft, og den anbefaling var også at finde i en rapport til Region Hovedstanden i marts.

Rapporten fremhæver flere punkter, som Watson-teknologien er oplagt til. For eksempel:

"Watson for Oncology vil kunne bruges som second opinion, hvis onkologen var i tvivl om bedste behandling eller ønskede at udfordre egen vurdering," står der.

DENNE ARTIKEL OG BILLEDMATERIALE ER VIDEREFORMIDLET AF RITZAUS BUREAU PÅ VEGNE AF Ingeniøren

IBM-direktør: Vores fremtid er den kunstige intelligens  

Professor: Der mangler regulering af den kunstige intelligens 

Kunstig intelligens hædres som fremtiden, men kun få er med på vognen 

Kunstig intelligens skal forhindre kursmanipulation