Blogs & columns
Column

Diagnoses uit de hoge hoed

2 reacties

Big data zijn hip. Analyse van onze gegevens en van ons bewuste en onbewuste gedrag zouden computers in staat ­stellen ons gedrag beter te voorspellen dan wijzelf, om daar een hoop geld mee te verdienen. Zo zou Netflix me kunnen vertellen dat ik weliswaar zoek naar documentaires over Bulgaarse dichters, maar meer plezier beleef aan films met cheerleaders in strakke pakjes.

De ­realiteit is echter dat streamingdiensten me er vooral aan herinneren de series af te kijken waarbij ik na een halve aflevering ben afgehaakt en dat ze me nu al maanden Chip en Pieper opdringen, sinds mijn nichtje een keer Peppa Pig opzette.

De algoritmes achter deze voorspellingen worden angstvallig afgeschermd, als waren het kostbare bedrijfsgeheimen. Wat de geheimzinnigheid waarschijnlijk écht ­verklaart is dat de meeste algoritmes te banaal zijn voor woorden (eindeloos ­reclames voor wafelijzers als u één keer bij een webwinkel een wafelijzer bekijkt), of zelfs onethisch (extra belastingcontrole indien uw achternaam begint met ‘El’ of ‘Al’).

Ook in de geneeskunde laat men computers speuren naar geheime patronen in data. Zo werkte ik eens mee aan een onderzoek waarin lichaamsvloeistoffen werden doorgemeten met nucleaire ­magnetische resonantie (NMR). In de enorme NMR-spectra zocht een computer vervolgens naar algoritmes om de monsters in te delen in vooraf gedefinieerde groepen. In ons geval ging het om liquoren van patiënten en waren de groepen ‘geen meningitis’, ‘virale meningitis’ en ‘bacteriële meningitis’. De computer onderscheidde ze inderdaad heel mooi van elkaar in een driedimensionele plot. Alleen: niemand wist op welke parameters de plots waren gebaseerd. Bovendien was bij een aantal monsters per ongeluk ‘viraal/bacterieel’ blijven staan; die monsters vormden dus geen bestaande entiteit – ze hoorden in een van de drie groepen – maar werden in de 3D-plot keurig tot vierde afzonderlijke groep gemaakt.

Slechte kwaliteit van data kun je niet compenseren met rekenkracht

Moraal van het verhaal: (1) computers kunnen overal wel iets van maken, mits je ze genoeg parameters voert, en (2) slechte kwaliteit van data kun je niet compenseren met rekenkracht.

Predictiemodellen in de geneeskunde zijn doorgaans open van aard. Van een waarde als de PSI-score, die sterfte bij pneumonie voorspelt, weten we precies waar die uit is samengesteld. Je kunt hem zelf uitrekenen, wat geldt voor elke in de praktijk gebruikte score die ik ken. Ondersteuning door ­computers wordt vooral ingezet om extra voor ons op te letten, zoals bij early warning-scores voor sepsis op de Spoed­eisende Hulp. Dit gebrek aan succesvolle implementaties van geautomatiseerde ­predictiemodellen contrasteert met de hoeveelheid publicaties hierover (170.628 hits op PubMed, and counting). Kennelijk vertrouwen de meeste artsen een voorspelling uit een computer pas als ze tot in detail kunnen nagaan waar die op is gebaseerd – en dan kunnen ze ook wel zonder al die ICT.

Dat lijkt me terecht. Van degenen die tóch bereid zijn blind op een computeroordeel te varen en de ICT’ers die dat adviseren, mogen we natuurlijk wel consequent gedrag eisen: selecteert Netflix Chip en Pieper voor je, dan ook uitkijken tot het einde. 

Meer van Miquel Ekkelenkamp
  • Miquel Ekkelenkamp

    Miquel Ekkelenkamp werkt als arts-microbioloog in het UMC Utrecht. Onder de naam Miquel Bulnes schreef hij al verscheidene romans. Ekkelenkamp was al eerder (2011-2012) columnist voor Medisch Contact.  

Op dit artikel reageren inloggen
Reacties
  • J. de Winkel

    Arts-onderzoeker, Rotterdam

    In het Medisch Contact van 15-06-2022 neemt Miquel Ekkelenkamp commerciële algoritmen en medische predictiemodellen met een geestige kwinkslag onder de loep. Hij concludeert: “Kennelijk vertrouwen de meeste artsen een voorspelling uit een computer pa...s als ze tot in detail kunnen nagaan waar die op is gebaseerd – en dan kunnen ze ook wel zonder al die ICT.”.

    In deze bewering is er sprake van een denkfout. Het aantal geïmplementeerde modellen is inderdaad lager dan het aantal ontwikkelde modellen. Het is ook aannemelijk dat een intuïtiever model meer kans maakt om geïmplementeerd te worden. Dit betekent echter niet dat een clinicus altijd even goed is in het maken van complexe multivariabele voorspellingen als een predictiemodel. Het is praktisch onmogelijk om meerdere variabelen die van elkaar afhankelijk zijn simultaan te wegen en op basis daarvan tot een betrouwbare schatting te komen. Hou hierbij ook rekening met het feit dat niet elke variabele een lineair verband heeft met de uitkomst, en dat sommige variabelen elkaars invloed op de uitkomst kunnen beïnvloeden.

    Er zijn nog meer redenen waarom een predictiemodel niet wordt geïmplementeerd in de klinische praktijk. Bijvoorbeeld omdat de variabelen slecht gedefinieerd zijn, omdat het model slecht presteert of een externe validatie hiervan ontbreekt, of doordat, zoals Ekkelenkamp terecht stelt, de voorspellingen op een ondoorzichtige manier tot stand komen. Dit laatste geldt met name voor machine learning modellen. Het over één kam scheren van gecompliceerde “black-box” machine learning modellen en eenvoudige intuïtieve prognostische of diagnostisch modellen is niet correct.

    De suggestie dat medici die gebruikmaken van dit soort modellen “blind varen” doet geen recht aan de expertise die hierin is opgebouwd. Van degene die hierna tóch besluiten geen gebruik te maken van predictiemodellen, moeten we vooral hopen dat zij durven inconsequent te zijn. Beter ten halve gekeerd dan ten hele gedwaald.

  • G.C.M. Kusters

    Klinisch Chemicus/Hoogleraar, 's-Hertogenbosch

    Beste Miquel,
    Google voor de grap eens Hans Bromet en mobiele telefoon. De stelligheid waarmee de mensen die hij in 1998 interviewde, beweerden dat een mobiele telefoon absoluut overbodig was, kwam onmiddellijk in mijn geheugen op, na het lezen van... je column. Uiteraard willen wij altijd graag begrijpen waarop onze conclusies gebaseerd zijn, maar hoe realistisch is die wens en hoe goed kun je bijvoorbeeld als microbioloog "tot in detail nagaan" hoe het algoritme in de Malditoff MS de antibioticum resistentie bepaalt?
    Dat de traditionele algoritmes het maar matig doen t.o.v. de "computer" mag duidelijk zijn als je de years criteria in de beslisregel (=algoritme) voor longembolie bekijkt: criterium 3 = longembolie meest waarschijnlijke diagnose.
    Daarmee wil ik niet beweren dat we de klinische blik, intuïtie, niet-pluis gevoel aan de kant moeten zetten, maar wij werken zowel in de diagnostiek als in de kliniek al dagelijks met algoritmes die met AI ontwikkeld zijn en dat zal alleen maar toenemen. Kwestie van wennen. Het antwoordapparaat en kiesschijf-telefoon hebben we toch ook de deur uitgedaan!

 

Cookies op Medisch Contact

Medisch Contact vraagt u om cookies te accepteren voor optimale werking van de site, kwaliteitsverbetering door geanonimiseerde analyse van het gebruik van de site en het tonen van relevante advertenties, video’s en andere multimediale inhoud. Meer informatie vindt u in onze privacy- en cookieverklaring.