Kun je behandeluitkomsten voorspellen met machinelearning?

Het idee van precisiegeneeskunde is dat je van tevoren nauwkeurig weet welke patiënt op welk type behandeling goed zal reageren. En dat machinelearning zeer goede diensten kan bewijzen bij het bepalen daarvan. Meestal houdt dit in dat zo’n voorspellend AI-model langs de weg van machinelearning is getraind op een dataset waarvan de uitkomst – zoals de respons op een bepaalde behandeling – al bekend is. Probleem is alleen dat deze modellen doorgaans niet worden getest op nieuwe patiënten in een andere context. Want hoe gaat dat methodologisch: de deelnemers aan een onderzoek worden opgesplitst in twee of meer willekeurige subgroepen. Vervolgens bouwen de onderzoekers een voorspellend model waarbij ze gebruikmaken van de gegevens van een van de subgroepen en vervolgens de voorspellingen testen, dus valideren op de andere subgroep.

Een ontnuchterende realitycheck in de vorm van een studie door Adam Chekroud e.a. verschenen in Science, zet grote vraagtekens bij die aanpak. Chekroud e.a. laten daarin overtuigend zien dat machinelearningmodellen weliswaar de respons op antipsychotische medicatie uitstekend kunnen voorspellen bij individuen met schizofrenie binnen een gegeven dataset, maar dat hun voorspellende prestaties dalen tot niet veel beter dan kansniveau wanneer ze worden toegepast op onafhankelijke, nieuwe onderzoeksgegevens. Zelfs als de gegevens uit meerdere klinische onderzoeken werden samengevoegd om het model te trainen, kunnen de voorspellingen ervan nog steeds niet worden gegeneraliseerd naar een nieuwe, onafhankelijke klinische trial.

De oorzaken van dit probleem zijn complex en niet gemakkelijk te ondervangen. Belangrijke factor blijkt de intrinsieke heterogeniteit van de gegevens bij klinische populaties. Dit probleem is vooral prominent in het geval van psychiatrische stoornissen, die doorgaans worden gedefinieerd door een reeks symptomen. Patiënten met hetzelfde diagnostische label kunnen daardoor sterk verschillende symptoomprofielen vertonen die dan ook verschillende behandelingen rechtvaardigen, aldus de onderzoekers. Bovendien kunnen identieke symptomen bij verschillende individuen een verschillende biologische basis hebben en dus verschillende therapeutische strategieën vereisen. Voorspellende modellen louter baseren op diagnostische labels zonder rekening te houden met die heterogeniteit is dus voorlopig niet zo’n goed idee.

Suggestie van commentator Frederike Petzschner in dezelfde editie van Science: breng patiënten onder in nauwkeurige, op basis van symptoomoorzaken gevormde afzonderlijke categorieën en train de modellen met die data. Maar dat betekent weer dat je goed zicht moet hebben op de onderliggende ziektemechanismen, en dat is helaas lang niet altijd het geval.