Checklist helpt bij het kiezen van beste voorspelmodel

Het was hoog tijd dat er een hulpmiddel kwam waarmee richtlijnontwikkelaars de kwaliteit en toepasbaarheid van voorspelmodellen konden beoordelen. Nu deze Probast-tool klaar is, tonen vooral makers van medische apps interesse, zegt een van de initiatiefnemers, Carl Moons.

Het lijkt het Wilde Westen wel, de wereld van de predictiemodellen, zegt epidemioloog Carl Moons (UMC Utrecht): ‘Er zijn er naar schatting wel honderdduizend ontwikkeld. Neem modellen waarmee je de kans kunt uitrekenen dat een gezond iemand een cardiovasculaire aandoening krijgt. De meeste artsen kennen de Framingham Heart Score wel, maar er zijn honderden modellen die exact hetzelfde zeggen te doen. Dat is lastig als je er één moet kiezen om in een richtlijn te gebruiken, want hoe bepaal je welke de meest geschikte is?’ Om de kwaliteit van gerandomiseerd geneesmiddelonderzoek te beoordelen is er de Cochrane-risk of bias tool, voor diagnostische tests de Quadas en zo zijn er nog meer voorbeelden. Maar tot nu toe was er geen hulpmiddel beschikbaar waarmee de kwaliteit en toepasbaarheid van voorspelmodellen in kaart werd gebracht. Reden voor een internationaal samenwerkingsverband van experts om de hoofden bij elkaar te steken en de Probast te ontwikkelen, de prediction model risk of bias assessment tool. Moons is een van de initiatiefnemers van Probast.

Met de Probast kunnen professionals die een keuze moeten maken uit meerdere predictiemodellen erachter komen welke de meest geschikte is. Het hulpmiddel is een checklist die na doorlopen ervan duidelijk maakt hoe betrouwbaar de voorspelling is en hoe geschikt die is voor de doelgroep voor wie de voorspelling op moet gaan. De Probast is voor iedereen in te zien, te downloaden, en te gebruiken via probast.org. Voor de leek kan het acht kantjes tellende document er indrukwekkend uitzien, maar, zegt Moons: ‘Methodologische experts zijn tegenwoordig vrijwel altijd bij richtlijnontwikkeling betrokken. En juist voor richtlijnontwikkelaars is deze tool ooit bedacht. Een ervaren methodoloog vult dit in twintig minuten in.’ Dat blijft arbeidsintensief, als je er honderden moet doorploegen, toch? ‘Vaak valt er al heel snel een groot deel af, bijvoorbeeld omdat die modellen nog nooit zijn gevalideerd. Dat zie je al heel snel. Maar dan blijft er doorgaans nog steeds wel een flink stel over. Dat benadrukt alleen maar de noodzaak van zo’n hulpmiddel.’ Na de hele exercitie zullen de vergeleken modellen op verschillende aspecten plusjes en minnen scoren: een lage risk of bias wat betreft de uitkomstmaat, een minnetje bij de toepasbaarheid als het gaat om de onderzoeksdeelnemers, bijvoorbeeld. Moons: ‘Het zal zelden op alle punten goed zijn, dus je zult naderhand nog steeds moeten kijken wat acceptabel is en welk model voor jouw doel het meest geschikt is, welke punten het zwaarst wegen.’

De tool is sinds begin dit jaar te gebruiken, en Moons zegt dat de meeste belangstelling niet zozeer vanuit de richtlijnhoek komt: ‘Ik word het meest benaderd door ontwikkelaars van medische apps die gebruikmaken van voorspelmodellen. Daar zijn er ontzettend veel van op de markt. En de kwaliteit daarvan loopt schrikbarend uiteen, maar dat is voor de gebruiker helemaal niet duidelijk. Want hoe weet je waarop die voorspelling is gebaseerd, en hoe betrouwbaar die is? Vroeger zat er nog een professional tussen de patiënt en het gebruik van een voorspelmodel die de kansen kon interpreteren, maar dat is losgelaten door de opkomst van vrij toegankelijke apps en internetsites.’ Volgens Moons – die over medisch apps onder meer met het ministerie van VWS in gesprek is – is er wel beweging op dit gebied: ‘Er is aandacht voor hoe we de betrouwbaarheid van apps kunnen waarborgen. Probast zou daarbij kunnen helpen.’ Daar zal nog wel wat tijd overheen gaan. ‘Vergeet niet dat de beoordeling van kwaliteit van geneesmiddelenonderzoek wat dat betreft zowat veertig jaar voorsprong heeft, en zelfs daar gebeurt het nog weleens dat er onvoldoende bewijs is voor de werking van een middel dat toch op de markt is gekomen.’

www.probast.org | Ann Intern Med, 2019. doi:10.7326/M18-1377