Onderzoek repliceren verdient meer aandacht | medischcontact

Dagelijks opinie, nieuws en achtergronden

naar overzicht
Wetenschap

Onderzoek repliceren verdient meer aandacht

Dwaalsporen kunnen leiden tot verkeerde behandelingen

1 reactie
Getty Images

De reproduceerbaarheid van studieresultaten verdient meer aandacht, tijd en geld. Verschillende vakgebieden werken aan verbetering, maar andere lijken geen probleem te zien. De Koninklijke Nederlandse Akademie van Wetenschappen (KNAW) bracht deze week een advies uit over replicatiestudies en reproduceerbaarheid.

Wie het KNAW-advies ‘Replication studies – Improving reproducibility in the empirical sciences’ leest, zal niet omvallen van verbazing. Het staat vol met wijsheden over hoe belangrijk het is dat uitkomsten van wetenschappelijk onderzoek betrouwbaar zijn.

Dat onderzoekers moeten kunnen vertrouwen op de resultaten van eerdere studies. Maar ook over dat het nogal eens schort aan de reproduceerbaarheid van resultaten en dat iedereen – van patiënt tot onderzoeker, van financier tot universiteit – er baat bij heeft als dit verbetert. Daar zal niemand het mee oneens kunnen zijn. ‘Dat valt toch erg tegen’, zegt Johan Mackenbach, voorzitter van de commissie die het advies opstelde. ‘De perceptie is vaak dat het probleem van gebrekkige reproduceerbaarheid in het eigen vakgebied kleiner is dan elders. Velen denken dat als er al problemen optreden, dat die zich vanzelf oplossen. Dat onjuiste resultaten aan het licht zullen komen bij verder onderzoek. Die perceptie is echter doorgaans niet gebaseerd op systematisch onderzoek. Het kan lang duren voor fouten aan het licht komen, en intussen heeft men een dwaalspoor bewandeld. Daarmee gaan tijd en middelen verloren. In de geneeskunde kan het ertoe leiden dat mensen een verkeerde behandeling krijgen.’

Shockerende uitkomsten

Aanleiding voor het advies waren de uitkomsten van systematische replicatieonderzoeken in verschillende vakgebieden. Zoals in de psychologie, waar ze – naar aanleiding van beruchte gevallen, zoals de frauderende psycholoog Diederik Stapel – aan het werk zijn gegaan. Mackenbach: ‘De psychologen hebben dat probleem serieus genomen, en hebben grootschalig onderzoek gedaan naar reproduceerbaarheid van belangrijke studies.’ Ook in de geneeskunde zijn de laatste jaren dergelijke studies gedaan. Met niet zelden shockerende uitkomsten. Zo herhaalden onderzoekers van het biotechnologische bedrijf Amgen 53 oncologische ‘landmarkstudies’; die vaak het begin waren van een nieuwe onderzoekslijn, stuk voor stuk in belangrijke vakbladen waren verschenen en soms honderden keren waren geciteerd. In slechts zes gevallen kon de Amgen-groep de bevindingen bevestigen. Maar, zegt Mackenbach, ‘dat wil niet zeggen dat het in deze disciplines erger is dan bijvoorbeeld in de fysica. Daar ziet men vooralsnog niet de noodzaak hier beter naar te kijken, maar ik denk dat ieder vakgebied dergelijk onderzoek moet doen.’

Problemen

Helder rapporteren over methodiek is slechts één van de aanbevelingen die in het KNAW-advies staan. Daarin somt de commissie op waardoor er problemen met reproduceerbaarheid kunnen ontstaan. Dat valt uiteen in drie richtingen: de onderzoeksmethode, de rapportage en prikkels. Wat betreft onderzoeksmethode kunnen bijvoorbeeld een onjuiste opzet van een studie, gebrekkige statistiek maar ook menselijke fouten of zelfs fraude de kans verkleinen dat uitkomsten reproduceerbaar zijn. Bij rapportage gaat het bijvoorbeeld over te beperkt delen van gegevens en details over de methodiek, waardoor anderen de studie niet kunnen herhalen. Maar ook het te weinig rapporteren van negatieve resultaten is een factor. En dan de verkeerde prikkels, die uitgaan van tijdschriften, financiers en instellingen die wetenschappers in dienst hebben: innovatief onderzoek met een hoge impact verdient bij hen de voorkeur.

KNAW-adviseur Johan Mackenbach:

‘De perceptie is vaak dat het probleem in het eigen vakgebied kleiner is dan elders’

Aanbevelingen

Op al die vlakken vallen zaken te verbeteren. Financiers kunnen middelen vrijmaken voor replicatieonderzoek en eisen stellen aan bijvoorbeeld het delen van gegevens en vooraf registreren van onderzoeken die hypotheses toetsen. Tijdschriften kunnen bij die laatste twee initiatieven aansluiten en eisen stellen aan juiste rapportage. Ook kunnen zij ruimte vrijmaken voor replicatieonderzoek. Instellingen zouden van hun onderzoekers mogen verlangen dat zij op dit gebied hun best doen, en daar ook bij beoordelingen belang aan moeten hechten.

Deze aanbevelingen zijn lang niet voor alle vakgebieden nieuw, erkent Mackenbach: ‘Neem het preklinisch proefdieronderzoek: daar zijn flinke problemen aan het licht gekomen bij systematisch replicatieonderzoek. Nog geen kwart van de uitkomsten van 67 projecten kon worden gevalideerd. Daar is men in de afgelopen jaren serieus aan de slag gegaan met onder meer een betere methodiek, bijvoorbeeld door een dubbelblinde opzet te gaan gebruiken. Dat was geen gemeengoed.’

In het advies komt klinisch onderzoek waarbij de effectiviteit van behandelingen onder de loep ligt, er opvallend goed uit. Zo eisen de goede vakbladen tegenwoordig dat onderzoekers hun klinische trials vooraf in openbare databases registreren. Dat maakt selectief publiceren van alleen welgevallige resultaten moeilijker en repliceren makkelijker. Maar zelfs op de kwaliteit van klinische trials, zeker als het gaat om medicijnonderzoek, valt nog veel af te dingen. Is het dan in andere vakgebieden zo erg? Mackenbach moet lachen: ‘Dat is niet een conclusie die de commissie trekt, maar het is een plausibele gedachte.’

Dood in de pot

Het is uitdrukkelijk niet de bedoeling van de KNAW dat elk onderzoek herhaald wordt. Er is geen simpele regel voor welke studies ervoor in aanmerking komen, zegt Mackenbach: ‘Dat blijft een afweging tussen de baten en de kosten, en ook een afweging tussen het nut van replicatieonderzoek versus dat van innovatieve studies. In het algemeen zou hoeksteenonderzoek, studies waar nieuwe onderzoekslijnen uit voortvloeien, gerepliceerd moeten worden. Bijvoorbeeld bij veelbelovende resultaten die het begin van een nieuwe onderzoekslijn inluiden, zoals in de geneeskunde de ontdekking van een nieuw molecuul dat een rol zou spelen in het ontstaan van een ziekte. Soms is achteraf pas duidelijk dat een bepaald onderzoek van belang was. Ook dan kan repliceren nog zinvol zijn. De psychologen hebben bijvoorbeeld hun eigen leerboeken doorgespit om na te gaan wat bij hen de hoeksteenonderzoeken waren. Die hebben ze systematisch aan replicatieonderzoek onderworpen. Dat kan binnen de geneeskunde ook gebeuren. De wetenschappelijke verenigingen zullen daar verder mee aan de slag moeten.’

Het belang van replicatieonderzoek mag duidelijk zijn, maar is het niet de dood in de pot voor creatief onderzoek? ‘De waardering voor innovatief onderzoek zal altijd groter zijn, maar een zekere mate van opwaardering van replicatieonderzoek kan al helpen. Het is echt niet onmogelijk: de belangrijke psychologietijdschriften maken zich hard voor betere reproduceerbaarheid, bijvoorbeeld door ruimte te reserveren voor publicaties waarin eerder in het betreffende blad gepubliceerd onderzoek wordt herhaald. Het prestige van die bladen is alleen maar toegenomen.’

Lees ook:

Wetenschap
  • Sophie Broersen

    Journalist en arts niet-praktiserend Sophie Broersen schrijft over geneeskunde en zorg in de volle breedte: van wetenschap tot werkvloer, van arts-patiëntrelatie tot zorg over de grens. Samen met de juristen van de KNMG becommentarieert zij tuchtzaken.  

Dit artikel delen
Op dit artikel reageren inloggen

Reacties

  • W.J. Duits, bedrijfsarts, Houten 19-01-2018 13:39

    "Het is eigenlijk onthutsend, kennelijk wordt er niet meer voldaan aan de basale criteria voor wetenschappelijk onderzoek. Een ervan is dus reproduceerbaarheid, en deze staat of valt met een goede beschrijving van de onderzoeksmethodiek.
    Als het zo is dat er veel onderzoek is dat niet reproduceerbaar is, wat is daarvan dan nog de waarde?
    Wat heeft dit voor gevolgen voor de "Evidence Based Medicine" en voor de protocollen die op basis van wetenschappelijk onderzoek zijn opgesteld?
    Het zegt ook iets over ons wetenschappers, we zijn kennelijk weinig kritisch geworden door de jaren heen. Kunnen we eigenlijk nog wel door de literatuur heen kijken?
    "

 

Cookies op Medisch Contact

Medisch Contact vraagt u om cookies te accepteren voor optimale werking van de site, kwaliteitsverbetering door geanonimiseerde analyse van het gebruik van de site en het tonen van relevante advertenties, video’s en andere multimediale inhoud. Meer informatie vindt u in onze privacy- en cookieverklaring.