Onderzoek repliceren verdient meer aandacht

Wie het KNAW-advies ‘Replication studies – Improving reproducibility in the empirical sciences’ leest, zal niet omvallen van verbazing. Het staat vol met wijsheden over hoe belangrijk het is dat uitkomsten van wetenschappelijk onderzoek betrouwbaar zijn. Dat onderzoekers moeten kunnen vertrouwen op de resultaten van eerdere studies. Maar ook over dat het nogal eens schort aan de reproduceerbaarheid van resultaten en dat iedereen – van patiënt tot onderzoeker, van financier tot universiteit – er baat bij heeft als dit verbetert. Daar zal niemand het mee oneens kunnen zijn. ‘Dat valt toch erg tegen’, zegt Johan Mackenbach, voorzitter van de commissie die het advies opstelde. ‘De perceptie is vaak dat het probleem van gebrekkige reproduceerbaarheid in het eigen vakgebied kleiner is dan elders. Velen denken dat als er al problemen optreden, dat die zich vanzelf oplossen. Dat onjuiste resultaten aan het licht zullen komen bij verder onderzoek. Die perceptie is echter doorgaans niet gebaseerd op systematisch onderzoek. Het kan lang duren voor fouten aan het licht komen, en intussen heeft men een dwaalspoor bewandeld. Daarmee gaan tijd en middelen verloren. In de geneeskunde kan het ertoe leiden dat mensen een verkeerde behandeling krijgen.’

Shockerende uitkomsten

Aanleiding voor het advies waren de uitkomsten van systematische replicatieonderzoeken in verschillende vakgebieden. Zoals in de psychologie, waar ze – naar aanleiding van beruchte gevallen, zoals de frauderende psycholoog Diederik Stapel – aan het werk zijn gegaan. Mackenbach: ‘De psychologen hebben dat probleem serieus genomen, en hebben grootschalig onderzoek gedaan naar reproduceerbaarheid van belangrijke studies.’ Ook in de geneeskunde zijn de laatste jaren dergelijke studies gedaan. Met niet zelden shockerende uitkomsten. Zo herhaalden onderzoekers van het biotechnologische bedrijf Amgen 53 oncologische ‘landmarkstudies’; die vaak het begin waren van een nieuwe onderzoekslijn, stuk voor stuk in belangrijke vakbladen waren verschenen en soms honderden keren waren geciteerd. In slechts zes gevallen kon de Amgen-groep de bevindingen bevestigen. Maar, zegt Mackenbach, ‘dat wil niet zeggen dat het in deze disciplines erger is dan bijvoorbeeld in de fysica. Daar ziet men vooralsnog niet de noodzaak hier beter naar te kijken, maar ik denk dat ieder vakgebied dergelijk onderzoek moet doen.’

Problemen

Helder rapporteren over methodiek is slechts één van de aanbevelingen die in het KNAW-advies staan. Daarin somt de commissie op waardoor er problemen met reproduceerbaarheid kunnen ontstaan. Dat valt uiteen in drie richtingen: de onderzoeksmethode, de rapportage en prikkels. Wat betreft onderzoeksmethode kunnen bijvoorbeeld een onjuiste opzet van een studie, gebrekkige statistiek maar ook menselijke fouten of zelfs fraude de kans verkleinen dat uitkomsten reproduceerbaar zijn. Bij rapportage gaat het bijvoorbeeld over te beperkt delen van gegevens en details over de methodiek, waardoor anderen de studie niet kunnen herhalen. Maar ook het te weinig rapporteren van negatieve resultaten is een factor. En dan de verkeerde prikkels, die uitgaan van tijdschriften, financiers en instellingen die wetenschappers in dienst hebben: innovatief onderzoek met een hoge impact verdient bij hen de voorkeur.

Aanbevelingen

Op al die vlakken vallen zaken te verbeteren. Financiers kunnen middelen vrijmaken voor replicatieonderzoek en eisen stellen aan bijvoorbeeld het delen van gegevens en vooraf registreren van onderzoeken die hypotheses toetsen. Tijdschriften kunnen bij die laatste twee initiatieven aansluiten en eisen stellen aan juiste rapportage. Ook kunnen zij ruimte vrijmaken voor replicatieonderzoek. Instellingen zouden van hun onderzoekers mogen verlangen dat zij op dit gebied hun best doen, en daar ook bij beoordelingen belang aan moeten hechten.

Deze aanbevelingen zijn lang niet voor alle vakgebieden nieuw, erkent Mackenbach: ‘Neem het preklinisch proefdieronderzoek: daar zijn flinke problemen aan het licht gekomen bij systematisch replicatieonderzoek. Nog geen kwart van de uitkomsten van 67 projecten kon worden gevalideerd. Daar is men in de afgelopen jaren serieus aan de slag gegaan met onder meer een betere methodiek, bijvoorbeeld door een dubbelblinde opzet te gaan gebruiken. Dat was geen gemeengoed.’

In het advies komt klinisch onderzoek waarbij de effectiviteit van behandelingen onder de loep ligt, er opvallend goed uit. Zo eisen de goede vakbladen tegenwoordig dat onderzoekers hun klinische trials vooraf in openbare databases registreren. Dat maakt selectief publiceren van alleen welgevallige resultaten moeilijker en repliceren makkelijker. Maar zelfs op de kwaliteit van klinische trials, zeker als het gaat om medicijnonderzoek, valt nog veel af te dingen. Is het dan in andere vakgebieden zo erg? Mackenbach moet lachen: ‘Dat is niet een conclusie die de commissie trekt, maar het is een plausibele gedachte.’

Dood in de pot

Het is uitdrukkelijk niet de bedoeling van de KNAW dat elk onderzoek herhaald wordt. Er is geen simpele regel voor welke studies ervoor in aanmerking komen, zegt Mackenbach: ‘Dat blijft een afweging tussen de baten en de kosten, en ook een afweging tussen het nut van replicatieonderzoek versus dat van innovatieve studies. In het algemeen zou hoeksteenonderzoek, studies waar nieuwe onderzoekslijnen uit voortvloeien, gerepliceerd moeten worden. Bijvoorbeeld bij veelbelovende resultaten die het begin van een nieuwe onderzoekslijn inluiden, zoals in de geneeskunde de ontdekking van een nieuw molecuul dat een rol zou spelen in het ontstaan van een ziekte. Soms is achteraf pas duidelijk dat een bepaald onderzoek van belang was. Ook dan kan repliceren nog zinvol zijn. De psychologen hebben bijvoorbeeld hun eigen leerboeken doorgespit om na te gaan wat bij hen de hoeksteenonderzoeken waren. Die hebben ze systematisch aan replicatieonderzoek onderworpen. Dat kan binnen de geneeskunde ook gebeuren. De wetenschappelijke verenigingen zullen daar verder mee aan de slag moeten.’

Het belang van replicatieonderzoek mag duidelijk zijn, maar is het niet de dood in de pot voor creatief onderzoek? ‘De waardering voor innovatief onderzoek zal altijd groter zijn, maar een zekere mate van opwaardering van replicatieonderzoek kan al helpen. Het is echt niet onmogelijk: de belangrijke psychologietijdschriften maken zich hard voor betere reproduceerbaarheid, bijvoorbeeld door ruimte te reserveren voor publicaties waarin eerder in het betreffende blad gepubliceerd onderzoek wordt herhaald. Het prestige van die bladen is alleen maar toegenomen.’