Waardeloos onderzoek - Menno Oosterhoff

Het leven is wat mij betreft zeker de moeite waard. Niet verkeerd, zeggen we hier in Groningen. Op te uitbundige uitspraken zul je ons niet snel betrappen. Maar wat ik erg lastig vind: er zit helemaal geen gebruiksaanwijzing bij. Zoveel moeite was het toch niet geweest om even ergens aan te geven wat het doel is van het leven en wat je moet doen? 
Nu was ik door een gelukkig toeval geboren in een gezin waar het enige ware geloof werd beleden. Gereformeerd vrijgemaakt, een op grond van artikel 31 zich van de synodale kerk afgescheiden (zich hebben vrijgemaakte) splintergroepering. Die afscheiding had plaatsgevonden midden in de oorlog, want de strijd om de zuiverheid van het geloof stopt nooit.
Tot zover niks mis. Maar… op een gegeven moment begon ik me af te vragen waaraan ik te danken had dat ik net goed zat. Dat bleek geluk hebben te zijn (genade). Nu zou dat nog kunnen. Tenslotte wint ook iemand de loterij. Maar iets anders zat me meer dwars.
Zouden andere mensen niet ook denken dat hun geloof het juiste was?
‘Ja, dat denken ze wel’, antwoordde mijn vader, ‘maar zij hebben het mis.’
‘Kunnen wij het ook mis hebben?’, was mijn wedervraag. Ik vond dat weliswaar geen prettig idee, maar het leek me wel zo eerlijk dat toch even te checken. Het antwoord stelde me allerminst gerust. ‘Nee, wij konden het niet mis hebben, want wat wij vonden was waar.’

Wat heeft deze onzekerheid over de waarheid met geneeskunde te maken? Nou, meer dan me lief is. Kortgeleden verscheen een studie in Science waaruit blijkt dat nog niet de helft van de bevindingen uit eerdere psychologische studies kan worden aangetoond bij herhaling van die onderzoeken. Nu kunnen we proberen onszelf gerust te stellen met de gedachte dat dat alleen geldt voor psychologische studies. Met medische studies is het vast veel beter gesteld.
Nou, methodologe Michelle Nuijten helpt ons in een artikel in de Volkskrant uit die droom. Het is een algemeen verschijnsel dat ook in de neurobiologie, farmacologie, economie, et cetera voorkomt. Ook hoogleraar Harald Schmidt, farmacoloog windt er geen doekjes om: 70 procent van het medisch onderzoek kan direct de prullenbak ik. 70 procent!! De prullenbak!!
Eigenlijk hadden we het allang kunnen weten. In 2005 publiceerde Ioannidis een artikel ‘Why most published research findings are false’. Ook hier geen ruimte voor illusies. De meeste bevindingen zijn onjuist. De meeste!
Een van de oorzaken is publicatiebias. Als je iets aantoont, dan heb je veel meer kans dat het wordt gepubliceerd dan wanneer je geen verband weet aan te tonen. Maar dat is niet het enige. In een project om te proberen de bevindingen van vijftig topartikelen betreffende kankeronderzoek te repliceren trok een van de deelnemers zich terug. Hij vond de kwaliteit van een deel van de oorspronkelijke studies zo slecht dat hij het als geldverspilling zag om te proberen ze te repliceren.

Ik weet niet wat dit alles met u doet, maar ik word hier wel een beetje mismoedig van. Een beetje veel eigenlijk. Het antwoord op de vraag of wij het ook mis kunnen hebben is nog verontrustender dan destijds. ‘Ja, wij hebben het meestal mis.’
Wat moet je nu als eenvoudig clinicus? Een collega bij wie ik mijn nood klaagde, probeerde me te troosten met de opmerking dat onzekerheid een fundamenteel aspect is van wetenschap. Ja, van wetenschap, maar dus ook van je werk als arts. Waar moet je je handelen op baseren als zoveel onderzoek niet klopt? Dan maar afgaan op de experts? Maar de experts zijn het onderling lang niet altijd eens.

Goed, uithuilen en opnieuw beginnen, maar waar? Als er zoveel niet waar is zou die bewering dan niet ook onwaar kunnen blijken? Ik ontkom er niet aan mijzelf een mening te vormen, maar daarvoor zou ik dus graag beschikken over een goede handleiding. Welke mensen moet ik geloven?
Als iemand dingen zegt die onwaar blijken te zijn, wat betekent dat dan voor zijn andere standpunten?
Hoe kan ik vertrouwen op mijn eigen oordeel, als ik weet dat ik van mening kan veranderen?
Maar goed. Die gebruiksaanwijzing is er dus niet.

Ik denk dat ik maar weer gereformeerd vrijgemaakt word.

Menno Oosterhoff