‘Geen patiënt is ooit gered dankzij een p-waarde’

De dokter die verantwoordelijk is voor de identificatie van al deze symptomen – en hij kent er veel meer! – en die daarmee dus eigenlijk zegt dat de (medische) wetenschap ziek is, heet John Ioannidis. Hij is hoogleraar health research and policy aan de Stanford-universiteit in Californië en een man van vele talenten: in zijn jeugdjaren was hij een wiskundig wonderkind, nu is hij behalve een gevierd epidemioloog ook schrijver van een handvol romans – in het Grieks, zijn moedertaal.

Een reeks markante artikelen met titels die er niet om liegen als ‘Why most published research findings are false’, ‘Evidence-based medicine has been hijacked’ en ‘Why most clinical research is not useful’ vestigden zijn naam. Ze vormen het topje van een ijsberg van ruim achthonderd artikelen. Gemeenschappelijke noemer van al dat werk: het meeste biomedische onderzoek is niet relevant of stelt de verkeerde vragen, kent een slecht design en de resultaten worden overdreven of zijn domweg fout, ook als het om publicaties gaat die in hoog aangeschreven tijdschriften zijn verschenen.

Keiharde boodschap

Op deze vroege ochtend blijkt John Ioannidis in de lobby van een Amsterdams hotel allervriendelijkst. Dat is misschien wel zijn kracht: op een zachtaardige manier brengt hij een keiharde boodschap. Dat zal hij ook later op de dag doen, als hij op uitnodiging van AMC, VUmc en Volkskrant de 23ste Anatomische Les verzorgt in het Concertgebouw.

Ja, herhaalt Ioannidis desgevraagd de boodschap uit een van zijn recente stukken, evidencebased medicine (ebm) is een prachtig idee, maar het heeft zijn doel nog niet bereikt: het integreren van individuele klinische expertise met het beste wetenschappelijke bewijs. Dat bewijs is namelijk vaak niet goed en dokters en patiënten zouden dat moeten weten. ‘Allerlei stakeholders hebben ebm gekaapt en voor hun karretje gespannen. They are pushing an agenda.’ Zij beïnvloeden de vraagstelling, de interpretatie en de vertaling naar de praktijk. Daarbij denkt hij aan de farmaceutische industrie – ‘We kunnen niet zonder, maar ze zouden niet hun eigen producten moeten beoordelen’ – maar ook aan academische belangen – carriére, status, onderzoeksgeld – van de arts-onderzoekers.

Bias kwijtraken

Ioannidis’ belangrijkste doelwit is ‘vertekening’: bias. Ioannidis: ‘Bias is zeer prevalent in al het onderzoek en heeft vele gezichten. Het is als met computers en virussen. Telkens duiken er nieuwe virussen op en moeten we de antivirussoftware weer aanpassen. Iets dergelijks geldt ook voor bias: sommige vormen zijn zeer moeilijk te detecteren, zeker als niet alle ruwe informatie beschikbaar is. Daarom moeten onderzoekers altijd hun onderzoeksprotcol vrijgeven en de ruwe data.’ Helemaal vermijdbaar is bias nooit, weet Ioannidis. ‘Maar dat is juist mijn fascinatie met wetenschap, daar gaat wetenschap over: de constante strijd om bias kwijt te raken.’

Een van de manieren om vertekening te verminderen en dus dichter bij de waarheid te komen is onderzoek naar onderzoek doen. Ioannidis was in 2014 medeoprichter van een instituut dat daaraan is gewijd: het Meta-Research Innovation Center van de Stanford-universiteit. Hij legt uit: ‘Het fungeert als een “hub” waar wetenschappers uit verschillende disciplines – van geneeskunde tot astrofysica – ideeën uitwisselen over bijvoorbeeld openheid en datasharing. Over het opzetten van meta-analyses, over welk onderzoek je moet herhalen, en over wanneer je dat doet en hoe. Replicatie is lang gezien als saai, als me-too-onderzoek, en als verspilling van geld. Heel merkwaardig, want de mainstream van de wetenschapsgeschiedenis was heel anders. Vroeger moest je keer op keer je experiment herhalen en aan je academische collega’s letterlijk tonen dat iets werkte. Toenemende wetenschappelijke competitie en beperkte fondsen hebben daar een eind aan gemaakt.’

Statistische significantie

Nog een pijnpunt is statistische significantie. Ioannidis heeft het vaker gezegd: ‘Significantie wordt overgewaardeerd.’ Hij vervolgt: ‘We hebben alle artikelen op PubMed die de laatste 25 jaar zijn verschenen en waarin p-waarden werden gebruikt gescreend en vonden dat maar liefst 96 procent statistische significantie rapporteerde. Dat begrip heeft dus geen enkel onderscheidend vermogen meer. Significantie zou best iets kunnen zeggen, maar niet zolang wetenschappers onder druk staan en met elkaar in competitie zijn: ze moeten iets ontdekken. Anders krijgen ze geen geld meer, en staan ze minder hoog aangeschreven. Negeer dus die significanties, en focus op de klinische betekenis van de resultaten. Geen patiënt is ooit gered dankzij een p-waarde; je kunt mensen niet behandelen of diagnosticeren met een p-waarde. Als een medicijn lijkt te werken, kijk dan naar de schatting van zijn werkzaamheid, en naar de schatting van de schade door bijwerkingen. Kijk naar de mate van onzekerheid van de resultaten.’

Dat betekent niet dat er een stap terug wordt gezet naar de tijd voor de komst van ebm, vindt Ioannidis. ‘Ebm gaat niet over p-waarden, maar over effectgrootte, over onzekerheid en bias. Ik wil geen vage doktersintuïtie; geneeskunde is een kwantitatieve wetenschap.’

Bruikbare trials

Hamvraag: hoe ontwerp je of hoe herken je een bruikbare trial? Ioannidis heeft kortgeleden een aantal criteria op een rij gezet. Hij loopt ze langs: ‘In de eerste plaats moet er een probleem zijn. Het klinkt misschien vreemd maar er wordt veel onderzoek gedaan naar problemen die dat niet zijn, maar die de onderzoekers zelf geschapen hebben door bijvoorbeeld de definitie van ziekte op te rekken. Ten tweede: wat weten we al? De wereld kent twintig miljoen wetenschappers: het is allicht mogelijk dat iemand al eens goed naar het te onderzoeken onderwerp heeft gekeken. Dan: zal de studie iets toevoegen aan onze bestaande kennis? Als het om “blue sky sience” (fundamentele wetenschap, HM) gaat, kun je daar niets over zeggen; zulk onderzoek levert misschien over tientallen jaren iets bruikbaars op. Maar als het om klinisch onderzoek gaat, ligt dat anders. Inderdaad ken je ook in dit geval van tevoren de resultaten niet, maar je kunt er wel op anticiperen of de negatieve of positieve resultaten relevante kennis zullen opleveren. Verder moeten we ons altijd afvragen of de uitkomsten in het belang zijn van de patiënt. Studies moeten ook pragmatisch zijn: veel onderzoek is artificieel, en weerspiegelt het werkelijke leven niet. Onderzoek moet in ieder geval daarvan niet zover afwijken dat de resultaten op voorhand onbruikbaar zijn. Veel mensen hebben om die reden de RCT in de ban gedaan en gezegd dat we beter data kunnen vergaren uit bijvoorbeeld grote bestanden, zoals patiëntenstatussen.’ De term ‘big data’ valt dan al snel, als een nieuwe, betere manier om harde kennis te vergaren. Maar Ioannidis is uiterst sceptisch: ‘Ik werk graag met grote databestanden. Ik weet daarom dat ze niet de oplossing bieden voor onze problemen. De kwaliteit is slecht, want ze waren immers nooit bedoeld voor onderzoek en zijn ook niet verzameld door mensen die daarin getraind zijn. Rigoureus experimenteel onderzoek blijft altijd nodig.’

Nog een paar criteria: ‘Is het onderzoek uitvoerbaar? Is het – in het licht van de mogelijke uitkomsten – het geld waard? Is het transparant en hebben we de bias voldoende in de hand?’ Volgens Ioannidis zijn er geen studies die aan al zijn criteria voldoen. Maar ook de studies die aan vier of vijf criteria tegemoetkomen zijn ver in de minderheid. Zijn sombere conclusie: ‘Het meeste onderzoek voldoet aan geen van deze criteria en dus verspillen we geld, tijd en menskracht’.

Minder maar beter

Dan moet het grote woord er maar uit: is minder onderzoek verstandig? Ioannidis: ‘Het hangt ervan af wat je onder minder verstaat. We moeten zeker niet bezuinigen op de onderzoeksfondsen. Wetenschap is het beste dat de mensheid is overkomen.’ Minder, maar wel betere onderzoeksprojecten – ja, dat is een goed idee, vindt hij.

Ioannidis wil voorkomen dat zijn diagnose bijdraagt aan de gedachte dat wetenschap ook maar een mening is. ‘Wetenschap is een nobele, heel moeilijke onderneming. Maar de zekerheid van wetenschappelijke kennis kent een gradiënt: van sommige zaken zijn we zeker – van roken krijg je kanker – sommige zaken zijn iets minder zeker, en in bijvoorbeeld de voedingsepidemiologie kom je nauwelijks herhaalbare of betrouwbare verbanden tegen – denk bijvoorbeeld aan: van koffie krijg je kanker. Het publiek moet zich bewust zijn van die gradiënt. De boodschap die de wetenschap nu naar buiten brengt, is daarmee in tegenspraak: wetenschappers scheppen vaak te hoge verwachtingen. Het publiek ziet de gradiënt niet en raakt verward.’

En de dokter, wat moet zijn houding zijn ten opzichte van al die medische literatuur? John Ioannidis heeft een paar adviezen: ‘Let altijd op bias: wie doet het onderzoek? Waarom? Wie sponsort? Vraag je af of het design goed is, en of de resultaten betekenis hebben, want there is common sense, before statistical sense. Blijf de literatuur wel lezen. Wacht niet op richtlijnen, dan verlies je het gevoel voor je eigen wetenschap.’

Meta Research Innovation Center ar Stanford

The Reward Alliance