Dagelijks opinie, nieuws en achtergronden

Inloggen
Laatste nieuws
Henk Maassen EB
24 november 2016 7 minuten leestijd
interview

‘Geen patiënt is ooit gered dankzij een p-waarde’

Epidemioloog John Ioannidis pleit voor onderzoek dat hout snijdt

4 reacties

Het meeste medische onderzoek is vertekend, niet relevant, slecht uitgevoerd en weggegooid geld. Epidemioloog John Ioannidis is onverbiddelijk. Maar niet getreurd: ‘Wetenschap is wel het beste dat de mensheid is overkomen.’

De klachten, symptomen en kwalen zouden inmiddels bekend kunnen klinken. 80 procent van al het niet-gerandomiseerde onderzoek is onjuist. Dat geldt ook voor 25 procent van de gerandomiseerde trials en voor 10 procent van alle grote RCT’s.

Meer dan 50 procent van al het onderzoek wordt opgezet en gepubliceerd zonder verwijzing naar systematische reviews van de bestaande kennis. In 50 procent van de studies ontbreken methodologische maatregelen om bias te voorkomen. Dierstudies zijn weliswaar nuttig, maar rapporteren zo vaak positieve uitkomsten dat de kwaliteit daarom twijfelachtig is; de meeste zijn dan ook noch geblindeerd, noch gerandomiseerd. Biomarkers worden overschat.

De dokter die verantwoordelijk is voor de identificatie van al deze symptomen – en hij kent er veel meer! – en die daarmee dus eigenlijk zegt dat de (medische) wetenschap ziek is, heet John Ioannidis. Hij is hoogleraar health research and policy aan de Stanford-universiteit in Californië en een man van vele talenten: in zijn jeugdjaren was hij een wiskundig wonderkind, nu is hij behalve een gevierd epidemioloog ook schrijver van een handvol romans – in het Grieks, zijn moedertaal.

Een reeks markante artikelen met titels die er niet om liegen als ‘Why most published research findings are false’, ‘Evidence-based medicine has been hijacked’ en ‘Why most clinical research is not useful’ vestigden zijn naam. Ze vormen het topje van een ijsberg van ruim achthonderd artikelen. Gemeenschappelijke noemer van al dat werk: het meeste biomedische onderzoek is niet relevant of stelt de verkeerde vragen, kent een slecht design en de resultaten worden overdreven of zijn domweg fout, ook als het om publicaties gaat die in hoog aangeschreven tijdschriften zijn verschenen.

Keiharde boodschap

Op deze vroege ochtend blijkt John Ioannidis in de lobby van een Amsterdams hotel allervriendelijkst. Dat is misschien wel zijn kracht: op een zachtaardige manier brengt hij een keiharde boodschap. Dat zal hij ook later op de dag doen, als hij op uitnodiging van AMC, VUmc en Volkskrant de 23ste Anatomische Les verzorgt in het Concertgebouw.

Ja, herhaalt Ioannidis desgevraagd de boodschap uit een van zijn recente stukken, evidencebased medicine (ebm) is een prachtig idee, maar het heeft zijn doel nog niet bereikt: het integreren van individuele klinische expertise met het beste wetenschappelijke bewijs. Dat bewijs is namelijk vaak niet goed en dokters en patiënten zouden dat moeten weten. ‘Allerlei stakeholders hebben ebm gekaapt en voor hun karretje gespannen. They are pushing an agenda.’ Zij beïnvloeden de vraagstelling, de interpretatie en de vertaling naar de praktijk. Daarbij denkt hij aan de farmaceutische industrie – ‘We kunnen niet zonder, maar ze zouden niet hun eigen producten moeten beoordelen’ – maar ook aan academische belangen – carriére, status, onderzoeksgeld – van de arts-onderzoekers.

Bias kwijtraken

Ioannidis’ belangrijkste doelwit is ‘vertekening’: bias. Ioannidis: ‘Bias is zeer prevalent in al het onderzoek en heeft vele gezichten. Het is als met computers en virussen. Telkens duiken er nieuwe virussen op en moeten we de antivirussoftware weer aanpassen. Iets dergelijks geldt ook voor bias: sommige vormen zijn zeer moeilijk te detecteren, zeker als niet alle ruwe informatie beschikbaar is. Daarom moeten onderzoekers altijd hun onderzoeksprotcol vrijgeven en de ruwe data.’ Helemaal vermijdbaar is bias nooit, weet Ioannidis. ‘Maar dat is juist mijn fascinatie met wetenschap, daar gaat wetenschap over: de constante strijd om bias kwijt te raken.’

Een van de manieren om vertekening te verminderen en dus dichter bij de waarheid te komen is onderzoek naar onderzoek doen. Ioannidis was in 2014 medeoprichter van een instituut dat daaraan is gewijd: het Meta-Research Innovation Center van de Stanford-universiteit. Hij legt uit: ‘Het fungeert als een “hub” waar wetenschappers uit verschillende disciplines – van geneeskunde tot astrofysica – ideeën uitwisselen over bijvoorbeeld openheid en datasharing. Over het opzetten van meta-analyses, over welk onderzoek je moet herhalen, en over wanneer je dat doet en hoe. Replicatie is lang gezien als saai, als me-too-onderzoek, en als verspilling van geld. Heel merkwaardig, want de mainstream van de wetenschapsgeschiedenis was heel anders. Vroeger moest je keer op keer je experiment herhalen en aan je academische collega’s letterlijk tonen dat iets werkte. Toenemende wetenschappelijke competitie en beperkte fondsen hebben daar een eind aan gemaakt.’

Statistische significantie

Nog een pijnpunt is statistische significantie. Ioannidis heeft het vaker gezegd: ‘Significantie wordt overgewaardeerd.’ Hij vervolgt: ‘We hebben alle artikelen op PubMed die de laatste 25 jaar zijn verschenen en waarin p-waarden werden gebruikt gescreend en vonden dat maar liefst 96 procent statistische significantie rapporteerde. Dat begrip heeft dus geen enkel onderscheidend vermogen meer. Significantie zou best iets kunnen zeggen, maar niet zolang wetenschappers onder druk staan en met elkaar in competitie zijn: ze moeten iets ontdekken. Anders krijgen ze geen geld meer, en staan ze minder hoog aangeschreven. Negeer dus die significanties, en focus op de klinische betekenis van de resultaten. Geen patiënt is ooit gered dankzij een p-waarde; je kunt mensen niet behandelen of diagnosticeren met een p-waarde. Als een medicijn lijkt te werken, kijk dan naar de schatting van zijn werkzaamheid, en naar de schatting van de schade door bijwerkingen. Kijk naar de mate van onzekerheid van de resultaten.’

Dat betekent niet dat er een stap terug wordt gezet naar de tijd voor de komst van ebm, vindt Ioannidis. ‘Ebm gaat niet over p-waarden, maar over effectgrootte, over onzekerheid en bias. Ik wil geen vage doktersintuïtie; geneeskunde is een kwantitatieve wetenschap.’

Bruikbare trials

Hamvraag: hoe ontwerp je of hoe herken je een bruikbare trial? Ioannidis heeft kortgeleden een aantal criteria op een rij gezet. Hij loopt ze langs: ‘In de eerste plaats moet er een probleem zijn. Het klinkt misschien vreemd maar er wordt veel onderzoek gedaan naar problemen die dat niet zijn, maar die de onderzoekers zelf geschapen hebben door bijvoorbeeld de definitie van ziekte op te rekken. Ten tweede: wat weten we al? De wereld kent twintig miljoen wetenschappers: het is allicht mogelijk dat iemand al eens goed naar het te onderzoeken onderwerp heeft gekeken. Dan: zal de studie iets toevoegen aan onze bestaande kennis? Als het om “blue sky sience” (fundamentele wetenschap, HM) gaat, kun je daar niets over zeggen; zulk onderzoek levert misschien over tientallen jaren iets bruikbaars op. Maar als het om klinisch onderzoek gaat, ligt dat anders. Inderdaad ken je ook in dit geval van tevoren de resultaten niet, maar je kunt er wel op anticiperen of de negatieve of positieve resultaten relevante kennis zullen opleveren. Verder moeten we ons altijd afvragen of de uitkomsten in het belang zijn van de patiënt. Studies moeten ook pragmatisch zijn: veel onderzoek is artificieel, en weerspiegelt het werkelijke leven niet. Onderzoek moet in ieder geval daarvan niet zover afwijken dat de resultaten op voorhand onbruikbaar zijn. Veel mensen hebben om die reden de RCT in de ban gedaan en gezegd dat we beter data kunnen vergaren uit bijvoorbeeld grote bestanden, zoals patiëntenstatussen.’ De term ‘big data’ valt dan al snel, als een nieuwe, betere manier om harde kennis te vergaren. Maar Ioannidis is uiterst sceptisch: ‘Ik werk graag met grote databestanden. Ik weet daarom dat ze niet de oplossing bieden voor onze problemen. De kwaliteit is slecht, want ze waren immers nooit bedoeld voor onderzoek en zijn ook niet verzameld door mensen die daarin getraind zijn. Rigoureus experimenteel onderzoek blijft altijd nodig.’

Nog een paar criteria: ‘Is het onderzoek uitvoerbaar? Is het – in het licht van de mogelijke uitkomsten – het geld waard? Is het transparant en hebben we de bias voldoende in de hand?’ Volgens Ioannidis zijn er geen studies die aan al zijn criteria voldoen. Maar ook de studies die aan vier of vijf criteria tegemoetkomen zijn ver in de minderheid. Zijn sombere conclusie: ‘Het meeste onderzoek voldoet aan geen van deze criteria en dus verspillen we geld, tijd en menskracht’.

Minder maar beter

Dan moet het grote woord er maar uit: is minder onderzoek verstandig? Ioannidis: ‘Het hangt ervan af wat je onder minder verstaat. We moeten zeker niet bezuinigen op de onderzoeksfondsen. Wetenschap is het beste dat de mensheid is overkomen.’ Minder, maar wel betere onderzoeksprojecten – ja, dat is een goed idee, vindt hij.

Ioannidis wil voorkomen dat zijn diagnose bijdraagt aan de gedachte dat wetenschap ook maar een mening is. ‘Wetenschap is een nobele, heel moeilijke onderneming. Maar de zekerheid van wetenschappelijke kennis kent een gradiënt: van sommige zaken zijn we zeker – van roken krijg je kanker – sommige zaken zijn iets minder zeker, en in bijvoorbeeld de voedingsepidemiologie kom je nauwelijks herhaalbare of betrouwbare verbanden tegen – denk bijvoorbeeld aan: van koffie krijg je kanker. Het publiek moet zich bewust zijn van die gradiënt. De boodschap die de wetenschap nu naar buiten brengt, is daarmee in tegenspraak: wetenschappers scheppen vaak te hoge verwachtingen. Het publiek ziet de gradiënt niet en raakt verward.’

En de dokter, wat moet zijn houding zijn ten opzichte van al die medische literatuur? John Ioannidis heeft een paar adviezen: ‘Let altijd op bias: wie doet het onderzoek? Waarom? Wie sponsort? Vraag je af of het design goed is, en of de resultaten betekenis hebben, want there is common sense, before statistical sense. Blijf de literatuur wel lezen. Wacht niet op richtlijnen, dan verlies je het gevoel voor je eigen wetenschap.’

John P.A. Ioannidis

(1965)

werd geboren in New York en bracht zijn jeugd door in Athene.

Hij studeerde geneeskunde, is opgeleid tot internist en deed in de jaren negentig hiv-onderzoek. Hij is hoogleraar health research and policy aan de Stanford-universiteit in Californië. Vorig jaar kreeg hij een eredoctoraat van de Erasmus Universiteit. John Ioannidis is getrouwd met kinderarts Despina Contopoulos en heeft een dochter.

Artikelen van Ioannidis:

Science direct: Evidence-based medicine has been hijacked: a report to David Sackett

PLOS Medicine: Why Most Published Research Findings Are False

Meta Research Innovation Center ar Stanford

The Reward Alliance

Lees ook: pdf

interview onderzoek
  • Henk Maassen

    Henk Maassen (1958) is journalist bij Medisch Contact, met speciale belangstelling voor psychiatrie en neurowetenschappen, sociale geneeskunde en economie van de gezondheidszorg.  

Dit artikel delen
Op dit artikel reageren inloggen
Reacties
  • jan Keppel Hesselink, arts-pijnbehandelaar, bosch en duin 25-11-2016 09:41

    "Een goed stuk om gelezen te worden door de ziekenkostenverzekeraars, die momenteel nummer een zijn in Nederland van stakeholders met het spannen van EBM voor hun karretje.
    Met name te onpas passeren ze de arts, zijn klinische blik en oordeel met hun opmerking: 'deze therapie kan niet vergoed worden, omdat het geen rationele therapie is' Rationele therapie is in hun definitie uitsluitend die therapie die in de richtlijnen staat.
    Ioannidis zegt: EBM is een prachtig idee, maar het heeft zijn doel nog niet bereikt: het integreren van individuele klinische expertise met het beste wetenschappelijke bewijs.

    Hallo ziektekostenverzekeraars: lees deze zin even langzaam en met name '..van individuele klinische expertise'. Als artsen menen dat een therapie bij een patient aangewezen is, op basis van of het rationeel in jullie termen is EN op basis van zijn individuele expertise, is het niet aan jullie om die behandeling niet te vergoeden, omdat de behandeling 'niet rationeel zou zijn'.
    Ik hoop dat ziektekostenverzekeraars dit artikel lezen, maar dat zal wel niet. Ze blijven immers stakeholders met dat ene karretje. "

  • Erik Badings, Arts -epidemioloog, Zwolle 24-11-2016 12:56

    "Foutje; ik bedoelde: Dat de P-waarde in de praktijk schromelijk wordt OVERschat en misbruikt, is weer een heel ander verhaal. ""

  • Erik Badings, arts-epidemioloog, Zwolle 24-11-2016 12:52

    "De kop van dit artikel "bekt" natuurlijk lekker, maar professor Ioannidis spreekt zichzelf tegen: ".... Kijk naar de mate van onzekerheid van de resultaten." De p-waarde zegt juist iets over deze mate van onzekerheid. Mits goed gebruikt is de p-waarde (of het betrouwbaarheidsinterval van de effectschatting) dus wel degelijk van waarde voor onderzoek en dus uiteindelijk voor de patient. Dat de P-waarde in de praktijk schromelijk wordt onderschat en misbruikt, is weer een heel ander verhaal. "

  • dolf algra, zelfstandig bedrijfsarts , rotterdam 23-11-2016 17:09

    "Interessant en smaakmakend interview met prachtige afsluitende zin: There is common sense before statistical sense !"

 

Cookies op Medisch Contact

Medisch Contact vraagt u om cookies te accepteren voor optimale werking van de site, kwaliteitsverbetering door geanonimiseerde analyse van het gebruik van de site en het tonen van relevante advertenties, video’s en andere multimediale inhoud. Meer informatie vindt u in onze privacy- en cookieverklaring.