Groot effect maakt trial nog niet betrouwbaar

Niemand heeft ooit gezegd dat wetenschappelijk onderzoek gemakkelijk is en dat het pad van de onderzoeker over rozen gaat. Voetangels en klemmen te over.

Maar soms blijkt onderzoek nog moeilijker dan je al dacht. Want ook als je een grote trial hebt gedaan met een zeer markant effect (gedefinieerd als een relatief risico kleiner of gelijk aan 0,2 of groter dan 5) heb je geen enkele zekerheid dat het resultaat niet op toeval berust.  Dat blijkt uit een studie door Myura Nagendran e.a. (onder wie de gerenommeerde John Ioannidis) gepubliceerd in The BMJ. 

Bekend is dat de meeste geneeskundige interventies slechts een matig effect sorteren, ondanks het feit dat gerandomiseerde trials zo nu en dan bij bepaalde behandelingen wel degelijk enorme verbeteringen rapporteren. Vaak komt in zo’n zeldzaam geval de gedachte op dat verdere trials overbodig zijn. Feit is echter dat het effect in daaropvolgende trials vanwege ‘regressie naar het gemiddelde’ meestal veel geringer wordt.

Nagendran c.s. wilden nagaan of er toch niet een bepaalde effectgrootte bestaat op basis waarvan je kunt zeggen: verder onderzoek is nu echt overbodig. Ze deden daartoe een statistisch ingewikkelde exercitie, gebruik makend van studies ontleend aan de Cochrane Database of Systematic Reviews. Hun conclusie is na analyse van de gegevens vrij onverbiddelijk: zo’n betrouwbare significante effectgrootte bestaat niet. Vooral het feit dat een zeldzaam relatief risico van vijf of meer vrijwel altijd blijkt op te treden in kleine trials met een groot betrouwbaarheidsinterval is daar debet aan. 

De onderzoekers verbinden een praktische les aan deze bevinding: doe geen of in ieder geval zo min mogelijk kleine trials – behalve als het niet anders kan, bij zeldzame ziekten bijvoorbeeld. Studies, vinden ze, zouden altijd voldoende ‘power’ moeten hebben, om zo matige effecten aan het licht te kunnen brengen. Een advies dat, zo beseffen ze, vooral ook relevant is voor onderzoek naar complexe interventies in bijvoorbeeld de chirurgie. Daar zijn immers grote gerandomiseerde, gecontroleerde trials om logistieke redenen lang niet altijd mogelijk. Anders gezegd: chirurgen moeten niet te vroeg juichen.

BMJ 2016;355:i5432