Beter een kleine meta-analyse, dan een grote trial

Je hebt meer aan een meta-analyse, dan aan een eenmalige trial. Wiskundige Joanna in ‘t Hout die deze week promoveert aan de Radboud Universiteit Nijmegen, onderbouwt die stelling op basis van een analyse van alle systematische reviews van klinische interventiestudies uit de Cochrane Database, die verschenen tussen 2009 en 2013.

Haar conclusie is zonneklaar: zelfs een meta-analyse op basis van een paar kleine studies is betrouwbaarder dan het resultaat van één grote trial. Joanna in ’t Hout: ‘Zelfs als er slechts twee of drie studies beschikbaar zijn voor een meta-analyse en als die onderhevig zijn aan publicatiebias en heterogeniteit, resulteert dat in lagere percentages fout-positieve bevindingen dan in een nieuwe grote trial.’

Met het begrip ‘heterogeniteit’ bedoelt In ’t Hout ‘extra variatie’. Ze legt uit: ‘Je verwacht altijd variatie tussen resultaten van studies, omdat steekproeven nu eenmaal beperkt zijn. Maar als die variatie groter is dan je mag verwachten, dan heb je te maken met wat ik heterogeniteit noem. De bron daarvan ken je meestal niet precies. Het kan zijn dat de ene patiëntenpopulatie net wat zieker was dan de andere, of dat de interventie niet in alle studies op dezelfde manier werd toegepast. Heterogeniteit is ook altijd groter als de gemeten uitkomst een subjectief karakter heeft; denk aan de bepaling van de kwaliteit van leven of aan pijnbeleving. Ook de kwaliteit van de studie kan uiteraard een rol spelen, de manier waarop de gegevens statistisch zijn geanalyseerde en of er publicatiebias in het spel is. Maar de invloed van al die factoren is in een meta-analyse toch veel minder sterk dan bij afzonderlijke studies.’ Samengevat: vanwege de heterogeniteit kunnen de resultaten van één enkele studie positiever of negatiever uitvallen dan gemiddeld het geval zou zijn. Maar als je slechts de resultaten van één studie kent, kun je moeilijk inschatten hoe ver de gevonden resultaten afstaan van het effect dat je zou vinden als je beschikking had over voldoende of in ieder geval meerdere studies.  

In ’t Hout hecht in dat verband veel waarde aan het begrip predictie-interval. Aan de hand van een voorbeeld legt ze uit wat ze daarmee bedoelt: ‘Stel dat je kijkt naar het effect van epidurale pijnbestrijding versus systemische pijnbestrijding. Het betrouwbaarheidsinterval geeft dan weer wat het gemiddelde verschil is tussen beide behandelingen en welke behandeling daarom de voorkeur verdient – zeg epidurale pijnbestrijding. Maar het vertelt je niets over hoe dat effect van studie tot studie varieerde. Het predictie-interval is een veel bredere maat dan het betrouwbaarheidsinterval. Is dat interval groter dan het betrouwbaarheidsinterval dan weet je in één oogopslag dat epidurale pijnbestrijding lang niet bij iedereen even goed zal werken. Zou je in dat geval een nieuwe trial doen dan bestaat er een grote kans dat je iets heel anders vindt dan dat gemiddelde effect.’  

In haar proefschrift becijfert In ’t Hout dat in pakweg 70 procent van de door haar onderzochte statistisch significante meta-analyses het effect van de onderzochte behandeling soms nihil of zelfs tegengesteld was aan het gemiddelde effect, en in ongeveer 20 procent van deze meta-analyses was dit tegengestelde effect minstens zo groot als het gemiddelde effect van de meta-analyse.

Wie precies wil weten hoe dat zit, moet uiteindelijk terug naar de oorspronkelijke, geanonimiseerde data van de individuele patiënten. ‘Daarom’, zegt ze, ‘is het zo belangrijk dat die ook voor anderen dan de aanvankelijke onderzoekers beschikbaar zijn.’

Henk Maassen

Joanna in ’t Hout, On trees and forests. Meta-analysis and between-study heterogeneity in practice, dissertatie, Radboud universiteit  12 januari 2016