Medische wetenschap rond covid-19 moet meer evidencebased

Nadat positieve resultaten van grootschalige covid-19-vaccinatiestudies bekend werden, circuleerde binnen een maand de onjuistheid dat deze vaccins DNA onomkeerbaar zouden veranderen. En toen in Noorwegen 33 kwetsbare ouderen na covid-19-vaccinatie waren overleden, was dit direct wereldnieuws. Later concludeerden gezondheidsautoriteiten dat deze doden niet gerelateerd waren aan het vaccin. Medici en andere experts wordt direct gevraagd om hun mening en advies, waarbij het antwoord ‘dat moeten we nog verder uitzoeken’ vaak niet geaccepteerd of verkeerd geïnterpreteerd wordt.

In het begin van de covid-19-pandemie was snelheid ­cruciaal om het nieuwe virus onder controle te krijgen. Terecht werd prioriteit aan snelheid gegeven, boven ­degelijkheid en grondigheid. Ondertussen zijn we een jaar verder, een jaar met veel leed maar ook een jaar waarin de medische wereld veel bereikt heeft, zoals we recentelijk zien met de razendsnelle ontwikkelingen rondom vaccinaties. Na de aanvankelijke crisissituatie zijn we in een stadium beland waar we een nieuwe balans moeten ­creëren. Het is hierbij dringend nodig dat we de afbreuk aan medische wetenschap ongedaan maken, en onze medische standaard weer verhogen.

Zonder peerreview

Begin 2020 was de behoefte aan kennis over het nieuwe SARS-CoV-2-virus groot. Gezien de snelle verspreiding van het virus was het ongewenst en onmogelijk om ­rigoureuze peerreview af te wachten. Dit leidde ertoe dat manuscripten op verschillende ‘preprintsites’ werden geplaatst, zoals medRxiv. Deze websites controleren weliswaar vluchtig op inhoud en plagiaat, maar peerreview ontbreekt. Hoewel medRxiv heeft bijgedragen aan de snelle verspreiding van wetenschappelijke informatie, kent het ook een groot nadeel: vanwege het gebrek aan peerreview is de variatie in kwaliteit enorm. Veel manuscripten op deze website zullen de test van peerreview niet doorstaan en zijn daarmee vergelijkbaar met manuscripten gepubliceerd door predatory publishers, de ‘uitgevers’ die al jaren tegen betaling wetenschappelijke artikelen publiceren, zonder peerreview. Andere manuscripten ondergaan meestal aanzienlijke wijzigingen na peerreview voordat ze gepubliceerd worden in vooraanstaande medische tijdschriften. Dit maakt dat we conclusies uit publicaties op medRxiv met een korrel zout moeten nemen. Echter, in recente publicaties in tijdschriften als Science wordt medRxiv net zo gretig geciteerd als in tijdschriften met peerreview.¹ Het RIVM onderbouwt zijn richtlijnen en adviezen ook met literatuur uit medRxiv.² Daar hoeft niets mis mee te zijn, mits de kwaliteit van medRxiv-­artikelen zeer kritisch beoordeeld wordt.

Het is de vraag of we medRxiv überhaupt nog nodig ­hebben. Het laaghangende fruit is grotendeels geplukt, diepgaande studies zijn hard nodig. Een aantal medische tijdschriften heeft gereageerd op de noodzaak om nieuwe covid-19-data snel te publiceren, en heeft zogenoemde fast tracks geopend, waardoor belangrijke data snel (binnen 48 uur bij The Lancet) gepeerreviewd kunnen worden.³ Het is onwaarschijnlijk dat nieuwe, urgente data over covid-19 deze versnelde peerreviewprocessen niet halen.

Het blijft voor wetenschappers aantrekkelijk om manuscripten zonder peerreview te publiceren. Iedere wetenschapper kent de frustratie van een manuscript dat keer op keer geweigerd wordt, waarbij peerreviewers uitgebreide veranderingen eisen, terwijl een andere onderzoeksgroep je de loef afsteekt door dezelfde conclusies eerder te publiceren. Toch moeten we ons realiseren dat de spanning ­tussen degelijk onderzoek en snelheid onoverkomelijk is: publicatie van degelijke data kost tijd, onder andere door de onafhankelijke peerreview.

Hebben we medRxiv überhaupt nog nodig?

Dun bewijs

Vanwege het gebrek aan empirische data over covid-19 werd in 2020 voornamelijk op data van voorspellende modellen gevaren, zowel van nationale als van internationale studies. Al snel concludeerde een systematische review dat de kwaliteit van al deze buitenlandse modellen laag was.⁴ Het RIVM waarschuwt ook dat modellen ­voorzichtig geïnterpreteerd moeten worden.⁵ Een goed opgebouwd model, zoals dat van het RIVM, brengt veel onzekerheden met zich mee, want het is bijvoorbeeld moeilijk in te schatten hoe goed de bevolking een nieuwe maatregel zal gaan naleven. Dit leidt tot ruime betrouwbaarheidsintervallen. Desondanks worden veel besluiten genomen op basis van gemiddelden van modellen, en ­worden beperkingen van modellen vaak slechts summier besproken. Met de toename aan empirische data kunnen modellen steeds beter worden, maar een model zal een vereenvoudigde benadering van de complexe realiteit ­blijven, met ruime marges.

Daarnaast wordt opvallend weinig waarde gehecht aan betrouwbaarheidsintervallen. Een fundament van de ­huidige medische wetenschap is dat een nulhypothese ­verworpen wordt als de nul buiten het 95%-betrouwbaarheidsinterval valt. Bij de invoering van de avondklok in Nederland eind januari 2021 werd gesuggereerd dat deze maatregel de gemiddelde R-waarde met 13 procent zou kunnen verminderen. Hoewel de media het hierbij hadden over een ‘flink effect’, was het advies van het Outbreak Management Team (OMT) hier genuanceerder in. Maar ook het OMT gaf aan dat een avondklok tot een reductie van 8-13 procent van de gemiddelde R-waarde zou kunnen leiden.⁶

Het genoemde percentage is terug te vinden in een studie uit Oxford, waarin op basis van empirische data van de eerste golf in verschillende landen geconcludeerd werd dat na het beperken van sociale bijeenkomsten en het ­sluiten van bepaalde winkels, scholen en universiteiten, additionele thuisblijfmaatregelen zoals de avondklok of een volledige lockdown de R met 13 procent kon verminderen.⁷ Het belangrijkste euvel hierbij was dat 0 procent, dus geen effect, binnen het 95%-betrouwbaarheidsinterval viel. De onderzoekers waren terughoudend in hun conclusies: als er een effect was van dit soort thuisblijfmaatregelen, dan was dit effect klein ten opzichte van de andere maatregelen. Een onafhankelijke studie van Stanford kwam tot dezelfde conclusie: zware vrijheidsbeperkende maatregelen zoals een avondklok hadden in de eerste golf geen significante effecten.⁸

Als het hierbij om een vergelijking medicijn versus ­placebo was gegaan, dan had geen enkele gezondheids­autoriteit op basis van dit bewijs geoordeeld dat dit ­medicijn effectief is. Hoewel er andere redenen waren om alsnog de avondklok in te voeren, zou het passend geweest zijn om te oordelen dat het wetenschappelijke bewijs op z’n best dun was. Recentelijk is aangegeven dat de combinatie van de avondklok en het beperken van bezoek tot één persoon de R naar schatting met 10 procent verlaagd heeft, dus lijkt de invoering van deze maatregelen geholpen te hebben. Anderzijds blijft het individuele effect van de avondklok onbekend, en is deze schatting van 10 procent wederom gebaseerd op modellen. In hoeverre was deze daling het gevolg van de avondklok en niet van gedragsveranderingen door de media-aandacht rond de Britse variant en/of het sterk veranderende weer in februari? Daarom zullen deze modellen weer ruime betrouwbaarheidsintervallen gehad hebben.

Een model blijft eenvereenvoudigde benadering van de complexe realiteit

Expert opinions

In de medische wetenschap streven we naar de hoogste bewijslast, zoals systematische reviews en meta-analyses. In het begin van de coronapandemie ontkwamen we er niet aan dat beleid gevoerd werd op grond van expert ­opinions, vanwege het gebrek aan wetenschappelijke data. Ondanks de toename aan data valt op dat meningen van experts nog steeds zwaar meegewogen worden. Zo werd in januari 2021 de noodklok geluid over het toegenomen aantal kinderen op de ic in Nederland na een suïcide­poging als gevolg van psychosociale problemen door de covid-19-pandemie. Dit nieuws werd niet gebaseerd op ­cijfers maar op signalen van de ic-hoofden van Nederlandse ziekenhuizen. Uit wetenschappelijk onderzoek bleek dat in 2020 geen significante toename van suïcides is waar­genomen.9 Hoewel de constatering van ic-hoofden een zeer serieus signaal is dat waar kan zijn, kun je je afvragen waarom ervoor gekozen werd de media te benaderen zonder ondersteuning van cijfers en zonder kanttekening dat in de literatuur geen aanwijzingen zijn voor zo’n toename.

Dat er veel waarde wordt gehecht aan expert opinions, terwijl er wel degelijk wetenschappelijk bewijs voorhanden is, bleek ook uit de discussie over het effect van mond­kapjes. In september 2020 hadden vrijwel alle westerse landen een mondmaskeradvies of -verplichting, maar Nederland nog niet. Algemeen gebruik van mondmaskers zou geen meerwaarde hebben en kon mogelijk ver­spreiding verergeren: mensen zouden met masker lakser worden en vaker aan hun gezicht zitten. Dit laatste was een hypothese. De Amerikaanse immunoloog Anthony Fauci adviseerde Nederland om de data opnieuw te bestuderen gezien het overtuigende wetenschappelijke bewijs over de effectiviteit van de mondmaskers. Inderdaad was op dat moment in vooraanstaande medische tijdschriften als The New England Journal of Medicine besproken waarom mondmaskers effectief waren bij covid-19.¹⁰ Ook als de mondmaskers geen volledige bescherming bieden, zoals door verkeerd gebruik, zouden mondmaskers de blootstelling aan het aantal virusdeeltjes en daarmee ­(ernstige) ziekte verminderen.

Kritisch beoordelen

Het is niet mijn bedoeling het coronabeleid in Nederland, het OMT of het RIVM te bekritiseren. Als aios kan ik enigszins ervaren hoe ontzettend complex deze afwegingen zijn, waarbij niet alleen op wetenschap gevaren kan worden en waarbij wetenschappelijke publicaties regelmatig tegenstrijdige bevindingen bevatten. Maar het zou een positieve ontwikkeling zijn als beleidsmakers en -adviseurs hun beleid of advies continu onderbouwen en aanpassen op basis van de best beschikbare evidencebased medicine. Expert opinions zullen cruciaal blijven – want eigenschappen van het virus veranderen continu zoals we recentelijk ook met de nieuwe varianten zien – maar moeten wel zoveel mogelijk ondersteund worden door empirische data, de kern van evidencebased medicine.

Met de stortvloed aan informatie en snelle verspreiding van fakenieuws bestaat continu de druk voor medische experts om zo snel mogelijk uitspraken te doen. Betrouwbaarheid is hierbij essentieel voor onze geloofwaardigheid. Nu de eerste shock van covid-19 voorbij is, moeten we zo snel mogelijk weer terugvallen op evidencebased medicine. Daarom moeten we data van websites zonder peerreview zeer kritisch beoordelen, betrouwbaarheids­intervallen en beperkingen van wetenschappelijke ­modellen accepteren en uitleggen, en onze adviezen ­baseren op wetenschappelijke data met de beste bewijslast. Wetenschap is niet alwetend, maar bij verbeterd gebruik kan het voor onze beroepsgroep – en uiteindelijk de samenleving – veel toegevoegde waarde hebben. 

auteur

Michel Wissing, aios infectieziektebestrijding

contact

michel.wissing@mcgill.ca

cc: redactie@medischcontact.nl

voetnoten

1. Brauner JM, Mindermann S, Sharma M, et al. Inferring the effectiveness of government interventions against COVID-19. Science. 2021;371(6531):eabd9338.

2. RIVM. Aerogene verspreiding SARS-CoV-2 en ventilatiesystemen: Onderbouwing en achtergrond bij LCI-richtlijn COVID-19, 28 juli 2020.

3. The Lancet. 10+10: rapid decisions and fast track publication for RCTs. Lancet. 2015;385(9968):578. 

4. Wynants L, Van Calster B, Collins G S, et al. Prediction models for diagnosis and prognosis of covid-19: systematic review and critical appraisal. BMJ 2020; 369:m1328

5. RIVM. Hoe rekenmodellen bijdragen aan de bestrijding van COVID-19. Gewijzigd 24 februari 2021.

6. Rijksoverheid. Advies 96e OMT over COVID-19 (deel 2). 19 januari 2021.

7. Brauner JM, Mindermann S, Sharma M, et al. Inferring the effectiveness of government interventions against COVID-19. Science. 2021;371(6531):eabd9338.

8. Bendavid E, Oh C, Bhattacharya J, Ioannidis JPA. Assessing mandatory stay-at-home and business closure effects on the spread of COVID-19. Eur J Clin Invest. 2021;51(4):e13484.

9. John A, Pirkis J, Gunnell D, Appleby L, Morrissey J. Trends in suicide during the covid-19 pandemic. BMJ. 2020;371:m4352 

10. Gandhi M, Rutherford GW. Facial Masking for Covid-19 - Potential for "Variolation" as We Await a Vaccine. N Engl J Med. 2020;383(18):e101.