Laatste nieuws
Wetenschap

Elk onderzoek verdient meerdere statistische analyses

Plaats een reactie

In een breed gebied van de wetenschap, van ecologie tot psychologie en geneeskunde, wordt een enkele statistische analyse van een gegeven set data als voldoende bewijs gezien om een bevinding te publiceren en een uitkomst te claimen. Maar de resultaten lijken dan nauwkeuriger dan ze in feite zijn.

Dat heeft te maken met twee methodologische mythen. De eerste is dat er voor elke dataset een enkele, uniek geschikte analyseprocedure bestaat. Maar zelfs als de gegevens relatief eenvoudig zijn, kunnen analisten nog altijd uit een arsenaal van testen en modellen kiezen. ‘Denk aan de keuze van het statistisch model, van de afhankelijke variabele, de secondary outcome, op grond van welke criteria je bepaalde mensen excludeert, of je een binomiaal model hanteert of logistische regressie.’ Dat zegt methodoloog Eric-Jan Wagenmakers, hoogleraar mathematische psychologie aan de UvA, die met zijn medewerker Alexandra Sarafoglou en zijn Hongaarse collega Balazs Aczel vorige week in Nature de kwestie aankaartte.

Mythe

De tweede mythe is, aldus Wagenmakers e.a., dat verschillende statistische analyses of modellen bij dezelfde dataset vergelijkbare conclusies zullen opleveren. Ook dat hoeft niet het geval te zijn. Zij geven het voorbeeld van de UK Scientific Pandemic Influenza Group die in 2020 negen onderzoeksteams vroeg om het reproductiegetal R voor covid-19-infecties te berekenen. De teams kozen uit een overvloed aan data (sterfgevallen, ziekenhuisopnames, testpercentages) en modellen. De variabiliteit van de schattingen – allemaal op basis van dezelfde dataset – bleek aanzienlijk. De meest optimistische schatting was dat elke 100 mensen met covid-19 96 tot 115 anderen besmetten; de ondergrens van 96 impliceert dat de pandemie uitdooft. De meest pessimistische schatting was dat 100 mensen met covid-19 166 tot 182 anderen zouden infecteren; de bovengrens van 182 wijst op een zeer snelle verspreiding. Opmerkelijk: de onzekerheid over de risicoschattingen van de negen teams was dus vele malen groter dan die binnen een team.

John Ioannidis

Mede dankzij klassiek geworden studies van hoogleraar health research John Ioannidis weten we dat veel biomedisch onderzoek een slecht design kent en dat de resultaten worden overdreven of domweg fout zijn, zelfs als het om publicaties gaat die in hoog aangeschreven tijdschriften zijn verschenen. Maken Wagenmakers e.a. die diagnose nu nog een graadje erger? ‘Dit is een iets ander probleem’, reageert Wagenmakers. ‘Het gaat er hier om dat je niet weet hoe groot de echte onzekerheid is. Je kent de onzekerheid van een enkele analyse, maar niet van alle mogelijke andere. Anders gezegd: je weet niet wat je niet weet. Kijk, soms zijn data glashelder en raakt de conclusie je als het ware tussen de ogen.’ Hij lacht: ‘De bekende interocular traumatic test. Maar meestal heb je toch echt wel, liefst meerdere statistische methoden nodig.’

Veel verbeterd

Wagenmakers e.a. erkennen dat er de laatste jaren veel is verbeterd. Neem alleen al de grootschalige replicatiestudies en de eis trials te preregistreren. Maar die verbeteringen zijn niet ontworpen om statistische kwetsbaarheid aan het licht te brengen door te onderzoeken in hoeverre plausibele alternatieve analyses de conclusies veranderen. ‘In de geneeskunde worden keuzes over de data-analyse bovendien van tevoren gemaakt – die liggen immers vast in die preregistratie. Dat is op zichzelf een goede zaak, maar het zorgt er wel voor dat je alleen die ene analysemethode kiest.’

Meer modellen

De remedie ligt voor de hand: laat meerdere statistische modellen en analyses los op de beschikbare gegevens. Tijdschriften zouden dat volgens Wagenmakers op ten minste twee manieren kunnen aanmoedigen.

Ten eerste zouden ze hun richtlijnen kunnen aanpassen, door voortaan meerdere analyses te eisen alvorens voor publicatie in aanmerking te komen. Onderzoekers kunnen die analyses zelf doen, maar ze zouden ook analisten als coauteurs kunnen rekruteren. Wagenmakers denkt dat die makkelijk zijn te vinden, zeker als ze hun naam mogen verbinden aan een kansrijke publicatie in een topblad.

Tweede optie: tijdschriften zouden teams van analisten zelf kunnen uitnodigen om analyses in de vorm van een commentaar op een recentelijk geaccepteerd artikel te geven. Wagenmakers denkt dat de geest gauw uit de fles kan zijn, zodra een editor van een van de toonaangevende tijdschriften, een van deze werkwijzen gaat volgen. ‘Ik voorspel dat dan bij anderen de schellen van ogen zullen vallen; zij zullen snel volgen.’

In de war?

De vraag is wel: zullen de lezers niet in de war raken? Wagenmakers e.a. geven toe dat er nu nog geen normen of conventies bestaan volgens welke je de resultaten van meerdere analyses het best kunt presenteren. Dat kan conclusies dubbelzinniger maken. ‘Maar wij stellen dat potentiële ambiguïteit juist een belangrijk kenmerk is van multiple analyses. Onzekerheid kun je maar beter onder ogen zien.’

Nature, Vol 605, 19 May 2022, 423-425

Lees ook

Nieuws Wetenschap
  • Henk Maassen

    Henk Maassen is journalist bij Medisch Contact, met speciale belangstelling voor psychiatrie en neurowetenschappen, sociale geneeskunde en economie van de gezondheidszorg.  

Op dit artikel reageren inloggen
Reacties
  • Er zijn nog geen reacties
 

Cookies op Medisch Contact

Medisch Contact vraagt u om cookies te accepteren voor optimale werking van de site, kwaliteitsverbetering door geanonimiseerde analyse van het gebruik van de site en het tonen van relevante advertenties, video’s en andere multimediale inhoud. Meer informatie vindt u in onze privacy- en cookieverklaring.