Zelfde data, andere analisten: andere uitkomsten
3 reacties
Als tientallen analisten een hypothese onderzoeken aan de hand van dezelfde dataset, levert dat behoorlijk verschillende uitkomsten op. Dit blijkt uit een onderzoek van R. Silberzahn e.a. dat in Advances in Methods and Practices in Psychological Science is gepubliceerd.
Vier onderzoekers vonden – via verschillende netwerken – 29 teams met daarin 61 analisten met verschillende achtergronden bereid om aan dit project mee te doen. Zij probeerden de vraag te beantwoorden of voetballers met een donkere huid vaker een rode kaart kregen dan spelers met een lichtere huid. Zij kozen zelf welke variabelen ze gebruikten uit een dataset (gebaseerd op een seizoen in vier landelijke competities op het hoogste niveau), en welke analyse ze daarop loslieten. Dat verschilde onderling aanzienlijk: twee teams gebruikten geen één covariabele, andere zes tot zeven. De positie van de speler werd het meest meegenomen, maar bijna 1 op de 3 deed dat nog steeds niet. Maar één team nam het totaal aantal kaarten dat een scheidsrechter uitdeelde mee in de analyse, en dat gold voor nog twee variabelen. De gebruikte technieken varieerden van simpele lineaire, tot complexe multilevelregressies.
De uitkomsten varieerden logischerwijs ook: negen teams vonden geen statistisch significant verband, twintig wel. De oddsratio’s varieerden tussen 0,89 en 2,93. Silberzahn e.a. keken ook nog of ze een verband konden vinden tussen effectgrootte en de overtuigingen van de analisten bij aanvang (nee) en ervaring (een beetje: deze vonden iets vaker een statistisch significant effect, maar de variabiliteit onderling was bij ervaren én onervaren teams groot).
De auteurs benadrukken dat dit niet betekent dat analyseren van data en conclusies trekken een ‘subjectieve onderneming zonder connectie met de realiteit’ is, maar wel dat subjectieve beslissingen deel zijn van het onderzoeksproces en van invloed kunnen zijn op uitkomsten. ‘De beste verdediging tegen subjectiviteit in de wetenschap is om deze bloot te leggen’, stellen zij. Een nieuw pleidooi voor het delen van data dus, en openheid over toegepaste methodiek.
W.J.Duits
Bedrijfsarts, Houten
Het getuigt van weinig inzicht in de statistiek. Iedereen zou kunnen weten dat wanneer je niet dezelfde gegevens volgens eenzelfde methodiek gebruikt, je statistisch niet van een zelfde onderzoek kan spreken.
Petra Allis
verzekeringsarts, Rotterdam
Ik ben heel benieuwd naar de huidskleur van de analisten, gerelateerd aan de uitkomsten van hun analyse.
Mijn hypothese is, dat witte analisten minder vaak een verschil vonden dan analisten met een donkerder huidskleur.
Een mooi voorbeeld hierin ...vind ik de uitzending: 'Wit is ook een kleur'.
Er bestaat geen onderzoek zonder bias, denk ik. Zolang we ons dat maar realiseren, valt ermee te leven.
Jedidja Fortuijn
Aios psychiatrie , Haarlem
Dit zet ik in mijn hoofd meteen naast het resultaat gericht belonen van Menzis..