Dagelijks opinie, nieuws en achtergronden

Inloggen
naar overzicht
Wetenschap

Zelfde data, andere analisten: andere uitkomsten

3 reacties
Hollandse Hoogte | Vincent Van Doornick
Hollandse Hoogte | Vincent Van Doornick

Als tientallen analisten een hypothese onderzoeken aan de hand van dezelfde dataset, levert dat behoorlijk verschillende uitkomsten op. Dit blijkt uit een onderzoek van R. Silberzahn e.a. dat in Advances in Methods and Practices in Psychological Science is gepubliceerd.

Vier onderzoekers vonden – via verschillende netwerken – 29 teams met daarin 61 analisten met verschillende achtergronden bereid om aan dit project mee te doen. Zij probeerden de vraag te beantwoorden of voetballers met een donkere huid vaker een rode kaart kregen dan spelers met een lichtere huid. Zij kozen zelf welke variabelen ze gebruikten uit een dataset (gebaseerd op een seizoen in vier landelijke competities op het hoogste niveau), en welke analyse ze daarop loslieten. Dat verschilde onderling aanzienlijk: twee teams gebruikten geen één covariabele, andere zes tot zeven. De positie van de speler werd het meest meegenomen, maar bijna 1 op de 3 deed dat nog steeds niet. Maar één team nam het totaal aantal kaarten dat een scheidsrechter uitdeelde mee in de analyse, en dat gold voor nog twee variabelen. De gebruikte technieken varieerden van simpele lineaire, tot complexe multilevelregressies.

De uitkomsten varieerden logischerwijs ook: negen teams vonden geen statistisch significant verband, twintig wel. De oddsratio’s varieerden tussen 0,89 en 2,93. Silberzahn e.a. keken ook nog of ze een verband konden vinden tussen effectgrootte en de overtuigingen van de analisten bij aanvang (nee) en ervaring (een beetje: deze vonden iets vaker een statistisch significant effect, maar de variabiliteit onderling was bij ervaren én onervaren teams groot).

De auteurs benadrukken dat dit niet betekent dat analyseren van data en conclusies trekken een ‘subjectieve onderneming zonder connectie met de realiteit’ is, maar wel dat subjectieve beslissingen deel zijn van het onderzoeksproces en van invloed kunnen zijn op uitkomsten. ‘De beste verdediging tegen subjectiviteit in de wetenschap is om deze bloot te leggen’, stellen zij. Een nieuw pleidooi voor het delen van data dus, en openheid over toegepaste methodiek.

http://journals.sagepub.com/doi/pdf/10.1177/2515245917747646

lees ook

print dit artikel
Wetenschap
  • Sophie Broersen

    Journalist en arts niet-praktiserend Sophie Broersen schrijft over geneeskunde en zorg in de volle breedte: van wetenschap tot werkvloer, van arts-patiëntrelatie tot zorg over de grens. Samen met de juristen van de KNMG becommentarieert zij tuchtzaken.  

Dit artikel delen
Op dit artikel reageren inloggen

Reacties

  • W.J.Duits, Bedrijfsarts, Houten 16-10-2018 19:03

    "Het getuigt van weinig inzicht in de statistiek. Iedereen zou kunnen weten dat wanneer je niet dezelfde gegevens volgens eenzelfde methodiek gebruikt, je statistisch niet van een zelfde onderzoek kan spreken. "

  • Petra Allis, verzekeringsarts, Rotterdam 16-10-2018 10:20

    "Ik ben heel benieuwd naar de huidskleur van de analisten, gerelateerd aan de uitkomsten van hun analyse.
    Mijn hypothese is, dat witte analisten minder vaak een verschil vonden dan analisten met een donkerder huidskleur.
    Een mooi voorbeeld hierin vind ik de uitzending: 'Wit is ook een kleur'.
    Er bestaat geen onderzoek zonder bias, denk ik. Zolang we ons dat maar realiseren, valt ermee te leven. "

  • Jedidja Fortuijn , Aios psychiatrie , Haarlem 15-10-2018 20:30

    "Dit zet ik in mijn hoofd meteen naast het resultaat gericht belonen van Menzis.. "

 

Cookies op Medisch Contact

Medisch Contact vraagt u om cookies te accepteren voor optimale werking van de site, kwaliteitsverbetering door geanonimiseerde analyse van het gebruik van de site en het tonen van relevante advertenties, video’s en andere multimediale inhoud. Meer informatie vindt u in onze privacy- en cookieverklaring.