Hoe een algoritme onterecht raciaal verschil maakt

Toepassen van algoritmen in de gezondheidszorg moet je kritisch blijven volgen vanwege het – vaak subtiele – gevaar van bias. Mooi voorbeeld daarvan is onderzoek van Ziad Obermeyer e.a., gepubliceerd in Science.

Ze laten zien hoe een in de VS veelgebruikt algoritme aanzienlijke, maar onjuiste verschillen voorspelt in de gezondheidsrisico’s van Afro-Amerikaanse en blanke Amerikaanse patiënten. Het veel gebruikte hulpmiddel onderschat de gezondheidsbehoeften van de eerste groep. Het blijkt namelijk dat bij dezelfde risicoscore het algoritme bepaalt dat zwarte patiënten gezonder zijn dan blanken.

Ziad Obermeyer e.a. kregen toegang tot de onderliggende gegevens en functies van het algoritme en waren zo in staat om als het ware de innerlijke werking ervan te observeren – inclusief hoe de raciale verschillen ontstaan. Ze ontdekten dat het algoritme gezondheidskosten gebruikt als een benadering (‘een proxy’) voor de gezondheidsbehoeften van een bepaalde bevolkingsgroep. Die zorgkosten zijn, zo laten ze vervolgens zien, de oorzaak van de bias: de Afro-Amerikaanse bevolking maakt over het algemeen lagere kosten dan het blanke deel van de bevolking, omdat ze domweg minder toegang hebben tot de zorg. Volgens Obermeyer e.a. is deze bevinding daarom zo zorgwekkend, omdat het op het eerste gezicht volstrekt redelijk lijkt kosten als een proxy voor gezondheid c.q. ziekte te beschouwen. In een fel commentaar voegt Ruha Benjamin (universiteit van Princeton) daar nog aan toe dat de data die worden gebruikt om geautomatiseerde systemen, zoals het onderzochte algoritme, te trainen vaak historisch van aard zijn en, dus als het om gezondheidszorg gaat, allerlei gegevens bevatten die ontleend zijn aan ongewenste praktijken, zoals raciaal gescheiden ziekenhuisfaciliteiten en racistische medische curricula. Het algoritme wordt nu aangepast op basis van de uitkomsten van het onderzoek.

Medisch Contact 26 - Special: Kunstmatige intelligentie