De normerende invloed van AI

Twee boeken zetten de toepassing van AI op scherp. Burgerlijke vrijheden en de rechtsstaat staan op het spel. Ook in de publieke gezondheidszorg.

Het probleem is bekend: meerdere zorgverleners leggen elk de gegevens van dezelfde patiënt in hun eigen ICT-systeem vast. Die ICT-systemen zijn niet aan elkaar gekoppeld en gebruiken niet dezelfde taal. Medische gegevens kunnen daardoor niet worden uitgewisseld. Dit leidt ertoe dat verschillende zorgverleners steeds dezelfde data moeten invoeren en overtypen. Gevolg: registratielast, fouten, zelfs gezondheidsschade. Minister van VWS Ernst Kuipers heeft onlangs in grote lijnen zijn plannen bekendgemaakt over hoe die ‘interoperabiliteit’ beter kan, en hoe patiënten meer zeggenschap over hun data krijgen. Uiteraard met alle waarborgen voor patiëntveiligheid en privacy die daarbij horen.

Nudgen

In Kuipers’ visie gaat het ook over het ‘secundair gebruik’ van geanonimiseerde data. Die data zijn nodig, aldus de minister in een korte passage, ‘om de beweging van zorg naar gezondheid, van zorg naar preventie te ondersteunen’. ‘Hiervoor is het gewenst dat data die in het primaire zorgproces ontstaan beschikbaar komen voor andere doeleinden vaak in combinatie met andere bronnen. Deze doelen kunnen gericht zijn op beleid, monitoring, onderzoek, innovatie en wettelijke taken. Dit vraagt een stelsel van afspraken om belangen van burgers te beschermen.’ Het hogere doel: ‘Transitie naar passende zorg.’

Wie kan daartegen zijn? Niemand toch? Maar dingen zijn zelden zo simpel als ze lijken. Tamar Sharon, hoogleraar filosofie, digitalisering en samenleving (Radbouduniversiteit) wees er al eens op in een interview met Medisch Contact: hoe meer data er van ons worden verzameld – niet alleen genetische of klinische gegevens, maar ook over ons dagelijkse leven, denk aan: eten, slapen, wonen, koopgedrag – hoe meer zicht er komt op hoe mensen tot het ‘juiste’ gedrag zijn te bewegen, zonder dat ze dat beseffen: nudgen. Maar dat impliceert ook verlies van autonomie. Je wordt immers gedwongen tot een bepaald gedrag, terwijl je je daarvan niet bewust bent.

Maxim Februari

Dat nudgen lijkt op wat schrijver en denker Maxim Februari in Doe zelf normaal de ‘nood-breekt-wetaanpak’ noemt: ‘We kunnen ons afvragen of wetten nog wel wetten zijn als we ze wel moeten gehoorzamen en ze niet langer kunnen aanvechten of overtreden.’ Je geeft je dan, zo betoogt hij, ‘wel erg snel gewonnen aan de virussen en ecosystemen die ons bedreigen’.

Bedenkelijker nog is volgens hem dat AI uit al die data zelfstandig regels kan afleiden. En dat op basis daarvan beslissingen zijn te nemen die door de mens worden ervaren als normatief. Je krijgt dan dwang die de plaats inneemt van het recht, aldus Februari. Hij geeft een voorbeeld. ‘In Schotland besloot de overheid onder de naam Getting It Right For Every Child een systeem op te tuigen voor jeugdzorg door gebruik te maken van data. De bedoeling was het risico te berekenen dat een kind in de problemen zou komen en zo crisissituaties te voorkomen. Om de risico’s te kunnen vaststellen, moesten organisaties zo veel mogelijk data over alle kinderen verzamelen en met elkaar delen. Maatschappelijk werk, scholen, politie, gezondheidszorg, woningbouwverenigingen en andere organisaties werkten samen en uiteindelijk ontstond een grote bak gegevens waaruit kwetsbare kinderen konden worden opgevist. Dat wil zeggen, kinderen die door data-analyses als kwetsbaar werden aangewezen. Rondom dit plan ontstond onrust, vooral omdat de familie van het kind geen inzage had in de gegevens en dus niet wist welke informatie werd verzameld en ook niet of die überhaupt klopte. Welke besluiten in de toekomst zouden worden genomen op basis van de verzamelde gegevens en de profielen, was ook niet duidelijk.’ In 2019 trok de Schotse regering het systeem in.

Normaal

Het komt allemaal neer op normaal zijn, normaal doen, of anderen verordonneren normaal te doen. Februari somt het nog maar eens op: we gebruiken statistieken om onze hartslag en ons gewicht binnen de statistische norm te krijgen, we spreken af wat een normale taille-heupverhouding is, we testen, meten, tellen, duwen en trekken net zo hard tot we voldoen aan het ideaal van de normale mens. Het bestuur dat de burger wil beschermen tegen ziekte en overlast, stelt daartoe een steeds strenger preventiebeleid op en moet zich uiteindelijk in staat en bereid verklaren de levensgeschiedenis van iedere burger afzonderlijk minutieus in kaart te brengen. Is dit een staaltje over the top doemdenken van een overigens vrij briljant auteur? Kan zijn, maar we moeten waakzaam zijn, want het resultaat is wel dat de burger zo zijn burgerrechten verliest, meent Februari.

Megalomane maakbaarheid

In het eveneens recente De integrale staat analyseert bestuurskundige Paul Frissen dezelfde kwesties. De juiste zorg op de juiste plek, het is allemaal goed en wel, zegt hij, maar wie bepaalt eigenlijk wat ‘juist’ is? ‘Is dat hetzelfde als “genoeg”? Is dat “zuinig”, of lean and mean?’ Wat als een patiënt overbehandeling wil in plaats van advanced care planning? U ziet: Frissen zet de dingen graag op scherp. Nee, juistheid en gepastheid zijn volgens hem helemaal geen neutrale termen. ‘Ze zijn ontleend aan wetenschappelijke en professionele paradigmata die politiek worden gesanctioneerd en via statelijke macht worden opgelegd en afgedwongen.’

Hij noemt preventie een megalomane vorm van maakbaarheid, omdat in het hier en nu handelingen en houdingen moeten worden bestreden die de gewenste toekomst in de weg staan. Dat kan alleen als de meerderheid een beeld heeft van die gewenste toekomst, bijvoorbeeld als het gaat om gezondheid. En dus een idee heeft over wat het ‘goede leven’ eigenlijk is. Maar dat maakt dat ‘goede leven’ niet langer tot een zaak van politiek of maatschappelijk debat – wat het naar zijn mening zou moeten zijn –, maar simpelweg tot een evidencebased notie. Het gevaar van een technocratie ligt daarmee op de loer.

In de kern van de zaak zijn hier steeds twee vrijheden in het spel: positieve vrijheid, dat wil zeggen ‘meester over jezelf zijn’, ook wel geformuleerd als: ‘de vrijheid om te…’. En de negatieve vrijheid: de afwezigheid van dwang door andere mensen. Deze vrijheid perkt het domein af waar de staat en anderen zich niet in mogen mengen. Zulke beperkingen zijn soms weliswaar onvermijdelijk – denk aan de maximumsnelheid op de snelweg – maar ze blijven desondanks vormen van dwang. Ingrijpen in iemands leven én pretenderen dat van bevoogding geen sprake is, dat bestaat niet in deze denkwijze. Frissen zegt het bondig en nogal krachtig: ‘De zelfredzame burger is de burger die zich normconform gedraagt, hij ervaart negatieve vrijheid, terwijl zijn positieve vrijheid in normaliteit is gedisciplineerd.’

Ethische theorie

Volgens Februari is er maar één slotsom mogelijk: het is in tijden van digitalisering en AI de hoogste tijd met elkaar over wenselijkheid van gedrag te praten in ‘rechtszalen, leesclubs, cafés, praatprogramma’s en de praathuizen die we parlementen noemen’. En nee, om ieder misverstand weg te nemen, dat is niet hetzelfde als het veel ger(n)oemde burgerberaad: ‘Hoe kun je denken dat je wat opschiet met een vergadering van 150 burgers als de samenleving zich al niet door 150 officiële volksvertegenwoordigers vertegenwoordigd voelt?’

Wat er volgens hem moet komen is een nieuwe, overkoepelende ethische theorie. ‘De nieuwe technologieën zijn er, ze verdwijnen niet vanzelf, we moeten in onze ethische reflectie rekening gaan houden met de computeriserende invloeden op de normering van gedrag, en dat is nieuw. Als eersten in de geschiedenis moeten we de informatie- en datatechnologie inpassen in de ethiek.’ Het kan niet anders of dat geldt mutatis mutandis ook voor de medische ethiek.

Doe zelf normaal, Maxim Februari, Prometheus, 142 blz., 22,50 euro.

De integrale staat, Paul Frissen, Boom, 303 blz., 29,90 euro.