Vergelijken is zinloos

Wondinfecties benchmarken biedt slechts schijnveiligheid

Het aantal postoperatieve wondinfecties halveren, is uiteraard een loffelijk streven. Maar onderlinge vergelijking van ziekenhuizen op dit gebied draagt hieraan niet bij. Te veel verschillende factoren beïnvloeden de uitkomst van zo’n benchmark.

In Nederland is in 2008 een landelijk programma van start gegaan onder de naam ‘Voorkom schade, werk veilig’. Het programma heeft als doel de vermijdbare onbedoelde schade aan patiënten met 50 procent terug te dringen binnen vijf jaar en de introductie van een veiligheidsmanagementsysteem (VMS) in de ziekenhuizen. De Orde van Medisch Specialisten is samen met de ziekenhuis- en verpleegkundige koepels partner in dit programma. Er is een landelijke uitvoeringsorganisatie (het bureau VMSzorg). Een van de tien uitgekozen actuele thema’s die zich lenen voor schadereductie, is het terugdringen van het aantal postoperatieve wondinfecties. Het doel is om in vijf jaar het optreden van deze ziekenhuisinfectie met de helft te verminderen.

Spiegelen
Hoewel benchmarken geen doel is van het programma wil de VMS-themagroep wondinfecties gaan benchmarken: het onderling vergelijken van ziekenhuizen qua incidentie van postoperatieve wondinfecties. Een ziekenhuis vergelijkt zich met een leidend referentieziekenhuis en gaat daarbij na of en wat er valt te leren van die referentieorganisatie als het gaat om infectiepreventiemaatregelen, zodat het aantal wondinfecties in het eigen huis afneemt. Nu bestaat er op het gebied van de preventie van ziekenhuisinfecties nergens in Nederland noch daarbuiten een leidend referentieziekenhuis waaraan ziekenhuizen zich kunnen spiegelen. Wat wel bestaat zijn grote databanken met gegevens over het voorkomen van ziekenhuisinfecties in een aantal landen, waaronder de Verenigde Staten (NNISS), Duitsland (KISS) en Nederland (Prezies). Die databanken zijn in de loop der jaren gevuld met gegevens over de incidentie van ziekenhuisinfecties.

Zo bevat de Nederlandse Prezies-databank registratiegegevens vanaf 1996. Niet alle ziekenhuizen in Nederland nemen deel aan de registratie van ziekenhuisinfecties volgens Prezies. De Nederlandse universitair medische centra hebben bijvoorbeeld nauwelijks bijgedragen aan de gegevens over postoperatieve wondinfecties in de Prezies-databank. Van de ziekenhuizen die wel deelnemen, zijn er maar een paar die continu de registratie volgens Prezies uitvoeren, de meeste doen slechts af en toe mee. Bovendien beperken ziekenhuizen zich tot het registreren van wondinfecties bij bepaalde typen ingrepen.

Grote spreiding
De VMS-themagroep wondinfecties stelt nu voor dat ieder ziekenhuis zich in het kader van het landelijke veiligheidsprogramma spiegelt aan de Prezies-databank, in het bijzonder aan de 25ste percentielen van de infectiepercentages van dertien ingrepen in die databank.1 Die dertien 25ste percentielen vertegenwoordigen als het ware het leidende referentieziekenhuis van Nederland; dat is de benchmark. De grafiek geeft een voorbeeld van de percentielverdeling van de percentages wondinfecties per ziekenhuis na een bepaalde operatieve ingreep.

Wat onmiddellijk opvalt, is de grote spreiding in de infectiepercentages, van bijna 0 naar 13 procent. Er is geen sprake van een normaalverdeling, wat duidt op grote heterogeniteit onder de deelnemende ziekenhuizen. Een verticale stippellijn in de figuur duidt het 25ste percentiel van deze verdeling aan, hier 2 procent. Dat wil zeggen dat 25 procent van de deelnemende ziekenhuizen een infectiepercentage van minder dan 2 procent had en 75 procent een infectiepercentage van meer dan 2 procent. Voor alle dertien geselecteerde ingrepen geldt dat de spreiding in wondinfectiepercentages in de Prezies-databank groot is en niet normaal verdeeld.

Gevaarlijk
De oorzaken voor de grote en niet-normaal verdeelde spreiding in het voorkomen van postoperatieve wondinfecties zijn slechts ten dele bekend. Factoren van de patiënt (casemixverschillen, bijvoorbeeld in leeftijd, onderliggende ziekten, adipositas, etniciteit, dragerschap), factoren van het operatieteam (ervaring) en omgevingsfactoren (luchtkwaliteit) spelen ongetwijfeld een rol. Deze bekende factoren kunnen echter slechts een beperkt deel van de variatie in infectiepercentages tussen ziekenhuizen verklaren. Dat geldt voor vrijwel alle typen ziekenhuisinfecties. Experts op dit gebied waarschuwen daarom regelmatig tegen directe vergelijkingen van de percentages ziekenhuisinfecties van ziekenhuizen. We weten dus niet waarom in het voorbeeld (zie figuur) het ene ziekenhuis voor de ingreep een zeer laag (<1%) infectiepercentage rapporteert en een ander ziekenhuis meer dan 10 procent. Zelfs als men de cijfers corrigeert voor enkele van bovengenoemde factoren, bijvoorbeeld door toepassing van de Amerikaanse NNISS-risk index voor postoperatieve wondinfectie, blijft een grote spreiding bestaan. Terecht hebben Prezies en andere groepen experts in binnen- en buitenland zich daarom altijd verzet tegen het op naam publiceren van de infectiecijfers van individuele ziekenhuizen. We weten niet welke factoren allemaal schuilgaan achter de waargenomen verschillen. Het is dan ook onjuist, en zelfs gevaarlijk, te stellen dat ziekenhuizen met lage infectiepercentages betere en dus veiligere zorg leveren dan ziekenhuizen die hoger scoren.

Desalniettemin stelt de VMS-themagroep voor dat ziekenhuizen vijf ingrepen kiezen uit de lijst van dertien en zich ten doel stellen om binnen vijf jaar onder het 25ste percentiel van de Prezies-verdelingen van die vijf ingrepen uit te komen. Dat moet worden bereikt door het introduceren van een en dezelfde bundel van algemene preventieve maatregelen. Kennelijk vindt het VMS-expertteam het 25ste percentiel de beste ‘vertaling’ van het originele doel van het landelijke VMS-programma, de incidentie van postoperatieve wondinfecties met 50 procent te verlagen in vijf jaar. Dat is raar en illusoir.

Denkfout
Raar omdat, als het alle ziekenhuizen zou lukken om hun percentages wondinfectie onder die 25ste percentielen te brengen, er dan sprake is van een veel grotere reductie in het voorkomen van postoperatieve wondinfecties dan 50 procent, namelijk van meer dan 75 procent. De VMS-themagroep heeft daarmee de lat nog veel hoger gelegd dan het landelijke VMS-programma met 50 procent al doet. De VMS-themagroep geeft daarvoor geen argumenten. Wellicht hebben zij een denkfout gemaakt en gaan zij ervan uit dat het reduceren tot onder het 25ste percentiel een reductie met ongeveer 50 procent inhoudt.

Het door de VMS-themagroep gestelde doel is illusoir, omdat het niet haalbaar is voor veel ziekenhuizen, met name voor die ziekenhuizen die nu boven de 50ste procent percentiel liggen, onder andere vanwege hun casemix (patiëntgebonden factoren), of omdat zij opleidingsprogramma’s in de chirurgische vakken hebben en ingrepen worden verricht door nog onervaren operatieteams. Aan de meeste patiëntgebonden factoren valt preventief niet veel te doen, en alleen maar zorg leveren in ziekenhuizen zonder opleidingen in de chirurgisch vakken is ook geen optie. De nog onbekende determinanten van wondinfecties zijn per definitie niet te beïnvloeden. Kortom, wij blijven, ondanks de introductie van de bundels met algemeen preventieve maatregelen, te maken hebben met grote verschillen tussen ziekenhuizen, en dus ook met verschillen in het voorkomen van wondinfecties. Ook als de zorg in alle ziekenhuizen op hetzelfde veiligheidsniveau zou worden geleverd. Alle ziekenhuizen benchmarken met een landelijk doelcijfer per ingreep, te weten de 25ste percentielen van Prezies, is daarom niet zinvol, want niet haalbaar, dus niet SMART (Specifiek, Meetbaar, Acceptabel, Realistisch en Tijdgebonden).

Mislukt
Omdat ziekenhuizen mogen kiezen welke vijf ingrepen ze gaan monitoren, zal – om bovenstaande reden – de verleiding groot zijn om die ingrepen te kiezen waarvan het ziekenhuis weet dat het nu al dicht bij of onder de 25 percentiel zit. Men wil na vijf jaar immers niet als ‘mislukt, en dus onveilig ziekenhuis’ te boek komen te staan. In dat geval verliest het hele veiligheidsprogramma zijn waarde en houden we elkaar voor de gek. Het risico bestaat immers dat ziekenhuizen straks ten onrechte worden afgerekend door overheid (inspectie) en verzekeraars als mocht blijken dat hun wondinfectiepercentages boven die 25ste percentiel zijn blijven steken.

Een consortium van Chief Quality Officers uit een aantal Amerikaanse topziekenhuizen (Harvard e.a.) heeft zich onlangs krachtig uitgesproken tegen het benchmarken van ziekenhuizen op basis van hospital standardized mortality ratios.2 Net als ziekenhuisinfecties is ziekenhuissterfte, zelfs na correctie voor ernst van ziekte, geen goede maat voor veilige zorg. Dit soort cijfers kunnen per ziekenhuis wel goed dienen als interne maat om trends in het eigen ziekenhuis te monitoren en de effecten van interventies in het eigen huis te meten. Laat elk ziekenhuis zijn eigen benchmark zijn, dat is veel beter.

prof. dr. Henri A. Verbrugh,

arts-microbioloog, Erasmus MC, Rotterdam

Correspondentieadres: h.a.verbrugh@erasmusmc.nl;

c.c.: redactie@medischcontact.nl

Geen belangenverstrengeling gemeld.

Samenvatting
- Het landelijk veiligheidsprogramma stelt voor de percentages wondinfecties in ziekenhuizen te vergelijken met een ‘benchmark’, de database van het landelijk surveillanceprogramma voor ziekenhuisinfecties Prezies.
- Deze benchmark laat echter zien dat er grote, onverklaarde verschillen zijn tussen ziekenhuizen in het voorkomen van wondinfecties na vergelijkbare ingrepen.
- Voor veel ziekenhuizen zal het daarom niet haalbaar zijn om met algemene maatregelen de norm te halen.
- Beter is het wanneer elk ziekenhuis zijn eigen benchmark vormt.

 Referenties:
1. VMS Veiligheidsprogramma. Praktijkgids ‘Voorkomen van wondinfecties na een operatie’.

2. Consortium of chief quality officers. Using hospital standardized mortality ratios for public reporting: a comment by the consortium of chief quality officers. Am J Med Qual 2009; 24: 164-5.

MC-artikel:
J. Nieuwenhuizen c.s.  Infectiegevaar: ziekenhuisinfecties kunnen kwaliteitsindicator zijn, Medisch Contact 2005; 60 (42): 1680.