KWALITEIT

Centrale berekening indicatoren is efficiënter én betrouwbaarder

Neem vijf ziekenhuizen en ze leveren op drie verschillende manieren gegevens aan voor de kwaliteitsindicator ‘volume aneurysma aorta abdominalis (AAA)-operaties’. Het resultaat is een onbetrouwbare vergelijking tussen ziekenhuizen. Terwijl er in bestaande registraties genoeg data voorhanden zijn.

Er is behoefte aan betrouwbare en bruikbare informatie over kwaliteit van zorg. Artsen willen inzicht in en feedback over hun handelen, patiënten en verwijzers willen een arts kiezen op basis van kwaliteit, en zorgverzekeraars willen dezelfde informatie om (gedifferentieerd) te contracteren. De registratiedruk die gepaard gaat met het vastleggen van een veelheid aan kwaliteitsindicatoren is voor artsen, verpleegkundigen en zorginstellingen echter groot.¹ Tegelijkertijd geven patiënten aan dat zij – juist door de grote hoeveelheden kwaliteitsinformatie – niet kunnen beoordelen wat nu relevante kwaliteitsinformatie is en wat niet. Het ministerie van Volksgezondheid, Welzijn en Sport (VWS) wil daarom de beschikbare informatie voor patiënten over de kwaliteit van ziekenhuiszorg verbeteren en heeft 2015 uitgeroepen tot het jaar van de transparantie.²

Spagaat
Veel ziekenhuizen stellen dat er onnodig veel kwaliteitsinformatie wordt uitgevraagd door allerlei externe partijen, zoals de Inspectie voor de Gezondheidszorg (IGZ), Zorginstituut Nederland, andere klinische registraties en zorgverzekeraars.^{3 4} Ze ervaren de inhoud van de indicatoren niet altijd als relevant en daarmee deels niet bruikbaar voor hun interne kwaliteitscyclus. Daarnaast is de betrouwbaarheid van de gerapporteerde indicatoren lastig vast te stellen.¹ Zo zijn de definities van indicatoren vaak weinig specifiek en worden uitkomsten van zorg uitgevraagd, maar niet gecorrigeerd voor verschillen in casemix.⁵ Dit kan leiden tot aantoonbaar onjuiste scores van ziekenhuizen, bijvoorbeeld drie jaar op een rij een infectiepercentage van 0 procent bij bepaalde ingrepen.⁶
Deze spagaat tussen enerzijds de behoefte aan transparantie en anderzijds de hoge rapportage- en registratiedruk (zie kader) vraagt om een nieuwe benadering van het genereren van kwaliteitsinformatie.

Praktijkvoorbeeld
De indicator ‘volume aneurysma aorta abdominalis (AAA)-operaties’ illustreert dat op het oog eenvoudige indicatoren verschillend geïnterpreteerd en berekend kunnen worden. De IGZ vraagt deze indicator uit, omdat de beroepsvereniging als norm stelt dat ziekenhuizen minimaal twintig AAA-operaties per jaar dienen uit te voeren.
Voor onze studie hadden wij de beschikking over de data van vijf ziekenhuizen uit het dbc-informatiesysteem (DIS) uit 2011. Met deze data hebben wij de indicator volume AAA ‘berekend’ en vergeleken met de indicatorwaarden die de ziekenhuizen aan de IGZ hebben aangeleverd. Op basis van de definitie van de indicator zijn vier interpretaties mogelijk:

a. aantal dbc’s met diagnosecode 405 (aneurysma aorta iliacaal) en 406 (aneurysma aorta abdominalis, ruptuur);
b. aantal unieke patiënten met diagnosecode 405 en 406;
c. aantal dbc’s met diagnosecode 405;
d. aantal unieke patiënten met diagnosecode 405.

Volgens de definitie van de Nederlandse Vereniging voor Heelkunde hoort code 406 niet meegenomen te worden, omdat dit geen electieve ingreep is.⁷ Maar niet elk ziekenhuis houdt zich hieraan (zie figuur). In de figuur zijn gestandaardiseerde indicatorwaarden te zien zoals die door de ziekenhuizen zijn aangeleverd (links), en berekend uit de DIS-data (rechts) volgens de vier verschillende interpretatiewijzen (A-D). De pijl geeft per ziekenhuis aan welke berekening overeenkomt met de aangeleverde waarde. 
 

 
Onbetrouwbaar
Uit de waarden aangeleverd bij de IGZ zouden we concluderen dat ziekenhuis 5 het meest ervaren is. Echter, als we dieper naar de DIS-data kijken, zien er we dat ziekenhuis 5 de indicator volgens interpretatie A heeft berekend (aantal dbc’s met diagnosecode 405 én 406), terwijl ziekenhuizen 1 en 3 op unieke patiënten tellen (interpretatie B) en ziekenhuizen 2 en 4 alleen diagnosecode 405 meenemen (interpretatie D). Bij uniforme berekening zijn ziekenhuis 1 en 2 telkens de meest ervaren ziekenhuizen. Doordat de ziekenhuizen de indicator op verschillende manieren berekenen, ontstaat dus een vertekend beeld.
Dit voorbeeld laat zien dat zelfs een op het oog zeer eenvoudige indicator verschillend geïnterpreteerd wordt. En dat leidt tot een onbetrouwbare vergelijking. Terwijl de indicator wel wordt gebruikt in kwaliteitsvergelijkingen tussen ziekenhuizen (de ‘top 100’-lijsten) en zorginkoop. Deze onbetrouwbaarheid voedt het wantrouwen tegen de indicatoren en verklaart tegelijkertijd waarom een deel van de informatie niet gebruikt wordt voor interne kwaliteitsverbetering. Dit leidt tot extra aversie tegen de inspanningen die de verzameling met zich meebrengt en daarmee is de vicieuze cirkel rond.

Bestaande data
Om kwaliteitsindicatoren bruikbaar te maken voor zowel interne sturing als externe verantwoording is het van cruciaal belang dat de indicatoren inhoudelijk relevant én betrouwbaar zijn. Het voorbeeld laat zien dat de huidige decentrale manier van aanlevering in combinatie met weinig scherpe definities van indicatorwaarden leidt tot onvergelijkbare indicatoren en daarmee onbruikbare informatie. We tonen daarmee aan dat gebruikmaken van dezelfde databronnen een voorwaarde is, maar niet voldoende. De indicatoren moeten ook op dezelfde wijze geïnterpreteerd en berekend worden.
Een oplossing is om de indicatoren centraal te berekenen op reeds bestaande datasets: dit scheelt tijd en moeite en verhoogt de betrouwbaarheid. In het voorbeeld is daarvoor gebruikgemaakt van de DIS-data. Naast DIS zijn er nog meer registraties die ziekenhuizen standaard moeten bijhouden (zie kader). Deze bevatten een schat aan informatie. Zo worden onder andere de diagnoses, verrichtingen en algemene gegevens geregistreerd. In ons onderzoek hebben wij bekeken in hoeverre de kwaliteitsindicatoren voor hart- en vaataandoeningen die aan de ziekenhuizen worden uitgevraagd door het Kwaliteitsinstituut, Kwaliteitsvenster en de IGZ, te berekenen zijn uit bestaande administratieve en medische registraties (DIS, Vektis en Landelijke Basisregistratie Ziekenhuiszorg). Van de onderzochte indicatoren blijkt 50 procent reeds uit de combinatie van deze registraties gehaald te kunnen worden, zonder extra registratie.
Veel ziektespecifieke kwaliteitsregistraties, zoals die van het Dutch Institute for Clinical Auditing (DICA), berekenen de indicatoren al centraal. Een combinatie van dergelijke klinische registraties en de genoemde databases zou van extra meerwaarde zijn. Daarmee kunnen namelijk de beperkingen van administratieve data voor kwaliteitsmeting, zoals het grotendeels ontbreken van de klinische informatie voor casemixcorrectie, deels ondervangen worden.⁸

Lange weg
Kortom, de centrale berekening van indicatoren uit bestaande data kan winst opleveren in zowel efficiëntie als betrouwbaarheid. Dit neemt overigens niet weg dat kritisch gekeken moet worden naar de inhoudelijke relevantie van indicatoren, met name voor interne kwaliteitsverbetering. Immers, helemaal niet uitvragen is nog altijd efficiënter dan centraal berekenen. Naast winst in efficiëntie en betrouwbaarheid nemen de mogelijkheden voor bijvoorbeeld casemixcorrectie en validatie toe. Daarmee kunnen vragen als ‘Wat zegt de indicator over de kwaliteit van de geleverde zorg?’ en ‘Waarom willen we deze indicator weten en wat gaan we doen met de informatie?’ weer centraal staan. Er is nog een lange weg te gaan voordat bruikbare en betrouwbare informatie over kwaliteit van zorg op brede schaal beschikbaar zal zijn. Maar met het centraal berekenen van kwaliteitsindicatoren zetten we een stap in de goede richting.

auteurs

Wouter Bender
student econometrie en geneeskunde, Erasmus Universiteit Rotterdam
scriptant, KPMG Plexus/Erasmus MC

Marit Tanke
senior onderzoeker Celsus academie voor betaalbare zorg, Radboudumc

David Ikkersheim
director, KPMG Plexus

Hester Lingsma
universitair docent, Erasmus MC

contact

wouterbender@live.nl

cc: redactie@medischcontact.nl

Geen belangenverstrengeling gemeld

Lees ook

• Administratieve regeldruk is onveranderd groot (8 mei 2015)
• Waarom ziekenhuizen de AAA-norm niet halen (24 juli 2014)
• Norm niet gehaald, toch opereren (29 augustus 2013)

Voetnoten

1. Kringos DS, Anema HA, Asbroek AHA et al. Beperkt Zicht: Onderzoek Naar de Betrouwbaarheid, Validiteit En Bruikbaarheid van Prestatie-Indicatoren over de Kwaliteit van de Nederlandse Ziekenhuiszorg. AMC, EMC, LUMC; 2012.
2. Minister van Volksgezondheid. Transparantie van kwaliteit in de curatieve zorg. juli 2014.
3. Visser J. Administratieve regeldruk is onveranderd groot. mei 2015.
4. Algemene Rekenkamer. Indicatoren voor kwaliteit in de zorg. 2013.
5. Anema HA, van der Veer SN, Kievit J, et al. Influences of definition ambiguity on hospital performance indicator scores: examples from The Netherlands. Eur J Public Health. 2014, 24 (1): 73-78.
6. Anema HA, Kievit J, Fischer C, Steyerberg EW, Klazinga NS. Influences of hospital information systems, indicator data collection and computation on reported Dutch hospital performance indicator scores. BMC Health Serv Res. 2013, 13(1):212.
7. Nederlandse vereniging van Heelkunde. Overzicht van zorgactiviteiten bij volumenormen. 2014.
8. Fischer C. Testing the Construct Validity of Hospital Care Quality Indicators: A Case Study on Breast Cancer and Hip-Replacement. Working paper: Erasmus University Rotterdam. 2014.