Valse vergelijkingen
Plaats een reactieZin en onzin van rangorden in gezondheidszorgkenmerken
Het opstellen van lijstjes, zoals de gemiddelde ligduur in verschillende ziekenhuizen, de beste dokter, de succesvolste specialist, mag dan een geliefkoosde bezigheid zijn, de feitelijke onderbouwing van die lijstjes is beperkt. Veel vergelijkingen gaan dus mank.
C.J.P.M. van Mosseveld en J.M. Smit
Dit artikel handelt over de zin en onzin van rangorden op het terrein van de gezondheidszorg. Het opstellen van rangorden komt meer en meer in zwang en komt voort uit de behoefte om inzicht te krijgen in de prestaties van instellingen en vrije beroepsbeoefenaren. Rangorden zijn onlosmakelijk verbonden met het vergelijken van gegevens. In die zin behandelen we dus evenzeer de zin en onzin van het vergelijken van gegevens over de zorg.
We gaan eerst in op de begrippen rangorde en vergelijken. Vervolgens bespreken we internationale en nationale voorbeelden van zinvolle en minder, of niet-zinvolle rangorden in de gezondheidszorg.
Zinvol
Van alles wat is te meten, kun je een rangorde samenstellen. Een rangorde wordt samengesteld op basis van concrete, aanwijsbare criteria. Rangorden zijn pas zinvol als ze een doel dienen, bijvoorbeeld leren van anderen (instellingen, landen) die het op een bepaald terrein kennelijk beter doen. Hoe concreter het doel, hoe zinvoller de rangorde.
De te formuleren doelen hangen uiteraard samen met de manier waarop rangorden worden gebruikt. Mogelijke gebruikers zijn: patiënten, zorgaanbieders, overheid, zorgverzekeraars, internationale organisaties, onderzoeksinstituten, media. Een patiënt zal een andere toptien van beste ziekenhuizen opstellen dan een verzekeraar of een overheidsinstantie.
Om rangorden op te stellen moeten data over kenmerken met elkaar worden vergeleken. Voor een verantwoorde vergelijking dienen de kenmerken identiek te zijn. Cruciaal hierbij is inzicht in de activiteiten van instellingen en personen, en kennis van de diverse operationele zorgsystemen.
Vergelijkbaar
De gegevens over de gezondheidszorg die in diverse nationale en internationale onderzoeken worden gebruikt, zijn niet zonder meer vergelijkbaar tussen landen. Veel onderzoekers en gebruikers besteden evenwel nauwelijks aandacht aan de vergelijkbaarheid van dit cijfermateriaal; de cijfers worden gebruikt zoals ze worden gepresenteerd. De gebruiker beseft veelal niet dat de data niet vergelijkbaar zijn.
Om de vergelijkbaarheid te verbeteren, wordt vaak gebruikgemaakt van gegevens uit erkende databanken, zoals het Systeem van Nationale Rekeningen (SNR). Het SNR beoogt de economie, in al zijn relevante aspecten en relaties, macro-economisch volledig en consistent in beeld te brengen. Deze berekeningen komen tot stand op basis van internationale classificaties en internationaal overeengekomen definities en afspraken. Macro-economisch (dat wil zeggen op hoog aggregatieniveau) levert de vergelijking van gegevens tussen landen betrouwbare resultaten op. Op een lager aggregatieniveau laat de vergelijkbaarheid echter te wensen over. Het SNR is niet opgezet voor branchevergelijkingen en het levert dan ook zelden de informatie op die managers, bestuurders en politici op bijvoorbeeld het terrein van de gezondheidszorg nodig hebben. Essentieel hierbij is dat de gebruiker niet kan bepalen of de te vergelijken data berusten op een uniform pakket van activiteiten. Desondanks worden de data uit het SNR veelvuldig gebruikt.
Veel landen gebruiken gezondheidszorgrekeningen om de informatie te kunnen genereren die beleidsmakers en bestuurders verlangen. Deze rekeningen zijn over het algemeen gedetailleerder dan de eerder genoemde SNR-data. Gezondheidszorgrekeningen zijn in principe niet vergelijkbaar tussen landen, omdat ze voor een nationaal doel zijn opgezet. Deze rekeningen geven derhalve geen vergelijkbare uitkomsten. Het basisprobleem bij alle internationale vergelijkingen - de samenstelling van het activiteitenpakket van de eenheden of programmas die worden vergeleken - wordt met nationale gezondheidszorgrekeningen niet opgelost (zelfs niet als een standaardset definities en classificaties wordt gebruikt).
Verschillen in terreindekking
Eén van de beste databases met gegevens over uitgaven aan de gezondheidszorg, de OECD Health Data Base, wordt onderhouden door de OESO (Organisatie voor Economische Samenwerking en Ontwikkeling). De OECD Health Data Base wordt jaarlijks gevuld met data die voortkomen uit de nationale gezondheidsrekeningen of nationale rekeningen. Hoewel het secretariaat van de OESO veel moeite doet om alle gegevens, en zeker die over de uitgaven aan gezondheidszorg, zo vergelijkbaar mogelijk te krijgen, is de informatie uit verschillende landen na ruim 25 jaar nog steeds niet volledig op gelijke leest geschoeid. Problemen ontstaan door verschillen in terreindekking, in definities van termen, in kwaliteit van de door landen verzamelde data en in gehanteerde berekeningsmethoden. Het belangrijkste probleem is echter dat de inhoud van de vergeleken eenheden, niet identiek is.
In veel internationale vergelijkingen drukt men uitgaven uit als percentage van het bruto binnenlands product (BBP). Zolang de inhoud en de indeling van het terrein van de gezondheidszorg niet goed overeenkomen, is een rangorde aanbrengen in dit gegeven in feite zinloos.
Signalerende functie
Grafiek 1 is een voorbeeld van een zinloze ordening. Deze grafiek geeft de gemiddelde verpleegduur van intramurale en acute zorg van een aantal OESO-landen weer. Een kortere gemiddelde verpleegduur is niet per definitie beter dan een langere. En zolang de omschrijving en inhoud van intramurale en acute zorg niet vergelijkbaar zijn, is een rangorde niet zinvol.
Hierbij is een kanttekening op zijn plaats. Hoewel we geen harde conclusies aan deze ordening kunnen verbinden, kunnen de cijfers wel een signalerende functie hebben. De rangorde kan zinvol zijn om na te gaan waarom bepaalde landen een hogere gemiddelde verpleegduur registreren.
Een meer zinvolle reeks cijfers is de BMI (body-mass index) ofwel Quetelet-index, zie grafiek 2. Hiervoor geldt dat binnen zekere grenzen, minder (een lage BMI) beter is dan meer (een hoge BMI). De BMI kan worden gezien als een objectieve meting van een feitelijke situatie.
In het World Health Report 2000 (WHR 2000), met daarin een rangorde van alle lidstaten, ging de Wereldgezondheidsorganisatie (WHO) nog een stap verder. Niet alleen zijn in het WHR 2000 diverse bronnen van data gebaseerd op verschillende systemen van verzameling, ook berusten talloze schattingen op kleine aantallen waarnemingen van uitgavendata. Dezelfde werkwijze is gevolgd voor andere variabelen die ten grondslag liggen aan de samenstelling van de rangordetabellen. Deze rangorden kunnen derhalve niet anders dan onvergelijkbare resultaten opleveren.
Het RIVM concludeerde dan ook dat de toegepaste black box-benadering van de WHO geen duidelijke boodschap voor de Nederlandse politiek kon afgeven. Het is moeilijk iets te vinden in het WHR 2000 dat leerzaam zou kunnen zijn voor gezondheidszorgbeleid en gezondheidszorganalyse.
Inzicht in prestaties
Op nationaal niveau worden er in toenemende mate rangorden gebruikt om inzicht te geven in de prestaties van zorgaanbieders. Het achterliggende idee is dat in een meer marktgeoriënteerd zorgsysteem keuzes mogelijk moeten zijn. Een belangwekkend onderzoek op dit terrein is het Ziekenhuisvergelijkingssysteem, Een vergelijkend onderzoek van ziekenhuizen in Nederland, dat in opdracht van de Consumentenbond is uitgevoerd. Over de zinvolheid van dit onderzoek wordt verschillend gedacht. We toetsen dit onderzoek aan de hand van de beschreven benaderingen.
Het onderzoek beoogt het keuzeproces van de patiënt te ondersteunen en de zorgaanbieders over de kwaliteit van de dienstverlening te informeren. De verstrekte informatie dient dus twee verschillende gebruiksdoelen.
In hoeverre komen deze gebruiksdoelen tot hun recht? Bezien vanuit het perspectief van het keuzeproces van de cliënt zijn de volgende kanttekeningen relevant:
- alleen niet-urgente zorg leent zich voor het maken van keuzes;
- alleen basale zorg wordt door alle ziekenhuizen aangeboden. Bij topklinische zorg valt weinig te kiezen;
- de mobiliteit van de patiënt is zeer verschillend. De meeste cliënten willen dicht bij huis worden geholpen.
De bruikbaarheid van dit onderzoek voor de cliënt wordt mede bepaald door zaken als kwaliteit van de diagnose, de kwaliteit van de ingrepen en de kwaliteit van de nazorg. Het niveau van de individuele medicus die de behandeling uitvoert of de individuele verpleegkundige die de nazorg levert, is van eminent belang, maar komt in het onderzoek alleen terug in het gemiddelde van de gepresenteerde variabelen. In het onderzoek van de Consumentenbond wordt de kwaliteit gemeten op het niveau van het specialisme. Een patiënt wordt echter niet behandeld door een specialisme, maar door een specifiek individu.
Zorgzwaarte
Het ondersteunen van het keuzeproces van de patiënt is met de beschikbare gegevens dus niet goed mogelijk. Ook als gegevens per individuele specialist bekend zouden zijn, geldt deze conclusie. Immers, specialisten in academische ziekenhuizen behandelen in zijn algemeenheid patiënten met zwaardere of complexere medische problemen dan specialisten in algemene ziekenhuizen. Een keuze van een patiënt op basis van een rangorde is alleen mogelijk als de rangorde is samengesteld aan de hand van voor die rangorde relevante kenmerken, die breed gedragen, vergelijkbaar en objectief meetbaar zijn.
Vanuit het perspectief van de zorgaanbieder is de kwaliteit van de geleverde zorg een belangrijk vertrekpunt. In de relatie tussen zorgaanbieder en patiënt lijkt kwaliteit echter minder belangrijk dan het imago van de instelling. De instelling moet cliënten aan zich binden om in economische zin te overleven. Vanuit een economisch oogpunt is dus de omvang van de productie belangrijk. Rangorden die iets zeggen over de tevredenheid van de cliënt, kunnen de instellingen behulpzaam zijn bij het uitstippelen van hun beleid. Vanuit dit gebruiksdoel zijn de door de Consumentenbond gepubliceerde rangorden zinvol.
dr. C.J.P.M. van Mosseveld
drs. J.M. Smit
beiden zijn werkzaam bij het Centraal Bureau voor de Statistiek
Correspondentieadres:
en
.
SAMENVATTING
l Het opstellen van rangorden komt meer en meer in zwang en hangt nauw samen met de behoefte om inzicht te krijgen in de prestaties van instellingen en vrijeberoepsbeoefenaren.
l Rangorden zijn onlosmakelijk verbonden met het vergelijken van gegevens.
l Rangorden zijn het meest zinvol als doelen en gebruik zo concreet mogelijk zijn geformuleerd en maximaal op elkaar zijn afgestemd.
l Om gegevens te kunnen vergelijken moet exact bekend zijn waar de grenzen van het onderzoeksterrein liggen.
l Bovendien moet bekend zijn welke zorgaanbieders zijn opgenomen binnen de grenzen van het onderzoeksterrein en welke (clusters van) activiteiten door deze zorgaanbieders worden uitgevoerd.
Referenties
* Mosseveld, CJPM van, International Comparison of Health Care Expenditure; existing frameworks, innovations and data use, CBS, Voorburg/Heerlen, 2003. * WHO, World Health Report 2000, Health Systems: Improving Performance, WHO, Genève, 2000. * Consumentenbond, Ziekenhuisvergelijkingssysteem, Een vergelijkend onderzoek van ziekenhuizen in Nederland, Consumentenbond, Den Haag, 2002. * OECD, Health at a Glance, OESO, Parijs, 2003. * OECD, Health Data 2003, CD-Rom, OESO, Parijs, 2003.
Links:
Goedkope en dure zorg, CBS-rapport
World Health Report 2003 van de WHO
World Health Report 2000 van de WHO
- Er zijn nog geen reacties
