Statische norm is een slechte maat

Prestatie-indicatoren zijn niet geschikt voor het verbeteren van de zorg

De ziekenhuiszorg is in de ban van prestatie-indicatoren. Een minder gelukkige keuze, want zo ligt de nadruk op het moeten halen van een norm, ongeacht de context. Om de zorg te verbeteren is een systeem gericht op prestatieverbetering geschikter.

De Inspectie voor de Gezondheidszorg heeft samen met de Orde van Medisch Specialisten, de Nederlandse Vereniging van Ziekenhuizen en de Vereniging van Academische Ziekenhuizen prestatie-indicatoren ontwikkeld om de Nederlandse ziekenhuiszorg te evalueren. Een complete lijst van evaluatieonderwerpen staat op de bijbehorende website.1 Naast proces- en structuurindicatoren worden indicatoren voor de uitkomst van zorg genoemd.

De doelstelling is helder verwoord: ‘Op deze site wordt de informatie over indicatoren ontsloten op basis van verschillende selectiecriteria zoals diagnose of specialisme. Naar verwachting zal de site op korte termijn uitgebreid worden met nieuwe functionaliteit. Zo zouden ook de meetresultaten van indicatoren ontsloten/gepresenteerd kunnen worden met behulp van deze site. Met name deze terugkoppeling van meetresultaten is van groot belang voor een blijvende betrokkenheid van het veld.

Immers, de hoofddoelstelling van het meten en presenteren van prestatie-indicatoren is niet het meten om te weten. Doel mag ook niet zijn om zorgaanbieders af te rekenen op hun scores op prestatie-indicatoren. Nee, het uitgangspunt is dat het monitoren van prestaties leidt tot kwaliteitsverbetering in de zorg.’1

Het is te prijzen dat eindelijk de inhoud van de zorg aan bod komt. Dit gebeurt in navolging van eerdere initiatieven in het buitenland.2 Deze initiatieven zijn bedoeld om ‘te zorgen dat daar waar er grote en onverklaarde variaties in zorg zijn deze boven water komen en ervoor te zorgen dat de zorg verbetert’.3 Het zou best practice en competitie stimuleren, en dus uiteindelijk de kwaliteit van zorg verbeteren. De vraag is echter of dit zo is en of de kwaliteit van de zorg werkelijk met deze systematiek en met de gekozen indicatoren kan worden gemeten.

Kwaliteitsborging

Een van de bekendste voorbeelden van studies naar de uitkomst van zorg is de New York heart study.4 Door de uitkomsten van de behandeling te publiceren, zo was de gedachte, zouden de resultaten verbeteren. Na de introductie bleken de resultaten van de cardiochirurgie inderdaad beter te worden.5 De studie is echter in twijfel getrokken omdat de data werden ‘gemasseerd’ en de patiëntenpopulatie werd aangepast.6 7

Vreemd genoeg blijkt dat het publiceren van de resultaten weinig of geen effect heeft op het keuzegedrag van de patiënt.8 Ook blijkt dat alleen focussen op gemeten prestaties nogal eens afleidt van de daadwerkelijke kwaliteit van zorg en leidt tot eenzijdige concentratie op het gemeten resultaat.2 9

Daarnaast blijven in de huidige opzet enkele wezenlijke zaken onbesproken. Hoe slecht is slecht? Hoe moet worden omgegaan met de slechte zaken? En dit alles in het licht van het feit dat er altijd variatie zal zijn en dat deze door meerdere factoren wordt bepaald.

Kwaliteitsborging (quality assurance) is een statisch proces, waarbij de norm bepalend is, wat die norm ook is en los van het feit of die relevant is voor de uiteindelijke uitkomst van de zorg. Doel van kwaliteitsverbetering is het verminderen van de variatiebreedte, vooral door het systeem betrouwbaar te maken en onafhankelijk van de toevallige professional.

Onder de loep

Enkele voorbeelden van prestatie-indicatoren worden hier onder de loep genomen. Duidelijk wordt dat de meting - op een enkele uitzondering na - plaatsvindt zonder rekening te houden met de conditie van de patiënt en de context waarin de zorg plaatsvindt.

Bij de ratio laparotomie en laparo-scopie voor cholecystectomie bijvoorbeeld, moet rekening worden gehouden met een behoorlijke variatiebreedte in complexiteit van patiënten. In het UMC Utrecht komen voornamelijk mensen voor algemene zorg als ze daar al bekend zijn vanwege andere complexe aandoeningen, zoals hart-, nier- of longtransplantaties, met bijkomende medicatie, bijvoorbeeld antistolling. Laparotomie wegens eerdere chirurgie zal daar derhalve voorspelbaar vaker voorkomen.

Ook de conversie van laparoscopie naar laparotomie voor cholecystectomie wordt gehinderd door dergelijke factoren. Daarnaast zal men het uiterste doen om scopisch verder te gaan om het gewenste te meten resultaat te halen. Dit brengt de veiligheid van de patiënt aantoonbaar in gevaar.

Het meedoen met een landelijke complicatieregistratie wordt ook als indicator genoemd. Uit eerder onderzoek blijkt dat het aantal complicaties sterk afhangt van de manier waarop deze worden geregistreerd.10 Uit onderzoek van Veltkamp en Klei blijkt bovendien dat complicaties afhankelijk zijn van de patiënt en zijn toestand, de context, spoed versus electief, enzovoort.11 12 Zo werden reeds determinanten voor de ziekenhuissterfte bepaald bij hoogbejaarde chirurgische patiënten.13 Wil men uitwassen in prestatie meten, dan moeten de gebruikte methoden daarmee rekening houden.14

Voor het aantal wondinfecties geldt hetzelfde. Vooral de toestand van de patiënt, de omstandigheden en spoedeisendheid van het geval zijn bepalend voor het ontstaan ervan. Eerder werd al geconstateerd dat postoperatieve wondinfecties ongeschikt zijn als parameter om ziekenhuizen te vergelijken.15

Als indicator geldt ook het aantal aneurysmata en oesophagusresecties. Hoewel er wel degelijk onderzoeken zijn die het aantal ingrepen relateren aan de kwaliteit en de uitkomst van zorg, zijn er echter minstens evenveel die het tegengestelde beweren.16 Bovendien is de vraag wat het kritische volume moet zijn waaraan wordt gemeten.

Het streven naar de norm is op zich niet nieuw. Ook talrijke ervaringen in Engeland en de Verenigde Staten hebben echter geleid tot het besef dat een genuanceerder beleid noodzakelijk is.17-21

Vertrouwelijkheid

Een voorwaarde voor deelname aan vergelijkende studies is de vertrouwelijkheid.22 Het is de spagaat tussen openbaarheid en veiligheid, noodzakelijk voor een goede en adequate rapportage van nadelige gebeurtenissen, die het succes van complicatieregistratie en de presentatie van de resultaten zo broos maakt. In een commentaar op het over het algemeen geprezen To err is human - een pleidooi voor openbaarheid en rapportage van complicaties - wordt duidelijk welke schade persberichten kunnen aanrichten als daarin tot individuele instituten herleidbare informatie staat over prestaties die niet op risico’s zijn gecorrigeerd.23 24

Niet voor niets zijn zelfs in het zo op juridische processen gerichte Amerika de zogenaamde morbidity and mortality conferences bij wet vertrouwelijk. Met de Nederlandse Wet op de openbaarheid van bestuur is het zaak de gegevens die nu worden verzameld, in het juiste perspectief te plaatsen en genuanceerd, binnen de context van het risicoprofiel van de patiëntenpopulatie, weer te geven. Je zou hieruit de conclusie kunnen trekken dat we iets te verbergen hebben. Het tegendeel is echter waar. In de twee klinieken waar ik heb gewerkt, zijn studies verricht die de prestaties op het gebied van de intensive care, op traumagebied en op complicatieregistratie goed laten zien. De vergelijking met andere landen kan gemakkelijk worden aangaan.25-28 11

Prestatieverbetering

Dergelijke ontwikkelingen in Nederland laten zien dat we ons bevinden in het tijdperk van de kwaliteitsborging. Dit strookt niet met de belangrijkste doelstelling van de evaluatie van prestatie-indicatoren. Het doel van kwaliteitsinitiatieven moet immers zijn om de variatiebreedte te verminderen en het niveau van zorg op een hoger plan te brengen, kortom prestatieverbetering.

De verschillen tussen kwaliteitsborging en prestatieverbetering zijn in het schema samengevat.

Kwaliteitsborging is statisch. Er moet een bepaalde norm worden gehaald, onafhankelijk van de gegeven populatie of de omstandigheden waarin de zorg zich afspeelt. Niet het geheel van het zorgproces speelt een rol, maar slechts het onderdeel dat bepalend is voor de betreffende indicator. Kwaliteitsborging wordt met name extern ingegeven, waarbij het gezag - de bestuurders - als klant van de gegevensverzameling wordt gezien. Bovendien ligt de nadruk op het individu - de specialist - en zijn de gebruikte methoden gericht op inspectie. Daarbij moet aan een extern ideaalbeeld worden voldaan. De voorgestelde prestatie-indicatoren voldoen precies aan deze definitie.

Maakt men een vergelijking, dan moet de basis daarvan gelijk zijn, zodat geen appels met peren worden vergeleken. Susan Baker zei, refererend aan de opzet van de traumaregistratie: ‘To explain why the number of deaths in a trauma center are higher than in the neighbouring hospital calls for the need of a in depth scoring system.’29 Daarom moet dus het substraat worden meegenomen.

Anders dan kwaliteitsborging gaat prestatieverbetering (performance improvement ) uit van een proactieve houding: iedereen wordt aangesproken en de processen en hun evaluatie staan centraal. Er wordt uitgegaan van actuele gegevenheden en niet van een ideaalbeeld. Men beziet het resultaat van dit moment en probeert door evaluatie van de hieraan ten grondslag liggende processen onderdelen van de procesgang te verbeteren om uiteindelijk een beter resultaat te verkrijgen. Het is daarom een proces van de professionals zelf in de context van het totaal van de zorg. Nadrukkelijk wordt de klassieke kwaliteitscirkel aangesproken: plan, do, act, evaluate.

Aanpak

Uitgangspunt voor prestatieverbetering is de vergelijking op basis van risicoprofielen en uitkomst van zorg. Internationale voorbeelden hiervan zijn onder andere Possum en NSQIP voor de vergelijking van de algemene praktijk.22 30 Het Engelse Trauma Audit and Research Network en het Deutsche Trauma-register doen iets dergelijks voor trauma.31 32 Ook in Nederland zijn goede voorbeelden te vinden. De trauma-registratie in oprichting gaat uit van dezelfde principes.33 Een ander voorbeeld is de intensive-careregistratie.34 35 De dialyseartsen registreren al jaren hun behandelingsresultaten en ook van transplantaties worden de resultaten bijgehouden en gepubliceerd. De kankercentra verzamelen epidemiologische data, maar zouden ook de behandelingsresultaten per ziekenhuis kunnen laten zien. Deze veelal private initiatieven moeten in alle ziekenhuizen verplicht worden gesteld. Op basis van deze registraties zijn namelijk goede vergelijkingen mogelijk.

Voor de chirurgische praktijk moet een op Possum gelijkend systeem worden ingevoerd, waarbij op eenvoudige wijze een risicoprofiel wordt gegenereerd. Op basis daarvan kunnen patiëntengegevens worden vergeleken. Voorts dienen de wetenschappelijke verenigingen voor indicatorafwijkingen op basis van literatuur behandelresultaten aan te geven, bijvoorbeeld de interne geneeskunde voor diabetes, de orthopedie voor de korte- en langetermijnresultaten van prothesiologie, de cardiologie voor cardiale infarcten en de pulmonologie voor astma bronchiale. Multidisciplinaire behandelingen vragen om een ziekenhuisbrede aanpak, dat geldt bijvoorbeeld voor de oncologie. Voor traumatologie gelden de richtlijnen van de Nederlandse traumaregistratie.

Alleen het risicoprofiel samen met het behandelresultaat maakt een redelijke vergelijking mogelijk. Ook in deze vorm bestaat de mogelijkheid van datamanipulatie. Als echter een onafhankelijke partij in het ziekenhuis, bijvoorbeeld de medische registratie, verantwoordelijk is voor een deel van de registratie en de gegevens objectief uit de zorginhoudelijke data verzamelt, is deze vrees ongegrond. Visitatie maakt verdere objectivering mogelijk. Autonome instituten als kankercentra destilleren gegevens onafhankelijk van de ziekenhuizen, waardoor een betere objectiviteit is gewaarborgd.

Door anonieme vergelijkings-gegevens terug te koppelen kunnen de ziekenhuizen zelf hiaten vaststellen en corrigeren.22 De inspectie en de visitatiecommissie hebben wel inzage in de vertrouwelijke data; zij kunnen suggesties geven voor verbetering. Verder kunnen zij onverklaarde verschillen in risico-profielen ter sprake brengen.

Alleen op de hier geschetste wijze is een geïntegreerd systeem van zorginhoudelijke kwaliteit op basis van uitkomstgegevens mogelijk. Het kan de basis zijn voor prestatieverbetering, waarmee uiteindelijk de patiënt de winnaar is.

prof. dr. L.P.H. Leenen
chirurg, Universitair Medisch Centrum Utrecht

Correspondentieadres: l_leenen@wxs.nl

Kwaliteitsborging

Hello nurse                                                                                                                   

Foto Zefa

Een van de doelstellingen die men in Engeland heeft gesteld om de wachttijden in de spoedeisende hulp te verbeteren, is dat een zorgprofessional de patiënt binnen vijftien minuten moet zien.

Daarom wordt elke patiënt niet alleen door een secretaresse verwelkomd, maar ook door een verpleegkundige, de ‘hello nurse’. Na het handen schudden, kan de patiënt weer in de wachtkamer plaatsnemen tot de behandeling begint - vaak vele uren later.

Aan de gestelde kwaliteitsnorm is voldaan, maar de patiënt is er niets mee opgeschoten.

SAMENVATTING

 Door evaluatie van prestatie-indicatoren willen inspectie, medisch specialisten en ziekenhuizen de zieken-huiszorg verbeteren.

 Centraal staat de vraag of daarbij gekozen is voor de juiste systematiek en indicatoren.

 In de huidige opzet wordt ernaar gestreefd bepaalde kwaliteitsnormen te behalen. Buitenlandse onderzoeken hebben aangetoond dat een genuanceerdere aanpak noodzakelijk is.

 In plaats van ‘quality assurance’ of kwaliteitsborging moet worden gewerkt aan ‘performance improvement’ of prestatieverbetering. Daarin staan niet de individuen maar de processen en hun evaluatie centraal.

 De registratie die daarvoor nodig is, kan worden gebaseerd op buitenlandse voorbeelden en Nederlandse private initiatieven.

Referenties

Prestatie-indicatoren. 2004.

www.prestatie-indicatoren.nl

.  2. Adab P, Rouse AM, Mohammed MA, Marshall T. Performance league tables: the NHS deserves better. BMJ, 324: 95-8.  3. HSC 2000/023. Quality and performance in the NHS. Performance indicators: July 2000. NHS Executive. 2001. Leeds: Department of Health.  4. Brook RH. Health Care Reform Is on the Way: Do We Want to Compete on Quality? Ann Intern Med, 120: 84-6.  5. Chassin MR, Hannan EL, DeBuono BA. Benefits and Hazards of Reporting Medical Outcomes Publicly. N Engl J Med, 334: 394-8.  6. Green J, Wintfeld N. Report Cards on Cardiac Surgeons - Assessing New York State’s Approach. N Engl J Med, 332: 1229-33.  7 Hannan EL, Kilburn H Jr., Racz M, Shields E, Chassin MR. Improving the outcomes of coronary artery bypass surgery in New York State. JAMA, 271: 761-6.  8. Marshall MN, Shekelle PG, Leatherman S, Brook RH. The Public Release of Performance Data: What Do We Expect to Gain? A Review of the Evidence. JAMA, 283: 1866-74.  9. Smith P. On the unintended consequences of publishing performance data in the public sector. Int J Public Administration 18, 277-310. 1995.  10. Werner JEM, Leenen LP. Prospective registration of 2498 intensive care patients as basis for quality assurance. Int Care Med 25(supp 1), S137. 1999.  11. Veltkamp SC. Complications in surgery. 2001. University Utrecht.  12. Klei WA van, Moons KG, Rheineck-Leyssius AT et al. Validation of a clinical prediction rule to reduce preoperative type and screen procedures. Br.J Anaesth, 89: 221-5.  13. Beenen E, Simons MP, Vahl AC. Determinanten van ziekenhuissterfte bij hoogbejaarde chirurgische patiënten. Ned Tijdschr Geneeskd, 147: 1915-8.  14. Tekkis PP, McCulloch P, Steger AC, Benjamin IS, Poloniecki JD. Mortality control charts for comparing performance of surgical units: validation study using hospital mortality data. BMJ, 326: 786-8.  15. Dalen T van, Ruth S van, Dijk Y van, Leguit P. De frequentie van postoperatieve wondinfecties: een ongeschikte parameter om ziekenhuizen te vergelijken. Ned Tijdschr Geneeskd, 144: 476-9.  16. Margulies DR, Cryer HG, McArthur DL, Lee SS, Bongard FS, Fleming AW. Patient volume per surgeon does not predict survival in adult level I trauma centers. J Trauma 2001; 50: 597-603.  17. Anderson P. England publishes first tables of hospital performance. BMJ, 318: 1715.  18. Brodribb J. Performance indices or patient care. BMJ, 308: 420.  19. Rixom A. Performance league tables. BMJ, 325: 177-8.  20. Wise J. Goodbye to the ‘hello nurse’ in casualty departments. BMJ, 315: 143e-8.  21. Dillner L. League tables criticised as misleading. BMJ, 309: 9a-10.  22. Khuri SF, Daley J, Henderson WG. The comparative assessment and improvement of quality of surgical care in the Department of Veterans Affairs. Arch Surg, 137: 20-7.  23. Andrus CH, Villasenor EG, Kettelle JB, Roth R, Sweeney AM, Matolo NM. ‘To Err Is Human’: uniformly reporting medical errors and near misses, a naive, costly, and misdirected goal. J Am Coll Surg, 196: 911-8.  24. To err is human; building a safer healthcare system. Washington, National Academy Press. 1999.  25. Werner JEM, Vles WJ, Leenen LP. Prospectieve analyse van lange-termijnresultaten van niet trauma gerelateerde beademde intensive care patiënten; interim resultaten bij 369 patiënten. Samenvattingen congres NVvH 2000. 2000.  26. Vles WJ, Kroezen F, Meeuwis JD, Leenen LP. Trauma registration in a dutch trauma population with emphasis on quality of care. Eur J Trauma 5(26), 248-55. 2000.  27. Vles WJ, Veen EJ, Roukema JA, Meeuwis JD, Leenen LP. Consequences of delayed diagnoses in trauma patients: a prospective study. J Am Coll Surg, 197: 596-602.  28. Veen EJ, Janssen-Heijnen MLG, Leenen LP, Roukema JA. The Registration of Complications in Surgery: a learning curve. World J Surg in press. 2004.  29. Baker SP, O'Neill B, Haddon W, Jr, Long WB. The injury severity score: a method for describing patients with multiple injuries and evaluating emergency care. J Trauma, 14: 187-96.  30. Copeland GP. The POSSUM system of surgical audit. Arch Surg, 137: 15-9.  31 Yates DW, Bancewicz J, Woodford M et al. Trauma audit-closing the loop. Injury, 25: 511-4.  32.Ruchholtz S, Arbeitsgemeinschaft Polytrauma der Deutschen Gesellschaft fur Unfallchirurgie. Das Traumaregister der DGU als Grundlage de interklinischen Qualitaetsmanagements in der Schwerverletztenversorgung. Unfallchirurg 2000; 103: 30-7.  33. Traumazorg, onze zorg. 1997. Utrecht, Nederlandse Vereniging voor Traumatologie.  34. Jonge E de, Bosman RJ, Voort PH van der, Korsten HH, Scheffer GJ, Keizer NF de. [Intensive care medicine in the Netherlands, 1997-2001. I. Patient population and treatment outcome]. Ned Tijdschr Geneeskd, 147: 1013-7.  35. Bosman RJ, Jonge E de, Keizer NF de, Joore JC, Voort PH van der, Scheffer GJ. [Intensive care medicine in the Netherlands, 1997-2001. II. Changes over time and differences between hospitals]. Ned Tijdschr Geneeskd, 147: 1018-24.  36. Cerra FB, Negro F, Abrams J. APACHE II score does not predict multiple organ failure or mortality in postoperative surgical patients. Arch.Surg, 125: 519-22.  37. Leenen LP, Vles WJ, Roukema JA, Meeuwis JD. Performance improvement in trauma care. In: Vles WJ, Thesis. Trauma registration. The first step in improving trauma care. Rotterdam, Vles. 2004. 79-85.