Meetbaar Beter-programma mist onderbouwing

KWALITEIT

Van meten naar weten met een kwaliteitsregistratie

Van der Nat e.a. betoogden dat in het Meetbaar Beter-programma ziekenhuizen verbeteringen doorvoeren als er klinisch relevante verschillen in uitkomstindicatoren werden gevonden. Maar daarmee introduceren ze dus veranderingen waar geen wetenschappelijke basis voor is.

Kwaliteitsregistraties in de zorg bestaan al lange tijd. Zo viert de NICE-registratie voor intensivecarezorg volgend jaar haar 20-jarig bestaan. Ook de orthopedische-implantatenregistratie LROI, de darmkankerregistratie DSCA en het Meetbaar Beter-programma timmeren respectievelijk al acht, zes en drie jaar aan de weg. In het door minister Schippers uitgeroepen jaar van de transparantie staan kwaliteitsregistraties in de spotlights, in positieve zin, maar er is ook kritiek. Zorgverleners zuchten onder de registratielast als de registratie niet gevoed wordt vanuit bestaande klinische registraties zoals het epd, en de kosten van het groeiend aantal registraties zijn aanzienlijk. Daar staat tegenover dat iedereen het nut van deze registraties onderschrijft, want ‘meten is weten’. Als zorgprofessionals registreren om relevante kwaliteitsindicatoren te meten, komen zij te weten waar verbetering mogelijk is. Door zich te vergelijken met collega’s die beter presteren op een indicator kunnen zij leren hoe zorgprocessen zijn te verbeteren. Het effect van verbeteracties kan vervolgens gemonitord worden met de registratie, die hierdoor zijn waarde voor de klinische praktijk realiseert.

Uitkomstindicatoren

In Medisch Contact beschrijven Paul van der Nat e.a. dat de hartzorg in Nederland is verbeterd door het gebruik van uitkomstindicatoren. Ze noemen enkele voorbeelden waar de data uit het Meetbaar Beter-programma hebben geleid tot verbeterprojecten. Dit is precies waarvoor kwaliteitsregistraties in het leven zijn geroepen. Onlangs verscheen tevens het bericht in de media dat het Catharina Ziekenhuis in Eindhoven, deelnemer aan het Meetbaar Beter-programma, als eerste ziekenhuis een prestatiecontract heeft afgesloten met een verzekeraar, gebaseerd op uitkomstindicatoren. Opvallend echter in de benadering van Meetbaar Beter is dat uitdrukkelijk wordt gepromoot dat ook als er geen statistisch significante verschillen in uitkomst zijn, er wel klinische relevante verschillen kunnen bestaan die tot verbeterinitiatieven kunnen leiden.

De discussie over het verschil tussen statistische en klinische significantie wordt al decennialang gevoerd maar dan vooral in omgekeerde richting. Als een nieuw middel tegen hypertensie significant effectiever is dan het oude middel, maar het gevonden verschil in bloeddrukdaling maar 2 mm Hg is, dan heeft dit nauwelijks klinische betekenis. Het omdraaien van de benadering zoals door Meetbaar Beter nu gebeurt, is opmerkelijk. Een uitgangspunt in de wetenschapstheorie is dat je niet kunt bewijzen dat iets niet bestaat. Als dus de vraag wordt gesteld of zeemeerminnen bestaan, is het aan degene die beweert dat de zeemeermin wél bestaat om het bewijs te leveren, en niet aan degene die dat ontkent. Bij wetenschappelijke bewijsvoering, hypothesetoetsing, volgt men dezelfde gedachtegang. De statisticus Fischer introduceerde in 1934 om die reden de term nulhypothese, die sindsdien de basis vormt voor het aantonen van verschillen tussen bijvoorbeeld groepen patiënten. Met de nulhypothese wordt verondersteld dat er geen verschil bestaat, in ons geval, in de performance tussen ziekenhuizen. Er wordt vervolgens nagegaan of deze veronderstelling standhoudt in het licht van de beschikbare data. Met andere woorden, er moet bewijs worden geleverd dat er wél verschillen bestaan. De benadering van Meetbaar Beter verlaat dit wetenschappelijke principe en loopt daardoor een groot risico op overinterpretatie van de beschikbare data.

Aortaklepvervangingen

Stel in ziekenhuis A worden in een jaar tweehonderd aortaklepvervangingen uitgevoerd. De sterfte na 120 dagen is 2,5 procent. Het jaar daarop is de sterfte gedaald naar 1,5 procent. U bent verzekeraar, zou u dit ziekenhuis belonen via prestatiebekostiging? Of u werkt als cardiochirurg in ziekenhuis B waar in datzelfde jaar onder honderd vergelijkbare patiënten de sterfte 4 procent is. Gaat u bij ziekenhuis A op bezoek om te leren hoe u uw sterfte kunt verlagen? Het antwoord op deze retorisch vraag is natuurlijk nee. Het gaat hier om respectievelijk 5, 3 en 4 sterfgevallen. Dit verschil is wellicht klinisch relevant, want je kunt betogen dat ieder sterfgeval klinisch relevant is. Maar het is uiteraard niet statistisch significant. En het is bekend dat veelgebruikte uitkomsten zoals sterfte, complicaties of heroperaties meestal te weinig voorkomen om iets rationeels te zeggen over verschillen tussen ziekenhuizen. De ogenschijnlijke verschillen kunnen goed op basis van toevallige variatie verklaard worden.

Kan het kwaad om te sturen op uitkomstverschillen die niet significant zijn en dus hoogstwaarschijnlijk geen echte verschillen zijn? Een veelgehoord antwoord is nee, omdat er altijd verbetering mogelijk is. De vooraanstaande epidemioloog Ioannidis schrijft hierover echter: ‘On occasion, changes may indeed improve mortality rates. It is almost equally likely that these changes may worsen mortality rates, e.g., if performance and quality data are misguided and lead to changes that deteriorate aspects of care that matter, while focusing attention on improving trivia. Or these changes may simply cost money and effort to set up and maintain the performance evaluation and quality audit machinery but achieve nothing for patient outcomes.’ Het is opvallend dat het sturen op uitkomstmaten hoofdzakelijk wordt gepropageerd door consultants en bedrijfskundigen, terwijl epidemiologen, statistici en andere methodologen juist waarschuwen voor de gevaren.

Verbeteren

Het paradigma ‘meten is weten’ blijft overeind staan en klinische kwaliteits-registraties vervullen daar een belangrijke rol in. Maar het ‘weten’ bereiken we alleen onder strenge voorwaarden, waar statische significantie, en dus voldoende grote aantallen, er één van is. Aanvullend gelden belangrijke randvoorwaarden zoals klinische relevantie; duidelijke actiegerichtheid van de gemeten indicatoren; eenduidige, betrouwbare en volledige dataverzameling; en goede case-mixcorrectie. Hoewel kwaliteitsregistraties zich sterk ontwikkelen op deze gebieden, voldoen ze vaak nog niet aan deze basale voorwaarden. Overinterpretatie moet worden vermeden, en prestatiebekostiging is af te raden.

De tijd van zorgprofessionals is schaars en kostbaar en moet dus efficiënt en effectief worden ingezet. Dat geldt ook voor de tijd die zij besteden aan activiteiten om de kwaliteit te verbeteren. Natuurlijk zijn verbeterinitiatieven aan te moedigen, maar deze moeten niet op basis van overinterpretatie van data plaatsvinden. Bij gebrek aan (voldoende) data kunnen we verbeterinitiatieven beter baseren op kwalitatieve analyses zoals proces-analyses, en analyses van communicatie- of werkcultuurproblemen. Door te sturen op niet statistisch significante uitkomstverschillen tussen ziekenhuizen zou de kwaliteit van zorg namelijk ook kunnen verslechteren in plaats van verbeteren.

prof. dr. Nicolette de Keizer, hoogleraar Medische informatiekunde AMC, registratiemanager NICE

dr. Hester Lingsma, universitair docent afdeling Maatschappelijke Gezondheidszorg Erasmus MC

contact:

n.f.keizer@amc.uva.nl

cc: redactie@medischcontact.nl

Geen belangenverstrengeling gemeld

Lees ook:

• Er kan nog veel meer met uitkomstindicatoren (25 november 2015)
• Aan de slag met uitkomstindicatoren (17 april 2014)
• Dotterkwaliteit lastig te vergelijken (27 maart 2014)

Download het artikel (PDF)