Hoge notering Zorgkaart zo gefikst
Aantal waarderingen is eenvoudig te manipuleren
6 reacties
Als je goed uit de verf wilt komen op beoordelingssiteZorgkaart Nederland is dat redelijk makkelijk te organiseren, laat cardioloog Hans Verheul zien aan de hand van twee gevallen. De vraag is wat een beoordeling dan nog zegt.
‘Veel is bereikt’, schrijft de minister dit voorjaar in haar terugblik op het Jaar van de Transparantie. In haar Kamerbrief het voorbeeld Zorgkaart als bron van betrouwbare informatie die ook via andere betrouwbare websites zoals Kiesbeter.nl zal worden ontsloten. ‘Zorgkaart Nederland geen nut’, kopt de NOS een paar dagen later. Op Zorgkaart blijft 44 procent van de medisch specialisten geheel buiten beeld (nul waarderingen) en wordt bij niet meer dan 7,6 procent een valide beoordeling (een respons van ten minste negen waarderingen) gegeven. Zo heeft van alle 250 geriaters slechts één collega een betrouwbaar cijfer. Bovendien ontbreekt er een uniform (kwaliteits)kader en is niet te controleren of het om echte patiënten gaat. Kortom, Zorgkaart kan nooit een valide kwaliteitsinstrument zijn voor de beoordeling en vergelijking van de kwaliteit van zorg.
Patiëntenfederatie Nederland zei in een reactie dat zij de website in 2009 niet heeft opgezet als kwaliteitsinstrument. ‘De beoordelingen zeggen niets over hoe artsen zijn, maar hoe goed die patiënten hun artsen vinden. Hoe mensen zorg ervaren.’ Dit patiëntenperspectief wordt verdedigd als een andere kijk op kwaliteit. Wat zegt deze fact-free transparantie zonder wetenschappelijke onderzoeksopzet de patiënt dan over de daadwerkelijke kwaliteit van zorg?
De toppers
Zorgkaart rangschikt alle 94.295 zorgverleners naar discipline en respons. Op 20 augustus 2016 staan er zestig toppers geregistreerd. Dit zijn zorgverleners met meer dan honderd waarderingen, onder wie acht kaakchirurgen en veertig medisch specialisten, van wie de helft verbonden is aan een zelfstandig behandelcentrum (zbc).
De nummer-1-topper is een medisch specialist met 440 waarderingen en cijfer 8,6; nummer 2 heeft 381 waarderingen en een 9,1. Het gemiddelde van nummer 1 komt overeen met het gemiddelde voor de discipline: 8,6. Heel zorgverlenend Nederland is goed voor een dikke 8,5. Nummer 1 heeft 5,5 procent tienen, bijna 40 procent waarderingen van 9,0 of hoger en 95 procent boven de 7,5. Slechts 1,5 procent van de waarderingen, eigenlijk klachten, is lager dan een 6! Een boze patiënt geeft een 2, 3 of 4, een blije patiënt een 9 of 10 en soms een 8. De waardering krijgt het karakter van een positieve emotie, neigt soms naar affectie, een soort like, bekend van Facebook.
De respons van nummer 1 over zes jaar is te zien in de figuur. De eerste vier jaar leveren 25 waarderingen op met een cijfer 8,1. In de volgende drie maanden vanaf 20 mei 2015 volgen 410 waarderingen met een cijfer 8,6. In een van de commentaren is er kritiek op een mailing; blijkbaar is er actieve werving geweest. Deze piek is buitensporig, temeer omdat 25 procent van de collega’s in deze discipline in het geheel geen waarderingen kreeg in zes jaar.
Levert deze transparantie de zorgconsument het gewenste inzicht op?
Ruzie
Op Zorgkaart zijn meer pieken. Deze zomer bericht NRC op de voorpagina over ruzie tussen trombosediensten. Nieuwkomer TromboVitaal claimt kwaliteit, met verwijzing naar Zorgkaart: ‘Atalmedial heeft vijftien beoordelingen, gemiddeld 4,4. Wij 297 beoordelingen, gemiddeld 8,8.’ Zorgkaart toont alle 57 trombosediensten, waarvan twee toppers. Meer dan de helft van de diensten heeft twee of minder waarderingen in zes jaar. De tabel toont twee toppers en Atalmedial, nummer 4. Atalmedial heeft een lage respons van elf patiënten in vier jaar, bijna allemaal klachten, in aantal overigens minder dan bij de nummer 1. Het ontbreekt Atalmedial aan respons van blije patiënten zoals de piek van concurrent TromboVitaal met 205 waarderingen in 2014. De vergelijking is mogelijk vertekend, omdat bij de nummer 1 op dezelfde datum twee identieke klachten (cijfer 1) staan. Ook is vergelijking van de aan de organisaties verbonden zorgverleners lastig, omdat die ook in andere posities op Zorgkaart staan. Levert deze transparantie de zorgconsument dan ook, naast een andere kijk, het gewenste inzicht op?
Manipulatie
Transparantie is hot. Transparantie in de zorg is essentieel om te komen tot betaalbare zorg van goede kwaliteit. Volgens de minister is meer transparantie, meer betrouwbare informatie de basis voor betere marktwerking. Zorgkaart Nederland noemt zij nadrukkelijk als bron voor patiëntenervaringen met zorginstellingen en zorgverleners.
De patiëntenervaring bij twee toppers van Zorgkaart levert echter aanwijzingen op voor manipulatie. Ondernemende zorgverleners gebruiken Zorgkaart als een platform voor promotie. Het loont om met een gerichte mailing of met selectieve hand-outs de respons te beïnvloeden. Enerzijds ontstaat er een vertekening van eerdere mindere resultaten (rookgordijn), anderzijds werkt de overvloed aan waardering, een piek in het aantal, als een bijzondere populariteit, en vormt een kwaliteitskenmerk op zichzelf.
Business
Een patiëntenervaring is natuurlijk altijd subjectief, maar de legitimiteit van Zorgkaart berust daarom – impliciet – op de aanname dat de site een objectieve weergave biedt van alle waarderingen. En dat het resultaat hiervan, de verhouding tussen de respons en de waardering van blije en boze patiënten, bepaald wordt door de geleverde zorg en niet door slimme marketingtechnieken of internetstrategie.
Het loont om met een gerichte mailing de respons te beïnvloeden
Zorgkaart wordt vaak gespiegeld aan andere beoordelingssites en is dan onderscheidend door haar onafhankelijkheid. Het is geen start-up afhankelijk van een verdienmodel met reclame, datahandel of commissies, met sturing op financieel resultaat. De financiering is met publiek geld. Er mag dan ook een zinnig oordeel op basis van zuivere informatie en zorgvuldige uitvoering worden verwacht.
Communicatieafdelingen van ziekenhuizen verkennen de stuurmogelijkheden als onderdeel van hun internetportfolio. Zorgkaart speelt hierop in met flyers en pluspakketten. Als ook zorgverleners meegaan in deze ontwikkeling, dan is het een overweging om het CanMEDS-model maar uit te breiden met een achtste competentie: business. Het loont immers om een voorsprong te hebben in kennis van marketing en promotie, internetstrategie en sociale media, doelgroepbenadering, bedrijfseconomie en sales. Welke dokter wil geen topper zijn?
auteur
Hans Verheul, cardioloog, Flevoziekenhuis, Almere
Geen belangenverstrengeling gemeld door de auteur.
contact
hverheul@flevoziekenhuis.nl
cc: redactie@medischcontact.nl
Andere bronnen:
Kamerbrief over resultaten van het Jaar van de transparantie
Hoe representatief is Zorgkaart Nederland?
Ruzie over aanpak trombose dupeert patiënt
Hans Verheul
Cardioloog
Zorgkaart is van ons allemaal. Ik herken mijn beroepsgroep niet in het negatieve beeld van de heer Kool. Subjectieve waarderingen zijn altijd uniek, betrouwbaar en valide. Echter de gemiddelde cijfers en de vergelijkingen op Zorgkaart zijn niet valid...e als er gemanipuleerd wordt. De "betrouwbare" emissiemetingen bij de Volkswagen diesels waren achteraf niet valide voor ons milieu. De Amerikaanse verkiezingen en de rel rond de treitervloggers maken duidelijk dat er niet zoiets als autonome subjectiviteit op internet bestaat. De context is alles bepalend. In het door Kool aangehaalde literatuuronderzoek over ‘social media and rating sites’ staat ‘the conclusion.. interesting new source.. serious limitations.. future research’. Voor mij staat dat niet ter discussie.
Met collega Bijlsma meen ik dat de ervaringen van de patiënt uiterst waardevol zijn. De Consumer Quality Index is een uitstekende en gestandaardiseerde methodiek om te meten, te analyseren en te rapporteren en is al lang in gebruik bij verzekeraars. Kwaliteit kent veel dimensies. Zorgkaart levert hiervoor het patiëntenperspectief. Als verzekeraars het gebruik van Zorgkaart door artsen willen laten stimuleren dan is een langetermijnfinanciering waarmee de onafhankelijke toekomst van Zorgkaart gevrijwaard wordt van commerciële activiteiten een noodzaak.
Collega Somsen, inderdaad we moeten waken voor bias. Mijn grafiek bij topper nummer 1 – door Zorgkaart bekroond tot meest patiëntvriendelijke zorgverlener van 2015 – laat vier jaar geringe input zien met 25 waarderingen en dan drie weken met 410 waarderingen. Een andere ‘agenda’ dan uit uw reactie mag blijken over een collega uit uw organisatie. Inmiddels geeft Zorgkaart geen ordening meer op aantal waarderingen maar op gemiddeld cijfer.
De nieuwsgierige co weet mogelijk niet dat de kno-arts(en) met meer dan 70 waarderingen naast werk in het academisch ziekenhuis ook verbonden zijn aan een ZBC. Ondernemende zorgverleners dus.
Hans Verheul, cardioloog, Flevoziekenhuis, Alme
[Reactie gewijzigd door op 20-01-2017 15:26]
Een nieuwsgierige co
Cardioloog Hans Verheul laat zien dat het tamelijk makkelijk is om een hoge notering op Zorgkaart Nederland te ‘organiseren’. Manipulatie gebeurt ‘zelfs’ in een academisch ziekenhuis. Tijdens mijn kno-coschap liep ik mee met een poli waarbij patiënte...n na een neusoperatie (septumcorrectie, in- en uitwendige neusoperaties) werden gezien bij obstructieve klachten. Twee kno-artsen (stafleden) waren daarbij, één net begonnen en keek mee. Een patiënt was erg tevreden over de procedure en haar voorbijgaande klachten, waarop de arts zei: ‘Fijn dat u zo tevreden bent’ en hij schoof een zelfgemaakte uitnodigingsbriefje voor Zorgkaart Nederland naar de patiënt. ‘Zou u deze tevredenheid ook op de website Zorgkaart Nederland kunnen uiten?’ Ik keek verbaasd. Nadat de patiënte en haar partner de deur uit waren, vertelde het staflid enthousiast aan z’n nieuwe collega dat hij ‘al meer dan 70 goede beoordelingen’ heeft. ‘Mag ik iets vragen? Op zo’n manier patiënten vragen om een beoordeling zorgt toch voor een vertekend beeld?’, vroeg ik als nieuwsgierige co. Het staflid bleef vriendelijk en antwoordde dat patiënten met een negatieve ervaring eerder geneigd zijn om die op het internet te plaatsen. Er ontstond een gezonde discussie. Het nieuwe staflid keek mij echter niet zo vriendelijk aan, alsof hij met z’n blik zei dat ik als co niet zo’n wijsneus moest zijn.
Aernout Somsen
cardioloog en mede-oprichter CCN
Met belangstelling las ik het artikel van collega Verheul ("Hoge notering Zorgkaart zo gefikst") waarin hij twijfelt aan de waarde van zorgkaartnederland.nl. Als mede-oprichter van Cardiologie Centra Nederland (CCN), een ZBC, ben ik hier juist heel p...ositief over. Voor iedere zorgverlener is de mening van de patient zeer belangrijk. Het zorgproces kan immers hiermee worden geoptimaliseerd. Dit heeft niets te maken met "business" maar met het streven om voor de patient de best mogelijke zorg te leveren. In overleg met patientenplatforms als de Patientenfederatie Nederland en de Hart- en vaatgroep hebben wij bij CCN besloten om alle patienten, na het eerste consult, een email te sturen met de vraag om de behandelend cardioloog te beoordelen. Dus geen foldertjes meegeven aan tevreden patienten want daar ligt een selectiebias op de loer. De grafiek die de collega heeft bijgesloten is een goede weergave van de werkelijkheid aangezien de geautomatiseerde verzending van deze e-mails om de maand plaatsvindt waardoor pieken ontstaan in het aantal beoordelingen. Wij weten dat patienten dit platform graag gebruiken om hun mening kenbaar te maken. Wij zijn gelukkig met hun feedback en zijn bereid om telkens, als de patient dit aangeeft, de zorg nog beter in te richten.
Ward Bijlsma
Programmamanager Kwaliteit Menzis, voormalig oogarts, Bilthoven
Ik denk dat het heel goed is dat artsen zelf Zorgkaar Nederland met patiëntervaringen bestuderen en een beeld vormen van wat hier op staat en hoe de metingen tot stand komen. Ervaringsmetingen zijn niet meer weg te denken uit de huidige maatschappij.... Patiënten raadplegen deze steeds vaker bij hun keuze voor een zorgaanbieder.
We moeten oppassen dat we niet de fout maken patiëntervaringen te gebruiken als totaalmaat voor kwaliteit. Kwaliteit is door de het Institute of Medicine gedefinieerd langs zes dimensies die in samenhang moeten worden bekeken. Ervaringen is slechts één dimensie. Andere dimensies zijn bijvoorbeeld uitkomsten (effectiviteit), veiligheid, toegankelijkheid.
Wanneer je met Zorgkaart Nederland in gesprek gaat, laten ze je zien wat voor een robuuste processen ze hebben ingericht om elke review te controleren op validiteit. Dat voorkomt dat marketing bedrijven kunnen worden ingehuurd om kunstmatig ervaringsmetingen te beïnvloeden. Iets wat in mijn ogen pas echt manipulatie zou zijn.
Gezien het belang dat patiënten en ook verzekeraars hechten aan de ervaringen op zorgkaart Nederland, zou ik juist artsen willen oproepen om reviews te stimuleren. Als suggestie zou ik hiervoor willen geven om de patiëntervaringsmetingen die in het kader van het IFMS worden gedaan via Zorgkaart Nederland te laten lopen. Op die manier hebben we binnen de herregistratiecyclus van 5 jaar van alle artsen een transparant beeld over patiëntervaringen.
Tijn Kool
senior onderzoeker, Radboudumc Nijmegen
Boeiend is te zien hoe de beroepsgroep in Nederland blijft spartelen terwijl de rest van de wereld gewoon verder gaat. Collega Verheul laat zien dat in het geval van weinig waarderingen de gemiddelde rating te beïnvloeden is. Dat is logisch en dat ze...gt iets over de betrouwbaarheid, niets over de validiteit. Beoordeling van de individuele specialist op basis van de huidige vulling van Zorgkaart Nederland is momenteel vaak onvoldoende betrouwbaar. Beoordeling van de instelling is overigens in de meeste gevallen wel betrouwbaar. Over de validiteit van patiëntwaarderingswebsites (PWW’s) zegt dat allemaal niets. Daar is vorig jaar een review over geschreven: https://www.jmir.org/2014/2/e56/ Op basis van meer dan 20 wetenschappelijke artikelen concluderen de auteurs dat er sprake is van meestal positieve correlaties tussen uitkomsten van PWW’s en standaard kwaliteitsindicatoren, niet altijd en niet altijd even sterk.
Dat mensen er tegen zijn dat zorgaanbieders hun patiënten vragen om een recensie achter te laten ten aanzien van de dienstverlening is niet meer van deze tijd. Van Cool Blue tot en met Greenpeace, organisaties willen weten wat de klant van hen denkt en dat is maar goed ook. Het is symbolisch voor het gebrek aan patiëntgerichtheid van een deel van de Nederlandse zorg dat dat überhaupt ter discussie staat. Gelukkig staat in de CanMeds de C van Communicatie waaronder wordt verstaan: luisteren naar de patiënt. En gelukkig kunnen we dat tegenwoordig doen dankzij PWW’s zoals Zorgkaart Nederland.
Jan Taco teGussinklo (@DutchBW)
Voormalig Internist, Zwolle
Mooi artikel. Vooral de Trombosedienst informatie opmerkelijk.
Het is vanaf de start van de Zorgkaart Nederland wel duidelijk dat er kanttekeningen te maken zijn. Vijf jaar geleden schreef ik ook over concrete voorbeelden. http://www.dutchbuttonwork...s.com/2011/01/zorgkaart-revisited/