Een louterende beoordeling

Aios houden anesthesiologen een spiegel voor

In Nederland is het beoordelen van opleiders en stafleden door artsen in opleiding tot specialist een tamelijk onbekend fenomeen. Bij de opleiding anesthesiologie van het Amsterdams Medisch Centrum (AMC) gebeurt dat nu wel. Opleider Martin Bucx: ‘We kwamen er heel genadig af.’

De anesthesiologen en artsen in opleiding tot specialist (aios) van het AMC keken wel raar op toen anesthesioloog en plaatsvervangend opleider Martin Bucx en toenmalig opleider Misa Dzoljic hun plan lanceerden. Stafleden laten beoordelen door aios, dat was zeker geen alledaagse kost. In 2005 betrof het een eenmalig experiment. Nu, anderhalf jaar later, wordt de balans opgemaakt. Het project zal een vervolg krijgen. Aios beoordeelden hun docenten uit de praktijk anoniem op opleiderskwaliteiten. Is de docent goed toegankelijk voor overleg? Een voorbeeld voor toekomstig specialisten?

Op de computer beantwoordden aios 26 van dit soort vragen. De resultaten zijn verwerkt in een persoonlijk feedbackdocument voor elke individuele stafarts, dat alleen hij te lezen kreeg. Het totaal aan gegevens van alle stafartsen leverde wel een openbaar document op. De resultaten die hierin staan, zijn niet terug te voeren tot op individueel niveau, maar geven wel inzicht in de opleiderskwaliteit van stafartsen. En om die kennis was het Bucx en de zijnen te doen. ‘Toen ik een paar jaar geleden hier begon, toen nog als plaatsvervangend opleider, verbaasde het me dat opleiders en stafleden niet werden geëvalueerd. We leiden mensen op. Dan willen we ook weten hoe “de machines het eindproduct maken”. Je moet weten waar de zwakke plekken zitten. Dat is toch niet meer dan logisch?’

Minder gecharmeerd
Nieuwe ontwikkelingen leveren vaak commentaar op. En daarmee kreeg Bucx ook te maken. Is evaluatie van stafleden door aios in Nederland betrekkelijk nieuw, in het buitenland, bijvoorbeeld de Verenigde Staten, is het heel gebruikelijk. ‘De reacties waren zeer divers’, zegt hij tactisch. ‘Ik heb er niet alleen maar vrienden mee gemaakt. Een deel van de stafleden was terughoudend, een deel enthousiast en een deel was minder gecharmeerd van het idee. Sommigen vinden een beoordeling door aios niet zo nodig. Het is wel begrijpelijk dat ze zo reageren. In Nederland hebben we geen traditie van evalueren en beoordelen, zeker niet in de gezondheidszorg. Daarom moet men eerst aan het idee wennen. Als we dit een paar jaar doen, zullen de mensen het net zo gewoon vinden als in de Verenigde Staten al het geval is.’

De initiatiefnemers riepen de hulp in van wetenschappelijk onderzoeker Kiki Lombarts voor de ontwikkeling van een enquêteformulier. Bij de totstandkoming van de vragenlijst keken de initiatiefnemers naar Amerika omdat er hier niets geschikts bestond. Lombarts: ‘Nederland kent enkele projecten waarbij stafartsen door aios worden geëvalueerd. Maar daarbij is geen gebruik gemaakt van gevalideerde en zelf ontwikkelde vragenlijsten.’ Lombarts nam de veelgebruikte enquête van de universiteit van Stanford (Californië) als uitgangspunt en vertaalde die naar de situatie in Amsterdam. In de ontwikkelfase waren de stafleden betrokken bij de vragenlijst en konden zij commentaar geven. Daarvan maakte een deel van de anesthesiologen gebruik.

Aios kregen uiteindelijk vier weken de tijd om de digitale formulieren in te vullen. Alleen zij die minstens zes maanden in opleiding waren, mochten deelnemen - ze moesten immers wel een behoorlijke indruk hebben van de stafleden die ze beoordeelden. Het was aan de aios zelf om in te schatten of ze voldoende met een staflid te maken hadden gehad om hem te beoordelen. Ze konden in totaal 39 stafleden beoordelen.

De initiatiefnemers hebben veel moeten uitleggen over de test, zowel aan de aios als de stafartsen. Toen bovenal duidelijk werd dat de enquêtes volstrekt anoniem werden ingevuld - de aios beoordeelden niet onder hun naam maar onder een nummer - gingen de partijen overstag. Behalve veel uitleg over het project, werd een telefoonnummer van een coach beschikbaar gesteld ingeval de uitslag slecht uitpakte voor de stafleden. Die faciliteit is echter ongebruikt gebleven.

Was de evaluatie aanvankelijk een bedreiging voor de aios, na het waarborgen van hun anonimiteit vonden ze het project alleen maar positief. Lombarts: ‘De aios hebben aangegeven het heel plezierig te vinden om nu eens in alle vrijheid te kunnen zeggen wat ze van de opleiding vinden.’ Vijfdejaars aios Simone Van Zeijll Langhout-Kokke beaamt dat. ‘Aios hebben een afhankelijke positie, hoe welwillend de stafartsen ook zijn.’

De aios kregen in de enquête naast standaardvragen de mogelijkheid om opmerkingen te plaatsen. Juist op die plaats werden gevoelige kwesties verwoord, omdat die samenhangen met specifieke situaties in de praktijk. Voor deze vrije teksten waren Bucx en Lombarts beducht. Bucx: ‘Misschien dat sommige aios het niet professioneel zouden aanpakken. We hebben ze op het hart gedrukt dat ze niet met onderbuikgevoelens moesten aankomen.

Als aios het zouden verpesten, dan was het experiment mislukt. Maar dat hebben ze niet gedaan. Het ging heel goed. Het meest verbazingwekkende van de uitkomsten vond ik dat aios over het algemeen heel positief oordeelden over hun docenten. We kwamen er heel genadig af.’
Aios Van Zeijll Langhout-Kokke vond de beoordeling voor zichzelf ook heel leerzaam. ‘Het invullen van de vragenlijst dwingt je kritisch te kijken naar de opleidingsvaardigheden van ieder staflid.’

Gratis feedback
Na de enquête kreeg Bucx een handvol boze stafleden over de vloer. De beoordeling viel tegen. En men vond de kwalificaties onterecht. Er bleek een verschil te zijn in de interpretatie van de resultaten.
Omdat anonimiteit zo belangrijk was, mocht Bucx niet weten wat de uitslagen per stafarts waren: ‘Er zijn wel een paar collega’s hier geweest die hun verbazing over de uitkomst wilden bespreken. Dat kan ik me heel goed voorstellen, want ik was zelf ook boos en verbaasd over bepaalde onderdelen van de uitkomsten. Ik kreeg kritiek die ik onterecht vond. Het ging om iets waarvan ik me helemaal niet bewust was. Ik zie het nu als gratis feedback. En dat is positief. Ik adviseerde mijn collega’s om na te gaan wat voor training ze misschien nodig hebben.’

Ieder staflid kan aan de hand van zijn eigen ranking zien hoe hij scoort ten opzichte van zijn collega’s. Bucx: ‘Het doel van de evaluatie is niet dat we met de vinger naar een individueel staflid wijzen. We vinden het heel belangrijk dat stafleden feedback krijgen en te weten komen welke elementen voor verbetering vatbaar zijn. In essentie hebben we met de uitslag niet veel gedaan. Al dan niet actie ondernemen, dat is aan het individuele staflid.’

Al kampen sommige stafleden van tevoren met koudwatervrees, een beoordeling kan ook heel louterend werken. Bucx: ‘Bij een andere faculteit was een specialist die zich uitgerangeerd voelde. Maar na ondervraging van de aios bleek hij juist een topscoorder te zijn. Die specialist is daarna helemaal opgebloeid. De meeste medisch specialisten zien alleen narigheid op zich afkomen met zo’n beoordeling, maar het resultaat kan juist heel positief zijn.’
 
Periferie
De pilot had een tweeledig doel: er moest een gevalideerd evaluatieformulier komen en een nulmeting aangaande het geven van feedback aan de docent. Binnen het AMC is er nu enige interesse voor de ontwikkelde vragenlijst. Opleiders van twee specialismen, gynaecologie en radiologie, toonden interesse voor de evaluatie. De vragenlijst is onafhankelijk van het specialisme en kan met weinig aanpassingen elders worden ingezet. Volgens Kiki Lombarts is de opleidersevaluatie ook goed te gebruiken in de periferie. ‘Een probleem daarbij zou kunnen zijn dat er weinig aios bij een maatschap werken. Dan zouden de uitkomsten te gemakkelijk zijn te herleiden tot individuele aios.’

Het is de bedoeling dat deze evaluatie in het AMC binnenkort weer plaatsvindt. Dan zal de vrijblijvendheid veranderen. Bucx en het afdelingshoofd zullen bij een toekomstige evaluatie de scores te zien krijgen. Zijn de enquêtes nu op alle mogelijke manieren anoniem, de kans is groot dat ze in de toekomst bij een zeer select gezelschap bekend worden. De aios blijft geheim, maar de beoordeelde niet.

Het lijkt Bucx onwaarschijnlijk dat de beoordelingen een rol zullen spelen bij functioneringsgesprekken en carrièrekansen. ‘Je kunt je afvragen wat het een ziekenhuis oplevert’, filosofeert Bucx. ‘Een academisch specialist doet veel meer dan kennis overdragen. De beoordeling door aios moet geen overheersende rol spelen.’
Toch denkt Lombarts dat alle resultaten van beoordelingen bij elkaar ooit een rol krijgen bij opleidingsvisitaties. ‘Het zou mij niet verbazen als de inspectie of de MSRC op enig moment de beoordeling als informatiebron vraagt. De mening van aios is nu ook al een informatiebron voor de visitatiecommissie. Die kan ook een rol spelen in beoordelingsgesprekken van stafleden. Maar het is wel duidelijk dat de beoordeling door de aios hierbij slechts één van de vele bronnen zal zijn.’

Tijd en geld
De enquête is eind 2005 gehouden. Maart 2006 kregen de stafleden de uitslag. Er komt een vervolg. Toch zitten er de nodige haken en ogen aan de voortzetting van de evaluatie. Geld is bijvoorbeeld een groot probleem.
Bucx: ‘Zo’n enquête is zeer arbeidsintensief. Alle vrije opmerkingen zijn met de hand verwerkt, omdat we geen programma hadden dat de anonimiteit kan waarborgen. Dat kost tijd en geld. We hebben nu wel contact met een softwarebedrijf voor een eerlijk en veilig computerprogramma en bekijken de mogelijkheden om een licentie in de markt te zetten.’

Dat het initiatief een vervolg moet krijgen, daarover zijn de betrokkenen het eens. Voorwaarde om deze beoordeling op de afdeling Anesthesiologie van het AMC te herhalen, is dat de resultaten anoniem en volledig digitaal kunnen worden verwerkt.
Volgens aios Van Zeijll Langhout-Kokke heeft de beoordeling alleen een toegevoegde waarde als er ook daadwerkelijk iets wordt gedaan met de uitslagen. De resultaten moeten bij een volgende beoordeling een opwaartse trend laten zien. En Bucx wil vooral dat zijn collega’s weten hoe ze nog beter specialisten kunnen opleiden. Een beoordeling kan bedreigend zijn, maar beter dan niets: ‘Je bloot geven is eng, maar het levert je wel zinvolle informatie op.’

Ingrid Lutke Schipholt
Beeld: De Beeldredaktie, Kick Smeets

Klik hier voor het PDF van dit artikel