Opleidingen langs de meetlat
1 reactieopleiding
Homogene en enthousiaste groepen scoren het best in de SETQ
Sinds vijf jaar krijgen opleiders van hun aiossen systematisch feedback met behulp van het evaluatie-instrument SETQ. Uit de gegevens is nu een ranglijst gedestilleerd. Maar, die vormt slechts een indicatie. ‘Het gaat niet om het aanwijzen van paradepaardjes of rotte appels.’
Roselien Herderschee
Steve de Castro onderdrukt een zucht. Vier à vijf uur is hij gemiddeld toch wel kwijt aan het invullen van de vragenlijsten, vertelt hij. De Castro is vierdejaars-aios op de afdeling Heelkunde van het AMC. Het is september en dat betekent SETQ-meetmaand. SETQ is de evaluatiemethode waarmee aiossen in heel Nederland hun opleiders beoordelen. De gezamenlijke scores van alle aiossen vormen vervolgens een waardering voor alle deelnemende opleidersgroepen (zie kader).
Hoe werkt SETQ?
System for Evaluation of Teaching Qualities (SETQ) is een webbased evaluatiesysteem, ontwikkeld om systematisch en anoniem feedback te verzamelen voor medisch specialisten over hun functioneren als opleider. De feedback is afkomstig van aiossen. SETQ maakt deel uit van een breder scala aan professional performance-evaluatielijsten, waaronder de DRECT (Dutch Residency Educational Climate Test).
Om met SETQ tot een selectie van hoogst scorende opleidingen te komen, hanteerde de onderzoeksgroep Professional Performance van het AMC de volgende inclusiecriteria:
1. Er is onderscheid gemaakt tussen kleine (<15 opleiders) en grote (>15 opleiders) vervolgopleidingen. 2. Er zijn minimaal vier aios-evaluaties per opleider beschikbaar.
3. Minimaal 75 procent van de opleiders is beoordeeld.
4. De SETQ-evaluatie vond plaats in 2011 of 2012.
Hoewel SETQ is ontwikkeld om feedback te geven aan de individuele opleider, geeft de gepresenteerde score het resultaat op afdelingsniveau weer en betreft de ranking dus de opleidersgroep die gemiddeld het hoogst scoort.
De SETQ-vragenlijst bestaat uit een kwanti-tatief en een kwalitatief deel. Het kwantitatieve element bestaat uit twintig vragen die gescoord worden op een 5-puntsschaal. De totaalscore is gebaseerd op waardering in vijf domeinen: opleidingsklimaat, bejegening, communicatie over leerdoelen, het geven van feedback aan en de toetsing van de aios.
Het kwalitatieve deel bestaat uit twee open vragen: ‘Kunt u sterke punten over het functioneren van deze opleider benoemen?’, en ‘Heeft u concrete verbeterpunten voor deze opleider?’ ‘De topscorers krijgen meer positieve opmerkingen ten aanzien van hun functioneren en de lager scorende opleidingen krijgen meer verbeterpunten. Dat valideert het systeem’, aldus Kiki Lombarts, hoofd van de onderzoeksgroep Professional Performance van het AMC, die de SETQ-resultaten evalueert.
Vrije proza
De Castro’s heelkundeopleiding scoort hoog. Dat verrast hem niet echt. ‘We hebben een hele laagdrempelige, open sfeer. Iedereen is heel toegankelijk. Sommige eigenschappen zitten natuurlijk in de aard van het beestje en zijn moeilijk te veranderen, maar je merkt dat onze opleiders openstaan voor feedback. Mensen die er niet voor openstaan, zullen er ook niets aan hebben.’
Naast het aanvinken van de 5-puntsschaal, vullen de meeste aiossen volgens De Castro ook trouw de open vragen in. ‘Opleiders vinden die vrije proza het leukst’, zegt hij lachend.
Uit de resultaten van Kiki Lombarts blijkt dat 94 procent van de opleiders naast een kwantitatieve score ook kwalitatieve feedback ontvangt. Opleiders ontvangen gemiddeld elf positieve opmerkingen over hun functioneren en vier concrete verbeterpunten. De Castro: ‘Stafleden waarderen de feedback en zelf vind ik het fijn om af en toe even los te kunnen gaan. Zowel op het gebied van positieve feedback als het geven van suggesties voor verbetering. Het goede van SETQ vind ik dat het je aanzet om kritisch naar onderdelen van goed opleiderschap te kijken. Je realiseert je bijvoorbeeld dat een opleider die fantastisch is in de kliniek, bepaalde opleidingselementen die de SETQ aanstipt nog helemaal niet toepast. Je houdt dus niet alleen de opleider een spiegel voor, je houdt ook jezelf scherp.’
Over voorbeelden van door hem gegeven feedback denkt De Castro even na. ‘Meer geduld bij het opereren, minder directief zijn in de kliniek.’ Bij dergelijke feedback helpt het volgens de aios dat SETQ een anoniem karakter heeft. ‘Ik zou niet snel face to face tegen iemand zeggen dat hij te directief is. De ene vorm van feedback moet de andere natuurlijk niet uitsluiten, maar ad hoc feedback geven moet je nu eenmaal leren en dat komt ook met tijd. Ondertussen biedt SETQ je de mogelijkheid om feedback helder te formuleren.’
In het rood (willekeurige volgorde):
• neurologie Academisch Medisch Centrum
• heelkunde Academisch Medisch Centrum
• neurologie Universitair Medisch Centrum Groningen
Rotte appels
Over de landelijke vergelijking van SETQ-resultaten is niet iedereen even enthousiast. Paul Brand, kinderarts en opleider in de Isala klinieken in Zwolle, ziet er geen meerwaarde in. De opleiding kindergeneeskunde aldaar maakt gebruik van soortgelijke vragenlijsten ter evaluatie, maar doet niet mee aan een landelijke vergelijking. Brand: ‘Volgens het kaderbesluit moet elke opleiding aan een vorm van kwaliteitsbevordering doen. Het gevaar loert dat SETQ als kwaliteitsindicator gebruikt gaat worden en dat zou een hele slechte zaak zijn. SETQ is een middel om opleidingen te versterken, geen doel op zich.’
Het systeem is ontwikkeld om individuele feedback te leveren, aldus Brand. ‘Het is het kwalitatieve gedeelte van de SETQ dat voor iedere individuele opleider waardevol is. Een landelijke vergelijking van de kwantitatieve score voegt daar niets aan toe.’ Lombarts benadrukt dat het gaat om een indicatie en niet om het presenteren van een absolute ranking. ‘Daarvoor zijn de verschillen tussen opleidingen onderling veel te klein. Bovendien is dat niet het doel waartoe SETQ ontwikkeld is.’ Het gaat volgens Lombarts niet om het aanwijzen van paradepaardjes of rotte appels. ‘Het aardige van een vergelijking op landelijk niveau is dat je hoog scorende opleidingen kan identificeren en kan uitzoeken of er wellicht breed gedragen visies of opleidingspraktijken zijn, waar andere opleidingen dan van kunnen leren. En dat draagt dan weer bij aan een transparantere opleidingscultuur.’
Academisch onderonsje
Jan Stam is hoofdopleider van de opleiding neurologie in het AMC. Net als de hoofdopleiders van heelkunde in het AMC en neurologie in het UMC Groningen, heeft hij te horen gekregen dat zijn opleiding tot de best scorende vervolgopleidingen behoort in de categorie grote opleidingen (meer dan 15 opleiders). In de categorie kleine opleidingen (minder dan 15 opleiders) vormen drie Amsterdamse gynaecologieopleidingen (Sint Lucas Andreas Ziekenhuis, het Onze Lieve Vrouwe Gasthuis en Zaanstad Medisch Centrum) de top drie.
De zoektocht naar gemene delers in het opleiderschap leidt bij de hoogscoorders tot min of meer gelijke conclusies. ‘Het is een beetje cliché, maar het begint toch met een enthousiaste en min of meer homogene opleidersgroep’, verklaart Stam. ‘Toch is dat niet geheel vanzelfsprekend. Kijk bijvoorbeeld naar maatschappen waarin de opleiding verdeeld is geraakt omdat een aantal specialisten niet veel met opleiden te maken wil hebben of niet gemotiveerd is, dan zie je meteen dat de kwaliteit zakt,’ zegt Stam, die veel opleidingen visiteerde.
De top drie is een academisch onderonsje. Toch is een goede opleiding in een academische setting niet vanzelfsprekend, zegt Stam. ‘De opleiding en dus ook de patiëntenzorg moeten eigenlijk gezien worden als de belangrijkste taak van iedereen. In een academisch ziekenhuis is dat soms wel een probleem, omdat er concurrentie is met onderzoekstijd. De opleider en het afdelingshoofd – soms dezelfde persoon – moeten in woord en daad uitdragen dat de patiëntenzorg en opleiding kerntaken zijn waar niemand zich aan mag onttrekken. Wij zijn daar heel streng in. Onttrekken aan de opleidingstaken betekent met één been buiten boord. Dat hoeven we niet eens te zeggen, dat is afdelingscultuur.’
Samen tobben
Neriman Bayram is hoofdopleider gynaecologie in het ZMC. Haar opleiding eindigde in de top drie bij de kleine opleidingen. Als verbeterpunt kreeg ze in 2009 te horen dat ze de communicatie over leerdoelen kon verbeteren. In 2011 ziet ze die feedback niet terug. ‘Die feedback is dus geïmplementeerd’, zegt ze lachend. ‘De vakgroep gynaecologie in de regio Amsterdam voert veel overleg met betrekking tot opleiden. Dat kan een verklaring zijn voor het feit dat juist daar drie hoog scorende opleidingen zitten.’ Haar opleiding scoort overigens bij herhaling hoog. ‘Je kunt het opleiden van assistenten zien als het opvoeden van kinderen. Dat gaat ook met vallen en opstaan. Het is belangrijk om open te staan voor discussie. Als je een veilig opleidingsklimaat weet te creëren, maakt het voor het geven van feedback minder uit of je aios in een kleine of grote opleiding bent.’
Stam ziet nog andere factoren. ‘Het is van belang dat er solidariteit is tussen assistenten en stafleden. Samen worstelen aan het ziekbed wanneer het ingewikkeld wordt. Het loont om op hetzelfde niveau te gaan staan, te laten merken dat je samen tobt. In sommige klinieken worden assistenten nog heel erg veel ingezet om voor een groot deel veel productie te draaien, met relatief weinig supervisie. Dan voelen assistenten zich er alleen voor staan en krijg je een splitsing tussen staf en assistent.’
M. Boers
reumatoloog, klinisch epidemioloog, AMERSFOORT
Figuur: staafdiagram zonder nullijn = misleidend.
Groet,
M