Radiologie volgt kennisniveau aios

Toets verschaft opleiders objectief beoordelingsinstrument

Radiologie gebruikt als een van de weinige medische vervolgopleidingen een voortgangstoets om de kennis­ontwikkeling van de aios te volgen. De toets, die vorig jaar werd verbeterd, verschaft opleiders objectieve informatie over het kennis­niveau van radiologen in spe.

Bij de modernisering van de medische vervolgopleidingen wordt expliciet aandacht besteed aan toetsing van competenties, waaronder toetsing van kennis.1 2 Veel artsopleidingen gebruiken daarvoor een voortgangstoets; een periodieke toets van de kennis die een student aan het eind van de opleiding moet beheersen. In Nederland wordt in een samenwerkingsverband van een aantal artsopleidingen viermaal per jaar een voortgangstoets gehouden.3 4 In de medisch specialistische opleidingen daarentegen wordt het instrument maar zeer beperkt gebruikt. De opleiding radiologie houdt sinds 2003 tweemaal per jaar een voortgangstoets. 

Deze toets bestaat uit 200 multiplechoicevragen (met de antwoordmogelijkheden ‘ja’, ‘nee’ en ‘weet niet’), waarvan circa 15 procent met afbeeldingen, verdeeld over de 10 deelgebieden van de radiologie. Het resultaat wordt uitgedrukt in de zogenoemde goed-min-fout-score (G-F-score; het aantal goede minus het aantal foute antwoorden). De examencommissie van de Nederlandse Vereniging voor Radiologie (NVvR), een subcommissie van de onderwijscommissie, stelt de vragen op. De vragenbank, die regelmatig wordt uitgebreid, telt inmiddels ruim 1600 vragen.

Van 2003 tot en met 2005 werd de toetsuitslag weergegeven als percentielscore van de aios ten opzichte van alle andere deelnemers. De percentielscore is het percentage van de deelnemers dat lager heeft gescoord dan de kandidaat zelf. Maar deze bleek moeilijk te interpreteren en gaf aanleiding tot misverstanden. Een voorbeeld: een vierdejaars aios scoorde op de 52ste percentiel (52% van de deelnemers haalde een lagere score). De opleider was tevreden, de aios scoorde immers bij de beste helft van Nederland. Maar bij nadere beschouwing bleek dat deze assistent ten opzichte van zijn eigen jaargroep bij de laagste 10 procent zat. Daarom is de wijze van rapporteren met ingang van 2006 herzien.

Inzicht

Doelstelling bij de herziening van de toetsrapportages was een duidelijk en eenvoudig interpreteerbaar inzicht in het kennisniveau van de deelnemer, zowel ten opzichte van de jaargroep als over het verloop in de tijd en per deelgebied van de radiologie. Voor de bepaling van de prestatie van de aios wordt de jaargroep als referentie gebruikt. Omdat de opleidingsduur van de arts-assistenten sterk uiteenloopt door bijvoorbeeld parttime dienstverband of zwangerschapsverlof, wordt de netto opleidingsduur op de toetsdatum gecorrigeerd door deze te normaliseren naar vijf jaar. In dezelfde jaargroep van de assistent zitten assistenten met een half jaar langere tot een half jaar kortere opleidingsduur; de kandidaat valt qua opleidingsduur in het midden van zijn jaargroep.

Het aantal vragen per deelgebied per toets loopt uiteen van 15 tot 30. Om bij dit relatief geringe aantal vragen een statistisch betrouwbare indruk te krijgen, worden de vragen per deelgebied over de laatste (maximaal) drie toetsen waaraan de kandidaat heeft deelgenomen, bij elkaar genomen. Verder wordt per toets en per deelgebied een kwalitatief oordeel toegevoegd. Deze kwalificaties worden op grond van de G-F-scores als volgt bepaald:

- lager dan het jaargemiddelde min 1 standaarddeviatie (SD): onvoldoende;

- vanaf het jaargemiddelde min 1 SD tot jaargemiddelde: voldoende;

- vanaf het jaargemiddelde tot het jaargemiddelde + 1 SD: goed;

- het jaargemiddelde + 1 SD en hoger: zeer goed.

Aan de toets van 13 oktober 2006 namen 249 aios deel. De betrouwbaarheid (coëfficiënt alfa) van de toets was 0,87; de standaard meetfout 9,88. Deze waarden geven aan dat de toets een hoge betrouwbaarheid heeft en dat de foutenmarge relatief gering is. De gemiddelde G-F-score per jaargroep is weergegeven in figuur 1. Deze figuur toont een gewenst kennisverloop: in de eerste jaren neemt de kennis duidelijk toe; de tweede helft van de opleiding is vooral gericht op de toepassing ervan. De volgende kwalificaties werden behaald: 41 aios scoorden onvoldoende; 79 voldoende, 90 goed, en 39 zeer goed.

Kennisniveau

De voortgangstoets in de opleiding radio­logie is primair bedoeld om de deelnemers en hun opleiders inzicht te geven in de ontwikkeling van het kennisniveau. Door de uitgebreidere rapportages van de toetsresultaten is de aandacht voor de voortgangstoets bij aios, opleiders en alle betrokken geledingen van de NVvR aanmerkelijk toegenomen. Daarmee is het belang van kennisverwerving meer op de voorgrond komen te staan. De indruk bestaat dat er door de aios duidelijk meer wordt gestudeerd, alhoewel dit op grond van de beschikbare gegevens niet is te objectiveren.

In de implementatieperiode is wel een aantal discussie- en kritiekpunten aan de orde geweest, die hieronder zijn samengevat.

1. De voortgangstoets toetst theoretische kennis; kennis die in de praktijk wordt verworven, is veel belangrijker.
De primaire leeromgeving in de vervolgopleidingen is vanzelfsprekend de klinische praktijk. Maar de werkvloer heeft voor het vergaren van vakinhoudelijke kennis enkele duidelijke beperkingen. Zo worden in de klinische praktijk relatief zeldzame ziekten niet vaak gezien. Specifieke verwijspatronen dragen daaraan nog extra bij. Er moet ook een adequaat kennisniveau worden opgebouwd van ziekten die minder frequent voorkomen. Verder is de werkdruk in de klinische praktijk vaak hoog. Het verwerven van diepgaande kennis en begrip van de achtergronden van ziekten, alsmede van de relevante basisvakken, komt meestal het eerst in het gedrang.

2. De kwaliteit van de toetsvragen is wisselend.
Het maken van goede multiplechoicevragen is moeilijk. Maar mede door het volgen van gerichte cursussen heeft de examencommissie van de NVvR veel ervaring opgedaan. Toch slippen er minder geschikte vragen doorheen. Maar deze worden na de toets op grond van onderwijskundige statistische parameters opgespoord en verwijderd. De voortgangstoets beslaat alle deelgebieden van de radiologie en heeft een hoge betrouwbaarheid. De kwaliteit van de toets als geheel staat niet ter discussie.

3. Vijftien procent van de deelnemers heeft per definitie een onvoldoende.

Bij een normering waarbij de jaargroep als referentie wordt gebruikt, heeft altijd een zeker percentage van de deelnemers een onvoldoende.

Bij scores lager dan het jaargemiddelde minus 1 SD is dit ongeveer 15 procent. Hierin kunnen toevalsfactoren een rol spelen, onder meer uitgedrukt in de standaard meetfout. Een éénmalige onvoldoende hoeft dan ook geen probleem te zijn. Maar als een kandidaat een aantal keren op rij een onvoldoende scoort, is dat wel een betrouwbare indicatie van het niveau van zijn kennis­ontwikkeling in vergelijking met jaar­genoten.4 5

4. De deelgebiedsscores lopen achter.
De deelgebiedsscores worden be­­paald op grond van de laatste (maximaal) drie toetsen die de kandidaat heeft afgelegd. Een onvoldoende deelgebiedsscore is dus over langere tijd opgebouwd. Dat betekent dat de assistent dit resultaat kan zien aankomen en tijdig gericht kan studeren. Keerzijde is dat als de score eenmaal onvoldoende is, het ook langer duurt voordat deze is gecorrigeerd.5

5. Sommige assistenten behalen in de voortgangstoetsen slechte resultaten, maar functioneren in de praktijk goed.
Het beoordelen van aios op de werkvloer is moeilijk omdat harde criteria over het algemeen ontbreken. De opleiders baseren zich veelal op subjectieve indrukken. Als een assistent collegiaal is, over goede communicatieve vaardigheden beschikt, met iedereen goed kan opschieten en verder niet in negatieve zin opvalt, is hij al snel een goede assistent. Dit is echter geen garantie voor adequate vakinhoudelijke kennis. Goed professioneel gedrag compenseert niet voor een gebrekkig kennisniveau.

Verplicht

Hoewel deelname aan de voortgangstoets voor aios binnen de NVvR verplicht is, hebben de toetsuitslagen geen enkele formele consequentie. Het is aan de opleider om het resultaat van de toets als één van de parameters te betrekken bij de beoordeling van de competentieontwikkeling van de assistent. Van belang is dat een zekere consensus tot stand komt bij de opleiders over de interpretatie van de toetsresultaten en de bijsturing als assis­tenten consistent onvoldoende scoren.

Ook Concilium en Onderwijscommissie kunnen beleid ontwikkelen, waarbij in eerste instantie de positieve stimulans de voorkeur verdient. Er wordt bijvoorbeeld overwogen om een diploma in te stellen, eventueel aangevuld met een cum laude-kwalificatie voor zeer goed presterende assistenten. Maar naar het zich nu laat aanzien, zal het behalen van het diploma niet noodzakelijk zijn voor de afronding van de opleiding radio­logie. 

Het instellen van een harde zak-slaaggrens is in de vervolgopleidingen waarschijnlijk geen haalbare optie, mede gezien de mogelijke juridische consequenties. Voor het vervolg van dit traject is het ook belangrijk welke positie de kennistoetsing inneemt in de landelijke herziening van de medische vervolg­opleidingen en in het beleid van het College voor de Beroepen en Opleidingen in de Gezondheidszorg. 

dr. J.P.J. van Schaik,
radioloog, opleider UMC Utrecht

Dr. F.J.A. Beek, radioloog, lid examencommissie Nederlandse Vereniging voor Radiologie UMC Utrecht; dr. J.B.C.M. Puylaert, radioloog, voorzitter examencommissie Nederlandse Vereniging voor Radiologie, Medisch Centrum Haaglanden, Den Haag; prof. dr. F. Barkhof, radioloog, voorzitter onderwijscommissie Nederlandse Vereniging voor Radiologie, VUmc; C. Haaring, databasemanager trialbureau radiologie, UMC Utrecht; prof. dr. Th.J. ten Cate, medisch onderwijskundige, UMC Utrecht.
 

Correspondentieadres:

j.p.j.vanschaik@umcutrecht.nl

;

c.c.:

redactie@medischcontact.nl

Geen belangenverstrengeling gemeld.

SAMENVATTING

Literatuurreferenties

1. Cate TJ ten, Bleker OP, Büller HA, Scherpbier AJJA. Opleiden van medisch specialisten. Bohn Stafleu Van Loghum, 2003. 2. Bolhuis S, Fluit CRMG. Visie op toetsen en beoordelen. Website

www.medischevervolgopleidingen.nl

. Geraadpleegd 7-2-2007. 3. Vleuten CP van der, Schuwirth LW, Muijtjens AM, Thoben AJ, Cohen-Schotanus J, Boven CP van. Cross institutional collabo­ration in assessment: a case on progress testing. Med Teach. 2004 Dec; 26 (8): 719-25. 4. Lutke Schipholt I. Op zoek naar hiaten in de kennis. Medisch Contact 2006; 61 (20): 820-2. 5. McHarg J, Bradley P, Chamberlain S, et al. Assessment of progress tests. Med Educ 2005; 39 (2): 221-7.

Klik hier voor de pdf van dit artikel.

De meest recente voortgangstoets radiologie (vraag 1 t/m 172)

De meest recente voortgangstoets radiologie (vragen met beeld; vraag 173 t/m 200)

De antwoordsleutel

Antwoorden:

Vraag 1: B; vraag 2: A; vraag 3: B; vraag 4: B.