‘Vragen maken is een vak apart’

De lusten en lasten van de voortgangstoets

Duizenden geneeskundestudenten buigen zich vier keer per jaar over de voortgangstoets. Voor de een is het een terugkerende ramp, voor de ander een mooi meetinstrument.

Wanneer een naevus wordt geëxcideerd, moet er een excisiemarge worden aangehouden van: a. 2 mm, b. 10 mm, c. 20 mm.’ *

Grote kans dat geneeskundestudenten uit Maastricht, Groningen en Nijmegen deze vraag herkennen. Het is er één uit de voortgangstoets van september 2005. Iedere student van de deelnemende geneeskundefaculteiten maakt vier keer per jaar een voortgangstoets: allemaal op hetzelfde tijdstip en allemaal dezelfde vragen. Naast Maastricht, Nijmegen en Groningen, buigen de studenten uit Leiden zich sinds kort ook over de vragen.

De toets is gebaseerd op het kennisniveau van de basisarts. Voor elk studiejaar geldt een eigen normering. Met de toets kan de voortgang van een student in kaart worden gebracht. Voor de eerstejaars kan de voortgangstoets een behoorlijk frustrerende exercitie zijn; in september - als de eerste toets zich aandient - hebben ze nog maar weinig college gehad. Maar als je de scores van september, december, maart en mei vergelijkt, kun je - als het goed is - een groei zien. Met de toets reduceer je stress, zo is het idee van de makers, want je kunt er niet voor blokken. Dus wie alles goed bijhoudt, hoeft niet zenuwachtig te zijn.

Groeicurve

De voortgangstoets is ooit ontwikkeld in Maastricht. Ze produceerden aanvankelijk per toets 250 juist/onjuist-vragen, gericht op het eindniveau van de artsenopleiding. Inmiddels zijn het tweehonderd meerkeuzevragen per toets. Studenten krijgen nu met minder vragen evenveel tijd als voorheen om de toets te maken. De vragen zijn iets uitgebreider, waardoor de zwaarte wat toeneemt want de tijd waarin ze moeten worden gemaakt, blijft gelijk.

‘Door de toets al in het eerste jaar aan te bieden, kun je de leergroei van een student in relatie tot zijn jaargenoten in kaart brengen’, zegt Lambert Schuwirth, arts van de afdeling Onderwijsontwikkeling en Onderwijsresearch in Maastricht. Hij was tot eind april voorzitter van de Interfacultaire Werkgroep Voortgangstoets. ‘Je kunt de scores vergelijken met de groeicurve van een kind bij het consultatiebureau. Daar kun je ook zien hoe je kind zich verhoudt met de gemiddelden van leeftijdgenoten. De curven groeien in de hogere jaren nog steeds. Gedurende zijn studie kan de student aan zijn leercurve aflezen of zijn score afbuigt en zo ja, op welke onderdelen. Zo weet hij dus waar hij zich op moet toeleggen. Bovendien kan de studiebegeleider zien waar een student de fout in gaat.’

Juiste mix

De vragen worden gemaakt door docenten van de deelnemende faculteiten. Vanaf september verschijnen er ook vragen van Leidse docenten in de toets. Doordat de toets door verschillende faculteiten is gemaakt, is het volgens de makers een onafhankelijk toetsinstrument.

De toets is in Maastricht begonnen; Nijmegen en Groningen zijn er - in 1999/2000 - op eigen initiatief bijgekomen. Aanvankelijk wilden zij de test kopen van Maastricht. Schuwirth: ‘Toen hebben wij voorgesteld om tot een gezamenlijke constructie te komen. Dat is gunstig voor de juiste mix van vragen, want iedereen heeft zo zijn stokpaardje. We hebben een roulatiesysteem opgesteld per categorie. Iedereen maakt een kwart van de vragen. Het bijzondere aan onze toets is dat we goed samenwerken met onze partners.’ Hij benadrukt verschillende keren het belang van de samenwerking. ‘Als ik dit in het buitenland vertel, weten ze niet wat ze horen, want daar kennen faculteiten onderling voornamelijk competitie.’

In de voortgangstoets zitten zowel parate-kennisvragen als in­­zichtvragen. ‘Een arts moet bij wijze van spreken het antwoord weten als hij ‘s nachts om twee uur wakker wordt gemaakt’, zegt Schuwirth. ‘De bloktoetsen daarentegen gaan dieper op de zaken in.’ 

Blauwdruk

De bedenkers proberen een zo eerlijk mogelijke verdeling te maken van alle onderdelen. Daarom worden vragen volgens een verdeelsleutel (de blauwdruk) geselecteerd uit een geautomatiseerd bestand. Een vraag moet aan verschillende criteria voldoen, zoals prevalentie van de aandoening, ernst van de ziekte en hoeveel erover is gedoceerd. De mix van vragen is samengesteld uit gedragswetenschappelijke vakken, waaronder voor het gemak ook recht, maatschappij en economie wordt verstaan, de basisvakken zoals genetica, anatomie en farmacologie, en de klinische vakken. Uitgangspunt is het raamplan artsopleiding waarin de eindtermen staan. De blauwdruk wordt nu aangepast aan het raamplan dat van tijd tot tijd verandert.

In principe mogen alle docenten meehelpen vragen te bedenken. ‘Maar, goede vragen maken is een vak apart’, waarschuwt Schuwirth. ‘Soms zit bijvoorbeeld het antwoord op een vraag al in de vraagstelling verborgen. Dat willen we niet. Steeds meer vragen komen uit de praktijk. Vroeger waren er veel theorievragen en moesten de studenten juist of onjuist aangeven. Nu zit er meer casuïstiek in en zijn meer antwoorden mogelijk. De antwoorden zijn ook meer gericht en nauwkeurig.’

Voordat een toets voortgangstoets mag heten, worden alle vragen voorgelegd aan een beoordelingscommissie; een panel van vijf wetenschappelijk medewerkers die kijken naar vorm (is de vraagstelling duidelijk), inhoud (kloppen de feiten) en relevantie (past deze vraag binnen de eindtermen).

Antwoordensleutel

De databank is heilig voor de makers. Hierin liggen alle vragen en resultaten van de voortgangstoets opgeslagen. Hij bevat een flinke hoeveelheid informatie die wordt gebruikt voor de normering. Elk jaar komen daar achthonderd items - vier keer tweehonderd vragen - bij. Hoe omvangrijker de toets, des te beter gefundeerd een score is te berekenen. Studenten van de verschillende faculteiten blijken vrijwel even goed te scoren. Die databank is bijzonder, vinden de toetsenmakers. Schuwirth: ‘We hebben resultaatgegevens van enorm grote groepen studenten. Daardoor hebben we heel veel vergelijkingsmateriaal. Dat is uniek.’

De relatieve norm bepalen de faculteiten per jaargroep. Het blijkt dat twee opeenvolgende toetsen meer van elkaar verschillen dan de resultaten van twee opeenvolgende jaargroepen. Blijkbaar is het heel moeilijk om in te schatten hoe moeilijk een toets is.De studenten mogen na afloop de toets meenemen en krijgen ook de antwoordensleutel en literatuurverwijzingen. Zij krijgen vervolgens een week de tijd om de makers uit te dagen wanneer een bepaalde vraag of bepaald antwoord niet klopt. Zij moeten dat beargumenteerd aan de toetssamenstellers voorleggen, bijvoorbeeld met literatuurverwijzingen. De ervaring leert dat studenten van verschillende faculteiten doorgaans over dezelfde vragen opmerkingen hebben.

De boer op

Vooralsnog ziet het er niet naar uit dat de gezamenlijke voortgangstoets ook in Amsterdam, Rotterdam en Utrecht wordt gehouden. De faculteiten hebben zo hun eigen tentamens. Schuwirth: ‘We zijn met de toets de boer op gegaan naar andere faculteiten. Sommige willen uit principe niet meedoen of willen een eigen concept ontwikkelen. De universiteiten met een eigen concept vinden het bijvoorbeeld lastig dat wij met gesloten vragen werken, maar dat moet wel omdat onze voortgangstoets veel vragen bevat. Gesloten vragen kosten minder tijd dan open vragen. Zij vinden dat de spontaniteit van beantwoorden er niet is. Je wordt met de meerkeuzevragen als het ware op een idee gebracht. Ik blijf daar neutraal in, want ik vind het altijd goed als er meerdere soorten toetsen zijn. Ik zou het zonde vinden als wij suggereren dat alleen wij het bij het rechte eind hebben.’

Utrecht kent een eigen voortgangstoets in het vierde en vijfde jaar. De Utrechtse geneeskundefaculteit kiest voor open vragen en vragen waarop kort kan worden geantwoord. In een artikel in een blad voor geneeskundedocenten (Medical Teacher 2005: 578-82) schrijft Jany Rademakers van het Utrechtse Onderwijsinstituut waarom de faculteit voor een eigen toets kiest. Studenten maken veertig vragen per toets. Redenen voor minder vragen zijn tijd en geld. Daarnaast heeft de faculteit de wetenschap dat vragen waarop korte antwoorden mogelijk zijn een grote intrinsieke waarde hebben. Verder blijkt uit onderzoek van de faculteit naar voortgangstoetsen, dat de testresultaten gelijk of zelfs beter zijn bij een lager aantal open vragen dan bij veel meerkeuzevragen.

Volgens Schuwirth is de voortgangstoets in hoge mate uniek, maar hij krijgt nu in snel tempo navolging. Bijvoorbeeld in Berlijn waar het Charitéziekenhuis met een pilot bezig is. Verder gebruikt de geneeskunde­faculteit van Pretoria ook deze toets. En de drie Vlaamse geneeskunde­faculteiten zijn aan het kijken of de toets voor hen zinvol is. Misschien kunnen Nederland en België gemeenschappelijk vragen maken. ‘Ik weet niet in hoeverre dat mogelijk is, omdat er verschillen zijn’, zegt hij, ‘zoals de wetten en de DBC’s. Maar als we sommige vragen gemeenschappelijk doen, heb je wel enorm veel vergelijkingsmateriaal.’ 

Ingrid Lutke Schipholt

Beeld: Flip Franssen, Hollandse Hoogte

Klik hier voor het PDF van dit artikel

* Goede antwoord: a.