Nieuws

Alles wat je wilt weten over de voortgangstoets (of juist niet)

Plaats een reactie

De voortgangstoets is een objectief instrument om de progressie van de student te meten. Dat vindt André Bremers, voorzitter van de landelijke werkgroep die de voortgangstoets organiseert. ‘Wij overhoren niet het lesprogramma, maar toetsen wat iemand opsteekt gedurende de opleiding.’

Sommige studenten maken hem met gemak, andere zien er als een berg tegenop: de voortgangstoets. Leren is niet nodig, deze toets gaat over het toepassen van je parate kennis. De manier van toetsing ontstond tientallen jaren geleden in Maastricht. Tegenwoordig werken de medische faculteiten van Nijmegen, Maastricht, Groningen, Leiden en de VU (Amsterdam) samen om hun studenten de allerbeste vragen voor te schotelen. Het AMC (Amsterdam) koopt de toets en levert geen bijdrage aan de totstandkoming ervan.

Vragenbank

Chirurg André Bremers is voorzitter van de landelijke werkgroep interuniversitaire voortgangstoets en geeft een kijkje achter de schermen. Bremers: ‘Iedere faculteit levert een evenredig aantal vragen aan. De vragen van de ene facultaire voortgangscommissie worden beoordeeld door een commissie van een andere universiteit. Deze beoordeling is gebaseerd op relevantie, inhoudelijke juistheid en vraagconstructie. Alle opgaven komen vervolgens in een vragenbank, die momenteel bestaat uit 8500 vragen.’ Uit een voorselectie van vierhonderd vragen maakt Bremers uiteindelijk een ‘concept’-voortgangstoets met tweehonderd opgaven, die vervolgens weer gecheckt wordt door twee werkgroepleden uit andere steden. Door deze zogenaamde peer review verbetert zowel de kwaliteit als de betrouwbaarheid van de vragen. ‘Slechts 20 procent van de oorspronkelijke vragen komt ongeschonden door de peer review, de rest wordt op enige wijze aangepast’, aldus Bremers.

Hergebruikt

Soms komen vragen exact hetzelfde terug in een latere voortgangstoets. Bremers: ‘Gebruikte vragen worden vier jaar lang niet geselecteerd en daarna opnieuw gecontroleerd. Hierna kan de vraag hergebruikt worden.’ Maar let op: soms worden ze na gebruik op één enkel punt aangepast, waarbij de casus en de antwoordopties hetzelfde zijn. Bij de aangepaste vraag is het juiste antwoord anders dan bij de oorspronkelijke vraag. Bremers: ‘Mensen die leunen op het feit dat ze een opgave herkennen, gaan hierbij vaak de mist in.’ Als een vraag drie jaar ongebruikt in de vragenbank heeft gestaan, herbeoordelen de auteurs de vraag: is de vraag nog wel correct?

'De voortgangstoets zou te gedetailleerd, te moeilijk en te lang zijn'

Bezwaren

Veelgehoorde bezwaren zijn dat de voortgangstoets te gedetailleerd, te moeilijk en te lang is. Dat vragen te gedetailleerd zijn, kan Bremers gedeeltelijk beamen. ‘De afgelopen jaren hebben we al veel meer vragen toegevoegd van een hogere complexiteit. De feitjesvragen zitten er nog wel in, omdat je ook een deel feitenkennis nodig hebt om je werk te kunnen doen. We hebben maximaal 25 procent van dit soort vragen in één toets. Een vraag die in eerste instantie een feitjesvraag lijkt, is dat niet altijd. Al redenerend kun je de foute antwoorden wegstrepen, zonder het feitje te weten.’ Volgens Bremers is het stellen van relatief moeilijke vragen een bewuste keuze: ‘Het meest cruciale is dat de toets goed differentieert tussen voldoende en onvoldoende. Als je 80 procent makkelijke vragen maakt die iedereen goed heeft, haal je hier geen informatie uit. Je differentieert dan op basis van 20 procent van de moeilijkere vragen. Met meer relatief moeilijke vragen kun je betrouwbaarder differentiëren.’

Adaptieve toetsing

Vier uur zitten en aan één stuk door vragen beantwoorden is vrij lang. Bremers: ‘Doordat de feitjesvragen de afgelopen jaren grotendeels zijn vervangen door vragen met meer context, heeft een voortgangstoetsboekje tegenwoordig zo’n veertig bladzijden. Waar we naartoe willen is een adaptieve afname. Een computer maakt dan een inschatting van het kennisniveau van de individuele student. Ieder maakt vervolgens de vragen op het eigen niveau. Hierdoor kun je met minder vragen tot een even nauwkeurige inschatting komen van iemands niveau.’ Deze vorm van toetsing is logistiek beter uitvoerbaar en kostenbesparend. ‘Nu is het zo dat alle studenten tegelijkertijd de toets maken. In de nieuwe vorm zouden studenten de toets op verschillende momenten kunnen maken, waardoor er geen grote zalen en 12 duizend voortgangstoetsboekjes meer nodig zijn.’ Jammer genoeg is deze adaptieve toetsing voorlopig nog toekomstmuziek. Bremers: ‘Het blijkt technisch lastig te realiseren. Je moet van elke vraag precies weten hoe moeilijk die is.’

Feedback

Na elke toets krijgen studenten de gelegenheid om inhoudelijk incorrecte of dubbelzinnig geformuleerde vragen te melden. Bremers: ‘Op een kwart tot een derde van de vragen komt commentaar. Elke commissie in elke stad bespreekt de feedback van alle studenten.’ Volgens Bremers kan al één persoon daarbij het verschil maken: ‘Als één student met een degelijke bron komt die aantoont dat een vraag onjuist is, dan gaat die eruit.’ De vragen van de voortgangstoets zitten steeds beter in elkaar. ‘Vroeger sneuvelden veel vragen, dit zijn er nu één of twee per keer. Kwetsbaar zijn vragen die gaan over wet- en regelgeving, omdat die aan veranderingen onderhevig zijn. Daarnaast komen fouten in de antwoordsleutel voor, meestal door een typefout bij het alfabetiseren van de antwoorden. De vraag klopt dan wel en blijft ook meetellen voor het eindresultaat.’

‘Ik ben voor een toets die gedragen wordt door alle universiteiten’

Eenduidig

Sommige faculteiten presteren beter dan andere, al is het verschil gering. Bremers: ‘De vraagteken-optie met correction for guessing zou hierin een rol kunnen spelen, doordat niet alle studenten gewend zijn om hiermee te werken.’ Ook het onderwijssysteem kan je score beïnvloeden. Bremers vervolgt: ‘Als je al je basiskennis alleen maar tegenkomt in de vorm van casussen, kun je je voorstellen dat het lastiger is vragen te beantwoorden die op die basiskennis gericht zijn en niet op de toepassing ervan.’

Momenteel doen Utrecht en Rotterdam nog niet mee met de voortgangstoets, maar Bremers hoopt dat in de toekomst alle universiteiten zullen meedoen: ‘In heel veel andere landen, zoals Engeland, Zwitserland en Rusland, is men bezig met het optuigen van een nationaal examen. Kennelijk vinden zij dat je niet één universiteit kunt laten beslissen of iemand voldoet aan het niveau om als arts te werken. We lopen wat dat betreft heel erg achter.’ Bremers is niet per se voorstander van zo’n nationaal examen, maar ziet liever eenduidige toetsing. ‘Ik ben voorstander van een toets die gemaakt en gedragen wordt door alle universiteiten, in plaats van een toets die door een select groepje van buiten wordt gemaakt. Ik hoop daarom dat ook de laatste faculteiten zullen gaan meedoen. Elke universiteit is autonoom en moet zelf beslissen of ze wil meedoen, maar ze zijn meer dan welkom om aan te sluiten.’ 

Wist je dat:

  • ... de totale kosten van de voortgangstoets ongeveer 1 miljoen euro per jaar zijn? Dit staat gelijk aan 20 euro per student per toets. Dat is goedkoper dan toetsen door de universiteit zelf.
  • .... André Bremers zelf in zijn studententijd heeft meegedaan aan een try-out van wat nu de voortgangstoets is? De grote hoeveelheid gedetailleerde vragen overweldigde hem.
  • .... de toetsresultaten in Maastricht geanalyseerd worden en je met behulp van het programma ‘ProF’ per vakgebied kan zien hoe je hierop scoort?
  • ... de vraagtekenoptie zorgt voor een extra vorm van toetsstrategie? De makers van de toets geven je de optie om een antwoord niet in te vullen (vraagteken) als je het antwoord echt niet weet. Zo voorkom je dat je punten verliest door een fout antwoord (correction for guessing). Diegenen die bang zijn om een fout antwoord te geven, benadelen echter zichzelf. Want door veel vraagtekens te kiezen, benadeel je jezelf.

  • Myrna Linders

    Myrna Linders is basisarts en werkt momenteel in de jeugdgezondheidszorg.  

Op dit artikel reageren inloggen
Reacties
  • Er zijn nog geen reacties
 

Cookies op Medisch Contact

Medisch Contact vraagt u om cookies te accepteren voor optimale werking van de site, kwaliteitsverbetering door geanonimiseerde analyse van het gebruik van de site en het tonen van relevante advertenties, video’s en andere multimediale inhoud. Meer informatie vindt u in onze privacy- en cookieverklaring.