De nieuwe voortgangstoets is van start: ‘Er waren meer vragen met een context nodig’

Niet alleen doen sinds kort alle medische faculteiten mee, want ook Utrecht heeft zich aangesloten, maar is ook zijn hoop dat de papieren toets vervangen zou worden door een computergestuurde, adaptieve afname in 2022 werkelijkheid geworden. In die opzet maakt een algoritme een inschatting van het kennisniveau van de individuele student, zodat die vragen op zijn/haar eigen niveau krijgt. Belangrijkste voordeel, aldus Bremers: ‘Met minder vragen kun je toch tot een nauwkeurige inschatting komen van iemands niveau.’ Voor de liefhebber: het algoritme voor de toets was ‘open source’ beschikbaar, maar is opnieuw geprogrammeerd en uitvoerig getest. 

Met die computeradaptive testing is, zegt Bremers in zijn witte jas – hij is als chirurg verbonden aan het Radboudumc – enige jaren proefgedraaid in Maastricht. ‘De uiteindelijke proof of the pudding was in mei vorig jaar, toen we studenten de mogelijkheid hebben gegeven aan zowel de papieren als de computergestuurde adaptieve versie mee te doen. De beste uitslag zou tellen. Zo konden we de prestaties van beide toetsen een-op-een en per student met elkaar vergelijken. Uitkomst: de uitslagen bleken zeer sterk te correleren. De betrouwbaarheid van de nieuwe manier van toetsen is dus minstens even hoog als die van de oude. Sterker: we weten inmiddels dat de betrouwbaarheid van adaptief toetsen in de eerste jaren van de opleiding zelfs nog wat hoger is. Voortaan maken de studenten een voortgangstoets van 135 vragen. De uitslag berust op hun antwoorden op 120 vragen. Dat zijn vragen waarvan we precies weten hoe moeilijk die zijn. Van elke vraag hebben we namelijk een zogeheten itemprofiel waarbij de prestaties van studenten zijn afgezet tegen de kans dat ze de vraag goed beantwoorden. De overige vijftien vragen zijn nieuw. Die worden geijkt aan de hand van de scores van studenten op die vraag in relatie tot de scores op de overige 120 vragen. Te makkelijke of te moeilijke vragen vallen af. Je moet dan bijvoorbeeld denken aan studenten die een heel moeilijke vraag goed beantwoorden terwijl ze matig of slecht scoren op de rest van de toets. Of aan vragen die vrijwel iedereen correct beantwoordt. In beide gevallen correleert dat immers niet met de scores op de rest van de toets.’

‘Of een molecuul links- of rechtsdraaiend is, is op zichzelf voor een dokter geen relevante kennis’

Wat waren precies de redenen om computeradaptive testing in te voeren?

André Bremers: ‘Wat je door te toetsen te weten wilt komen is of een student zich gaandeweg de studie het totaal aan kennis dat je nodig hebt als basisarts eigen heeft gemaakt. En vooral waar die kennisgroei goed gaat en waar die tekortschiet. De meeste vragen waren in de papieren toets voor een eerstejaars eigenlijk niet te beantwoorden. Het aantal vragen dat relevant was voor het niveau van deze studenten was dan maar heel klein, bijvoorbeeld vijftig. Je ziet dan wel wat je niveau is ten opzichte van je jaargenoten. Maar je hebt minder goed zicht op waar je sterke en zwakke punten zitten. In het oude systeem werd dat pas duidelijker en betrouwbaarder naarmate je verder in je studie komt, terwijl je eigenlijk dat soort signalen al veel vroeger wilt krijgen. Sommige opleidingen startten de papieren toets daarom pas in het laatste jaar van de bachelor of aan het begin van de master. In de nieuwe opzet is dat sterk verbeterd. Een jaar of acht geleden realiseerden we ons bovendien dat we te veel “platte kennis” testten, noem het reproductiekennis. Er waren meer vragen met een context nodig, de context namelijk waarbinnen een arts bepaalde kennis toepast. Of een molecuul links- of rechtsdraaiend is, dat is op zichzelf voor een dokter geen relevante kennis. Maar wel als het gaat om iemand met een bepaalde ziekte waarin dat molecuul in de behandeling een rol speelt. Probleem is: als je meer context biedt, wordt de vraag langer. En die toetsboekjes met hun tweehonderd vragen werden wel veertig pagina’s dik. Deze vragen gedetailleerd en aandachtig lezen was misschien wel eerder een toets op uithoudingsvermogen en aandachtsspanne dan op wat je wilt weten. Dus was onze opgave: stel relevantere vragen, zonder dat het boekje nog meer omvang krijgt. Dat kan nu dankzij de adaptieve aanpak.’

Samengevat moeten de vragen dus aan twee eisen voldoen: ze moeten relevante kennis toetsen en binnen een bepaald kennisgebied kunnen oplopen in moeilijkheidsgraad. Bremers geeft een voorbeeld uit het domein van de sociale geneeskunde. ‘Iedere basisarts mag een overlijdensverklaring invullen. Daar hebben we een paar vragen over. Zoals: wanneer is lijkstijfheid minimaal opgetreden? Enkele uren, enkele dagen, of enkele weken na het overlijden? Moet je dat echt weten? Ja, dat wil zeggen, je mag wel een orde van grootte bekend veronderstellen bij elke basisarts. Maar moet hij bijvoorbeeld ook weten hoe lijkvlekken eruitzien bij iemand die aan koolmonoxidevergiftiging is overleden? Dat is een veel moeilijkere vraag. En nee, dat hoeft niet iedereen te weten. Maar er zijn studenten die echt verbluffend veel weten. Die krijgen de lastigste vragen: zo’n vraag bijvoorbeeld.’

Hoe gaat dat praktisch in zijn werk?

‘Vaakgehoord misverstand is dat in de vernieuwde opzet van de voortgangstoets het antwoord op een vraag de moeilijkheidsgraad bepaalt van de vervolgvraag. Dat klopt niet. Alle vragen die je tot dan toe gemaakt hebt bepalen samen hoe moeilijk de volgende vraag zal zijn.’

Bremers voegt daar nog een misverstand aan toe: ‘In de podcast van Medisch Contact hoorde ik laatst dat moeilijke vragen biochemische vragen zouden zijn. Die uitspraak deed wel pijn, hoor! Want ook dat is niet waar, al begrijp ik wel waar dat misverstand vandaan komt. Laat ik opnieuw een voorbeeld geven: stel je ziet een patiënt met uitpuilende ogen en een opgezette schildklier. Vraag: welke ziekte is dat? Het goede, makkelijke antwoord is natuurlijk: dat zal wel de ziekte van Graves-Basedow zijn. Een moeilijkere vraag is: waarom heeft deze patiënt uitpuilende ogen? Dat is een vraag naar het mechanisme van de ziekte. Antwoord: het gaat om een auto-immuunreactie. Een nog moeilijkere vraag kan vervolgens zijn: waarop reageert dat antilichaam tegen weke delen achter de ogen en de schildklier precies, en welke andere ziekten zouden daardoor ook kunnen optreden?’

Behalve inhoudelijke waren er ook logistieke redenen om de papieren toets te vervangen.

‘Jazeker. We willen viermaal per jaar de toets afnemen, dat geeft het beste zicht op de ontwikkeling van kennis bij de studenten. Maar als je dat met acht faculteiten moet synchroniseren, rekening houdend met hun toetsweken, de beschikbaarheid van locaties enzovoort, dan is dat logistiek steeds opnieuw een mega-operatie. Maastricht moet in het Mecc terechtkunnen, in Leiden moeten ze kerkgebouwen huren, waar het in de winter niet altijd even aangenaam is. En bedenk ook: die hele toetsdag of in ieder geval gedurende een groot deel van die dag, is nergens in het land een coassistent beschikbaar. Geen goede zaak, want zij hebben echt een rol in de zorg. En we moeten steeds weer twaalfduizend voortgangstoetsboekjes laten drukken en distribueren. Dat is nu allemaal niet meer nodig. Onze meetmomenten strekken zich nu uit over een periode van vijftien achtereenvolgende dagdelen met een weekend daartussen. Dat maakt de orga­nisatie een stuk gemakkelijker. En: de resultaten van de toetsing zijn veel sneller bekend.’

‘Er zijn studenten die echt verbluffend veel weten, die krijgen de lastigste vragen’

De opzet en organisatie van de voortgangstoets doet u naast uw werk als chirurg. Waarom eigenlijk?

‘Het is in de eerste plaats heel leuk werk. Ik beschouw toetsing als een belangrijk onderdeel van de opleiding. Het is mooi om de kennis van de studenten te zien groeien. En wat ook voldoening geeft: we gaan steeds beter toetsen. Daar komt bij dat ik door dit werk misschien wat minder last heb van de kokervisie die de specialist, de chirurg in mijn geval, nu eenmaal eigen is, want ik ben steeds bezig met de volle breedte van de geneeskunde.’

Het heeft hem zelfs naar Brazilië gebracht, vertelt Bremers, want ook daar wordt een voortgangstoets ingevoerd. ‘Dat land heeft vier keer zoveel medisch studenten dan Nederland en twaalfmaal meer medische faculteiten. Al die faculteiten zijn dus kleiner dan bij ons. En je weet: hoe kleiner je bent, hoe kwetsbaarder je bent voor blinde vlekken, voor het juist inschatten van je kennisniveau. Bovendien: hoe kleiner het groepje waarop je een eigen toets loslaat, hoe dommer je bezig bent in termen van kosteneffectiviteit. Dat is de reden waarom men daar ons voorbeeld volgt.’ 

Zie ook: ivtg.nl/nl/toetsinformatie/faq/