Op zoek naar hiaten in de kennis

Interuniversitaire voortgangstoets biedt vergelijkingsmateriaal

Duizenden vragen over de basiskennis van artsen zijn opgeslagen in een databank. Deze vragen - bedacht door docenten - worden gebruikt in de voortgangstoets die grote aantallen medisch studenten vier keer per jaar gelijktijdig maken.

Iedere student van de vier deelnemende geneeskundefaculteiten - Maastricht, Nijmegen, Groningen en Leiden - maakt elk kwartaal een interuniversitaire voortgangstoets: allemaal op hetzelfde tijdstip en allemaal dezelfde vragen. De toets is gebaseerd op het kennisniveau van de basisarts. Voor elk studiejaar geldt een eigen normering. Zo wordt de voortgang van een student in kaart gebracht.

Pioniers

Het concept is in de jaren zeventig bedacht door de geneeskundefaculteit van Maastricht. De reden dat Maastricht ermee aan de slag ging, was dat daar probleemgestuurd onderwijs (pgo) werd gegeven. Toentertijd een noviteit in Nederland, nu op veel faculteiten ingeburgerd. Met het pgo werken studenten per blok zelfstandig aan een thema. Ze voeren opdrachten rond een thema uit en zoeken zelf informatie op. De faculteit gaat ervan uit dat de studenten zelfstandig leren; dat ze zelf kunnen ontdekken welke informatie ze nodig hebben om de opdrachten goed uit te voeren.

Om dat te testen zocht de Maastrichtse onderwijsleiding bij de invoering van het pgo een toets om alle opgedane kennis te toetsen en om hiaten op te sporen. De filosofie is dat studenten consequent leren en niet alleen vlak voor tentamens.

‘Wij namen aan dat de gemiddelde student voldoende zou leren’, zegt Lambert Schuwirth, arts van de afdeling Onderwijsontwikkeling en Onderwijsresearch in Maastricht en tot voor kort voorzitter van de Interfacultaire Werkgroep Voortgangstoets. ‘Bij de bepaling van de zak/slaaggrens gaan we uit van het gemiddelde per jaargroep. We nemen namelijk aan dat de gemiddelde geneeskundestudent voldoende gemotiveerd is en hard genoeg werkt. Dan is het zaak te bepalen wie daar ver onder zit. Als we een standaarddeviatie van het gemiddelde aftrekken, weten we met voldoende zekerheid dat een student niet aan de maat is.’

De Maastrichtse onderwijspioniers bedachten voor de eerste toetsen 250 juist/onjuist-vragen gericht op het eindniveau van de artsenopleiding. Inmiddels zijn het tweehonderd meerkeuzevragen per toets. Studenten krijgen nu voor minder vragen evenveel tijd als voorheen om de toets te maken. Maar, de vragen zijn iets uitgebreider, waardoor de zwaarte wat toeneemt in verhouding tot de tijd waarin ze moeten worden gemaakt. Vroeger waren er veel theorie­vragen. Sinds ongeveer een jaar zit er meer casuïstiek in.

‘Door de toets al in het eerste jaar aan te bieden, kun je de leergroei van een student in relatie tot zijn jaargenoten in kaart brengen’, zegt Schuwirth. ‘De curven groeien in de hogere jaren nog steeds. Gedurende zijn studie kan de student aan zijn leercurve aflezen of zijn score afbuigt en zo ja, op welke onder­delen. Zo weet hij dus waarop hij zich moet toeleggen.’

Opschrijfboekje

De vragen worden bedacht door docenten van de deelnemende faculteiten. Iedere docent die dat wil, levert vragen aan. Schuwirth: ‘Sommige docenten lopen met een opschrijfboekje op zak en wanneer een vraag uit de praktijk zich aandient, schrijven ze die op. Het bedenken leeft onder een grote groep docenten.’ Vanaf september komen er ook vragen van Leidse docenten in de toets. Doordat de toets door verschillende faculteiten is gemaakt, is het volgens de makers een onafhankelijk toetsinstrument.

Nijmegen en Groningen zijn er - in 1999/2000 - op eigen initiatief bijgekomen. Aanvankelijk wilden zij de test kopen van Maastricht. Schuwirth: ‘Toen hebben wij voorgesteld om tot een gezamenlijke constructie te komen. Dat is gunstig voor de juiste mix van vragen, want iedereen heeft zo zijn stokpaardje. We hebben een roulatiesysteem opgesteld per onderwerp. Het bijzondere aan onze toets is dat we goed samenwerken met onze partners. Als ik dit in het buitenland vertel, weten ze niet wat ze horen, want daar is tussen faculteiten onderling vaak vooral competitie.’

Vak apart

In de voortgangstoets zitten zowel parate-kennisvragen als inzichtvragen. ‘Een arts moet bij wijze van spreken het antwoord weten als hij ‘s nachts om twee uur wakker wordt gemaakt’, zegt Schuwirth. ‘Andere toetsen, zoals blok- of moduletoetsen, gaan dieper op de zaken in.’

De bedenkers proberen een zo eerlijk mogelijke verdeling te maken van alle onderdelen. Daarom worden vragen volgens een verdeelsleutel (de blauwdruk) geselecteerd uit een geautomatiseerd bestand. Een vraag moet aan verschillende criteria voldoen, zoals prevalentie van de aandoening, ernst van de ziekte en hoeveel erover is gedoceerd. De mix van vragen is samengesteld uit gedragswetenschappelijke vakken, waaronder ook recht, maatschappij en economie worden verstaan, basisvakken zoals genetica, anatomie en farmacologie, en klinische vakken. Uitgangspunt is het Raamplan artsopleiding waarin de eindtermen staan. De blauwdruk wordt nu nog meer aangepast aan het raamplan.

‘Goede vragen maken is een vak apart’, stelt Schuwirth. ‘Je kunt bijvoorbeeld op sommige vragen slagen omdat het antwoord al in de vraagstelling zit verborgen. Dat willen we niet.’

Voordat een toets voortgangstoets mag heten, worden alle vragen voorgelegd aan een beoordelingscommissie; een panel van vijf wetenschappelijk medewerkers dat kijkt naar vorm (is de vraagstelling duidelijk), inhoud (kloppen de feiten) en relevantie (past deze vraag binnen de eindtermen).

Heilig

Alle vragen én de resultaten van de voortgangstoets worden opgeslagen in een databank. Die is heilig en bevat een flinke hoeveelheid informatie die wordt gebruikt voor de normering. Studenten van de verschillende faculteiten blijken vrijwel even goed te scoren. De databank is bijzonder, vinden de toetsenmakers. Schuwirth: ‘We hebben resultaatgegevens van enorm grote groepen studenten. Daardoor hebben we heel veel vergelijkingsmateriaal. Dat is uniek.’

De relatieve norm bepalen de faculteiten per jaargroep. Het lijkt misschien vreemd om geen absolute norm te hebben, maar het blijkt dat twee opeenvolgende toetsen meer van elkaar verschillen dan de resultaten van twee opeenvolgende jaargroepen. Het is heel moeilijk om in te schatten hoe moeilijk een toets is. Daarom is het beter om de norm op grote groepen studenten te baseren dan op relatief kleine groepen vragen.

De studenten mogen na afloop de toets meenemen en krijgen ook de antwoordsleutel en literatuurverwijzingen. Zij krijgen vervolgens een week de tijd om de makers uit te dagen als een bepaalde vraag of bepaald antwoord niet klopt. Zij moeten dat beargumenteerd aan de toetssamenstellers voorleggen, bijvoorbeeld met literatuurverwijzingen. De ervaring leert dat studenten van verschillende faculteiten doorgaans op dezelfde vragen aanmerkingen hebben.

Eigen tentamens

Vooralsnog ziet het er niet naar uit dat de gezamenlijke voortgangstoets ook in Amsterdam, Rotterdam en Utrecht wordt gehouden. Deze faculteiten hebben hun eigen tentamens. Schuwirth: ‘We zijn de boer op gegaan met de toets naar andere faculteiten. Sommige willen een eigen concept ontwikkelen. De universiteiten met een eigen concept vinden het bijvoorbeeld lastig dat wij met gesloten vragen werken, maar dat moet wel omdat onze voortgangstoets veel vragen bevat. Gesloten vragen kosten minder tijd dan open vragen. En wij vinden dat hoe omvangrijker een toets is, hoe beter gefundeerd een score te berekenen is. Zij vinden het nadeel van gesloten vragen dat de spontaniteit van beantwoorden er niet is. Ik blijf daar neutraal in, want ik vind het altijd goed als er meerdere soorten toetsontwikkelingen zijn. Ik zou het verkeerd vinden als wij zouden suggereren dat alleen wij het bij het rechte eind hebben.’

Utrecht kent een eigen voortgangstoets in het vierde en vijfde jaar. De Utrechtse geneeskundefaculteit kiest voor open vragen en vragen waarop kort kan worden geantwoord. In een tijdschrift voor geneeskundedocenten (Medical Teacher 2005: 578-82) schrijven Rademakers c.s. van het Utrechtse Onderwijsinstituut waarom de faculteit voor een eigen toets kiest. De studenten maken veertig vragen per toets. Redenen waarom de faculteit voor minder vragen kiest, zijn tijd en geld. Daarnaast is de faculteit van oordeel dat vragen waarop korte antwoorden mogelijk zijn een grote intrinsieke waarde hebben. Uit onderzoek van de faculteit naar voortgangstoetsen blijkt dat de testresultaten gelijk of zelfs beter zijn bij een lager aantal open vragen dan bij veel meerkeuzevragen.

Uniek

Volgens Schuwirth is de Interuniversitaire Voortgangstoets in hoge mate uniek, maar krijgt deze nu in snel tempo navolging, onder meer bij geneeskundefaculteiten in Duitsland, Zuid-Afrika en Groot-Brittannië. En de drie Vlaamse geneeskundefaculteiten overwegen of de toets voor hen zinvol is. Misschien kunnen Nederland en België gemeenschappelijk vragen maken. ‘Ik weet niet in hoeverre dat mogelijk is, omdat er verschillen zijn’, zegt hij, ‘zoals de wetgeving. Maar als we sommige vragen gemeenschappelijk doen, heb je wel enorm veel vergelijkingsmateriaal.’

Verder is er overleg geweest met de andere Europese geneeskundefaculteiten. Het doel was te komen tot een European Transfer System, een soort Europese basisstandaard. Maar daaraan zitten nog heel veel haken en ogen, want iedereen moet dat ook willen.

Lange tijd werd de voortgangstoets ook gebruikt als meetinstrument voor artsen met een buitenlands diploma die in Nederland willen werken. Het gaat hier om artsen die hun diploma buiten de Europese Economische Ruimte (EER) haalden. De samenstellers van de toets zijn geen groot voorstander van het gebruik ervan bij deze dokters. Schuwirth: ‘Vaak worden aan zo’n buitenlandse arts twee toetsen voorgelegd op basis waarvan wordt bepaald hoeveel jaar hij nog moet studeren. Dat zijn belangrijke beslissingen. Wij vinden dat voor een goede afweging meer nodig is. Bovendien is de toets daar niet voor ontwikkeld. Gelukkig is de Commissie Buitenlands Gediplomeerden Volks­gezondheid, die de beoordeling doet, nu gestart met een assessmentprocedure. Daarmee krijg je wel een afgewogen oordeel.’

Scores

Al is de toetsverwerking geautomatiseerd, studenten vullen de antwoorden in op papier. De faculteiten hebben niet voldoende computers voor al die duizenden studenten die de toets tegelijk maken. Er wordt al wel het nodige geautomatiseerd. Zo komt er een toetsservicesysteem met onder meer toetsvragen, een toetsanalysemodule en een databank voor opslag van longitudinale multicentre-scores. Studenten kunnen inloggen en bekijken of ze een vraag hebben over- of onderschat, verkeerd hebben gelezen of geïnterpreteerd, en hoeveel fouten ze hadden bij vragen die ze meenden goed te hebben.

Voor ieder studiejaar geldt een andere zak/slaaggrens. Een eerstejaars heeft immers minder leerstof bestudeerd dan een vijfdejaarsstudent.

Een student moet een goede inschatting maken van hoe zeker hij van het juiste antwoord is. Een complete gok is niet raadzaam omdat voor foute antwoorden worden punten afgetrokken. Bij twijfel is het beter wél een antwoord in te vullen, dan de vraag open te laten.

Het blijkt dat studenten achteraf, als ze meer ontspannen zijn, deze vragen voor 60 procent goed hebben. In Nijmegen is dit onderzocht. Een aan­tal studenten maakte alle opengelaten vragen na de toets alsnog. Het bleek dat vrijwel in alle gevallen het aantal goede antwoorden groter was dan het aantal foute. Uit een berekening blijkt dat de extra score ligt tussen de 0 en 20 punten.

In principe moeten alle studenten voor de vier voortgangstoetsen samen een voldoende halen. Hiervoor zijn tabellen bedacht, zodat als er één onvoldoende gemaakte toets tussen zit, het gemiddelde nog wel voldoende kan zijn.

Al is de voortgangstoets een belangrijk tentamen, het mag niet het ultieme meetinstrument worden voor de geneeskundeopleiding. ‘Het lijkt er soms op dat we met toetsen de weg zijn kwijt­-geraakt’, zegt Schuwirth. ‘Toetsen lijkt bijna een hoofddoel, terwijl het erom gaat dat studenten goede artsen worden en soms lopen die twee doelen niet parallel.’ 

Ingrid Lutke Schipholt

Klik hier voor het PDF van dit artikel

Klik hier voor de gehele toets