De valkuil van innovatiedrang

Opleiding

Effectiviteit van vernieuwingen in de specialistenopleiding is niet bewezen

Bij zijn streven naar modernisering van de specialistenopleiding heeft het CCMS de keuze uit tal van mogelijkheden. Naar de effectiviteit van veel van deze innovaties is echter nog maar weinig wetenschappelijk verantwoord onderzoek verricht.

Het Centraal College Medische Specialismen (CCMS) heeft verregaande plannen voor vernieuwing van de medisch-specialistische vervolgopleidingen. Het moet ‘beter en leuker’, zo was onlangs in MC te lezen.1

Op zich is het heel goed de klinische opleidingen zo te herzien dat zij doelmatiger en aantrekkelijker worden. De vraag is echter wat van alle voorgestelde vernieuwingen is gestoeld op onderwijsmethoden met een bewezen verbeterde effectiviteit en doelmatigheid. 

Competenties

Centraal in de nieuwste eindtermen staat het begrip ‘competenties’: clusters van vaardigheden, kennis, attitudes, eigenschappen en inzichten.2  

De niveaus waarop een bepaalde competentie aanwezig moet zijn, zijn in te delen volgens de zogeheten piramide van Miller.3 Van top naar basis worden hierin onderscheiden: kunnen toepassen van een vaardigheid in de praktijk; in een toetssituatie kunnen tonen van de vaardigheid; weten hoe kennis betreffende die vaardigheid moet worden toegepast; en - als basis - beschikken over de noodzakelijke feitenkennis.

De medisch-specialistische competenties moeten tot op het hoogste niveau van Miller worden beheerst en ten behoeve van de opleiding zodanig nader worden gedetailleerd en geconcretiseerd dat ze toetsbaar zijn. Om te beginnen zijn kennis en vaardigheden te toetsen door middel van examens, maar beoordeling op het hoogste niveau van de competentie kan alleen in de dagelijkse praktijk.

Wetenschappelijk geëvalueerde en praktisch bruikbare methoden om de competenties op het hoogste niveau betrouwbaar, valide en doelmatig te toetsen, zijn echter nog niet voorhanden. Toetsing gericht op de andere niveaus heeft slechts een beperkte waarde voor de praktijk. Dit relativeert meteen de waarde van een alleen op kennis gerichte toets (het laagste niveau), terwijl het ontwerpen van een betrouwbare en valide kennistoets wel reeds een zeer grote inspanning zal vragen.

Vanuit deze optiek is het terecht dat de wetenschappelijke verenigingen een reserve tonen ten aanzien van de voorgestelde kennistoetsen, die eerder een maatschappelijk dan een onderwijskundig doel lijken te dienen.

Randvoorwaarden

Artsen die de medisch-specialistische opleiding gaan volgen, zullen de gestelde competenties uiteindelijk routinematig moeten beheersen. De competenties van de domeinen communicatie, samenwerking, kennis en wetenschap, maatschappelijk handelen en professionaliteit, zijn gedeeltelijk te leren in specialisme overstijgend onderwijs. Daartoe kunnen bijvoorbeeld skills labs dienen. Een groot aantal van de competenties verdeeld over de diverse domeinen is echter specialismespecifiek.

In deze tijd van evidence-based medicine komt de vraag op wat wetenschappelijk en onderwijskundig gezien de meest effectieve en efficiënte wijze van opleiden is. Het handzame boekje Opleiden van Medisch Specialisten van Ten Cate c.s. geeft een uiterst nuttig overzicht van allerlei praktische zaken,2 maar het meldt weinig over de bewijsvoering voor het nut van allerlei gesuggereerde opleidingsvernieuwingen. Er is echter een aantal goede redenen om de vraag naar de evidence base van opleiden wel expliciet te stellen.

Ten eerste is het zo dat de opleidingsstructuur landelijk over alle specialismen moet worden herzien, hetgeen een enorme inspanning vergt van de medisch specialisten.

Dan is er het maatschappelijke belang. Er moet een zo kort mogelijke opleiding met behoud van kwaliteit worden gerealiseerd.

Ook het grote aanbod aan onderwijsmethoden speelt een rol. De keuze is groot. Er zijn vele nieuwe opleidingsstrategieën en -materialen op de markt, zoals cd-roms, skills labs, virtual patients, objective structural clinical examinations (OSCE’s), discipline overstijgende opleidingsmodules, train the trainer-cursussen, personal digital agenda-training et cetera.

Door de kennisexplosie in de medische wetenschappen is nu, meer dan ooit, het opleiden een onscherp begrensd proces. Opleiden moet tevens effectieve methoden aanreiken voor een leven lang leren.

Om nieuwe inzichten zo snel mogelijk te kunnen toepassen moet het mogelijk zijn door middel van efficiënt onderwijs de daarbij benodigde vaardigheden in korte tijd aan te leren. Ook de kwaliteits- en prestatie-indicatoren en complicatieregistraties vragen hierom.

Duidelijk is in ieder geval dat de implementatie van gepropageerde vernieuwingen een grote investering betekenen en evenals nieuwe behandelingen bewezen effectief moeten zijn voordat ermee wordt gestart.

Zeldzaam

Methodologisch gezien moet onderzoek van medisch onderwijs in principe van net zo’n hoge kwaliteit zijn als patiëntgebonden onderzoek. De gerandomiseerde onderzoeken (RCT’s), systematische reviews en meta-analyses zijn hierbij superieur.

Net als bij evidence-based medicine staat de zogeheten PICO (patient-intervention-controle-outcome)-methode centraal. In één klinische vraag worden samengevat: de betreffende groep, de interventie of behandeling, de controlegroep en de relevante uitkomstmaten. Toegepast op de opleiding wordt een PICO-vraag: is voor een assistent in opleiding tot specialisme X opleidingsinnovatie Y vergeleken met de controlesituatie op de outcome-competentie een meer effectieve methode van opleiden? Een nog directere en betere uitkomstmaat zou verbetering van de patiëntenzorg zijn maar dit wordt helaas vrijwel nooit gemeten als effect. Bij grootschalige innovaties zijn ook kosten-effectiviteitsgegevens wenselijk.14

RCT’s en systematische reviews of meta-analyses op het gebied van onderwijs en opleiding zijn echter zeldzaam. Een PubMed- speurtocht met MESH-termen ‘medical education’ en ‘controlled clinical trial’ leverde van 1966-2004 slechts negentig treffers op, waarvan een kleine minderheid gecontroleerde en/of gerandomiseerde onderzoeken. Op het terrein van de continue nascholing lijkt nog het meeste wetenschappelijk onderzoek te worden verricht.5 6 Ook vanuit het medisch onderwijs zelf wordt geklaagd over de geringe hoeveelheid goed wetenschappelijk onderzoek.7

Als alternatief kan worden gezocht naar methodologisch minder robuust onderzoek. Dit blijkt dan vrijwel beperkt te zijn tot enquêtes en een enkele RCT waarin de supervisoren op onderdelen van het opleiden anders zijn getraind.

Meester-gezel

Uit het voorhanden zijnde onderzoek blijkt dat de klassieke opleiding wetenschappelijk het best is onderbouwd. Een goede relatie tussen arts en supervisor lijkt de belangrijkste voorwaarde te zijn voor doelmatig onderwijs. In een intern-geneeskundige opleiding bleek bijvoorbeeld ongeveer de helft van de variantie in de waardering van het opleidingsresultaat te verklaren door de waardering van de student-supervisorrelatie.8

Goede rolmodellen zijn wezenlijk voor een effectieve opleiding. De waardering van die rolmodellen hing bij junior-dokters in Engeland vooral af van constructieve feedback, het up-to-date zijn van de supervisor, een goed opleidingsklimaat en concrete beoordeling.9 In de VS werd een even groot belang gehecht aan de investering van veel tijd in onderwijs en opleiding, het leggen van de nadruk op de arts-patiëntrelatie en de aandacht voor de psychosociale factoren van patiëntenzorg.10

Dit zijn kwaliteiten die kunnen worden aangeleerd en het is ook een kwestie van organiseren; je hoeft geen aangeboren talent te hebben voor het fungeren als goed rolmodel. Een gerandomiseerd onderzoek heeft tevens het nut van training aangetoond. 11

De genoemde kwalificaties komen zeer dicht bij het opleiden volgens het traditionele meester-gezelmodel. De leerling is in dit geval de medisch student, die eerst basiskennis en basale vaardigheden opdoet. Als gezel (aio) doet hij vervolgens meer kennis op, maar leert deze met name ook op een gepaste wijze in te zetten. Hij laat zijn vaardigheden observeren en beoordelen door de supervisor en gebruikt zijn competenties wanneer hij zelf in de praktijk staat.

Juist in deze tijd van onbeperkte toegankelijkheid van medische kennis voor iedereen, heeft de patiënt behoefte aan een expert die zijn kennis over het actuele probleem en de daarover verder bekende medische kennis kan integreren en wegen. Het aanleren van de expertrol kan niet veel sneller dan nu gebeurt, want dit is direct afhankelijk van het zien en beoordelen van veel patiënten en het krijgen van feedback daarop. De meester-gezelrelatie kost tijd. Alleen door ervaring kan de ‘expert in opleiding’ echt een expert worden, een gezel een meester of, in de termen van Schön, een student een ‘reflective practitioner’.12 

Keuzen

Bij de heroverweging en herinrichting van de opleidingen is het een grote uitdaging om verstandige keuzen te maken uit het aanbod aan innovaties. De opleiding moet hierdoor niet alleen nieuw en leuker, maar ook bewezen beter en doelmatiger worden. Enkele mogelijke innovaties zijn: evidence-based medicine, portfolio en de korte klinische beoordeling.

Evidence-based medicine (EBM) wordt gezien als een belangrijk onderwijsinstrument en is verreweg de best onderzochte onderwijsinnovatie. Zo toont een recente systematische review aan dat EBM-onderwijs, mits geïntegreerd in de klinische praktijk, het gedrag van artsen kan veranderen.13 Er is echter nog geen RCT uitgevoerd die EBM (cluster)gerandomiseerd vergelijkt met standaardzorg en daarbij kijkt naar de effecten op de patiëntenzorg. Niettemin is er een theoretisch kader geschetst en een ambitieus onderzoeksprogramma opgesteld naar alle relevante uitkomstmaten van EBM-onderwijs.14 Hierop vooruitlopend is reeds op veel plaatsen en in alle stadia van het medisch onderwijscontinuüm deze innovatie ingevoerd.

Op het gebied van beoordeling en toetsing zijn vele nieuwe instrumenten ontwikkeld. Het portfolio komt in toenemende mate in zwang en is zelfs door het CCMS verplicht gesteld per 1 januari 2005. maar de wetenschappelijke onderbouwing ervan laat nog op zich wachten. Analoog aan de beoordeling van het meesterwerk van de gilden, is beoordeling een premisse in medisch onderwijs. Toetsing zet aan tot leren. De vraag welke toetsing past bij portfolio’s is echter nog niet beantwoord. Daarnaast zijn de toepasbaarheid en doelmatigheid van portfolio’s in de specialistenopleiding nog niet onderzocht.

De recente wetenschappelijke evaluatie van de herzieningen van de Deense specialistenopleidingen is in dit opzicht zeer leerzaam.15 Daar ervaren problemen met de implementatie van portfolio’s en de voor- en nadelige effecten ervan op de Deense aio’s kunnen zich ook hier voordoen. Nu is het wachten op een implementatiebeleid van het CCMS.

De korte klinische beoordelingen vormen een andere noviteit, die recent is overgewaaid uit de VS. Ook hiervan is slechts zeer beperkt bewijs van validiteit en betrouwbaarheid voorhanden16 en RCT’s zijn er niet verricht.

Uitdaging

Er staan de CCMS en de wetenschappelijke verenigingen veel uitdagingen te wachten in het aangekondigde proces van vernieuwing van de opleiding. Nieuwe competenties moeten worden vastgesteld en vervolgens omgezet in een geactualiseerd en gemoderniseerd opleidingscurriculum.

Het moet echter oppassen voor de valkuil van innovatiedrang terwijl er maar weinig bewijs is voor de effectiviteit en doelmatigheid van allerlei vernieuwingen. In het scala van onderwijsmethoden waaruit het CCMS kan putten, mag het effectieve meester-gezelsysteem niet verloren gaan. De intensieve relatie tussen de specialist en de arts in opleiding is de beste garantie voor een goede opleiding. Hiervoor bestaat, naast de historische ook de meeste wetenschappelijke evidentie.

Het invoeren van vernieuwingen, met dit klassieke model als hoeksteen van het opleidingscurriculum, zal de nodige inspanning vragen. Men moet zich daarbij realiseren dat het verzorgen en vernieuwen van onderwijs op zich waarschijnlijk een van de meest effectieve manieren van scholing is. Dit zou in de accreditatie voor deze activiteiten beter tot uitdrukking kunnen komen.

Naast menskracht is inzet van middelen vereist. De wetenschappelijke verenigingen moeten streven naar substantiële financiële en onderwijs-kundige ondersteuning om het omvangrijke implementatieproces goed te laten verlopen.

prof. dr. M.G.M. Olde Rikkert, klinisch geriater, Kenniscentrum Geriatrie, UMC St Radboud

Correspondentieadres:

M.Olde-Rikkert@ger.umcn.nl

.

SAMENVATTING

- In het tijdperk van evidence-based medicine moeten ook onderwijsvernieuwingen een evidence base hebben voordat tot grootschalige implementatie wordt overgegaan.

- Methodologisch robuust onderzoek op dit gebied is er echter nauwelijks.

- De doeltreffendheid en effectiviteit van de voorgestelde vernieuwingen zijn nog niet bewezen.

- De klassieke meester-gezelrelatie is nog het best wetenschappelijk onderbouwd en bevat veel kenmerken van het rolmodel dat voor de medisch-specialistische opleiding nog steeds het meest effectieve instrument blijkt te zijn.

Literatuur

1. Bleker O, Hoorntje J, Schelfhout V. Beter en leuker. Medisch Contact 2004; 59: 1692-5.

2. Ten Cate ThK, Bleker OP, Buller HA, Scherpbier AJJA. Opleiden van medisch specialisten. Houten, BSL 2003: 57.

3. Miller GE. The assessment of clinical skills/competence/performance. Acad Med 1990; 65: S63-7.

4. Pronk MH, Bonsel GJ, Brorens MJ, Hekster YA, van der Kuy A, de Smet PA..Evaluation of drugs: efficacy, applicability, effectiveness and efficiency. Ned Tijdschr Geneeskd 1998; 142: 697-701.

5. Cauffman JG, Forsyth RA, Clark VA, Foster JP, Martin KJ, Lapsys FX, Davis DA. Randomized controlled trials of continuing medical education: what makes them most effective? J Contin Educ Health Prof 2002; 22: 214-21.

6. Davis DA, Thomson MA, Oxman AD, Haynes RB. Evidence for the effectiveness of CME. A review of 50 randomized controlled trials. JAMA 1992; 268: 1111-7.

7. Torgerson CJ. Educational research and randomised trials.

Med Educ 2002; 36: 1002-3.

8. Kendrick SB, Simmons JM, Richards BF, Roberge LP. Residents' perceptions of their teachers: facilitative behaviour and the learning value of rotations. Med Educ 1993; 27: 55-61.

9. Gibson DR, Campbell RM. Promoting effective teaching and learning: hospital consultants identify their needs. Med Educ 2000; 34: 126-30.

10. Wright SM, Kern DE, Kolodner K, Howard DM, Brancati FL. Attributes of excellent attending-physician role models. N Engl J Med 1998; 339: 1986-93.

11. Holmboe ES, Hawkins RE, Huot SJ. Effects of trsining in direct observation of medical residents' clinical competence. Ann Int Med 2004; 140: 874-81.

12. Schön DA. Educating the reflective practitioner: towards a new design for teaching and learning. San Francisco: Josey-Bass, 1987.

13. Coomarasamy A, Khan KS. What is the evidence that postgraduate teaching in evidence based medicine changes anything? BMJ 2004; 329: 1017.

14. Ringsted C. In-training assessment in a work-based postgraduate medical education context. Maastricht: Datawyse, 2004.

15. Straus SE, Green ML, Bell DS, Badgett R, et al. Evaluating the teaching of evidence based medicine: conceptual framework. BMJ. 2004; 329: 1029-32.

16. Holmboe ES, Huot S, Chung J, Norcini J, Hawkins RE. Construct validity of the miniclinical evaluation exercise (miniCEX). Acad Med. 2003; 78: 826-30.

Klik hier voor het PDF-bestand van dit artikel