Verspild subsidiegeld

ZonMw-onderzoek naar effect alternatieve behandelwijzen is zinloos

Ondanks enorme onderzoeksinspanningen is van geen enkele niet-reguliere behandeling de werkzaamheid aangetoond. Het doen van nog meer effectiviteitsonderzoek is dan ook volstrekt overbodig. Bij ZonMw is die gedachte kennelijk nog niet doorgedrongen.

In november 2004 verscheen het rapport van ZonMw ‘Onderzoek op het gebied van complementaire behandelwijzen’. In dit rapport werd een voorstel gedaan om het wetenschappelijk onderzoek naar alternatieve behandelwijzen uit het slop te halen. Het idee is simpel: school complementair werkende artsen in het doen van wetenschappelijk onderzoek en laat ze vervolgens zelf subsidies binnenhalen.

Lukt ze dat niet, dan is dat jammer, maar dan kunnen de alternatieve behandelaars in ieder geval niet meer zeggen dat ze geen kans hebben gekregen. VWS had via ZonMw 190.000 euro ter beschikking gesteld voor de wetenschappelijke bijscholing van vijftien alternatief werkende artsen, acupuncturisten, natuurgeneeskundigen en homeopaten. Van dit bedrag moesten verder een aantal pilotstudies worden gedaan om de kans op het binnenhalen van subsidies te vergroten. Het rapport van de ZonMw-commissie was overigens een uitvloeisel van een advies van de Muntendam-commissie Alternatieve Geneeswijzen uit 1981 en het rapport van de Gezondheidsraad uit 1993. Ambtelijke molens malen soms langzaam, maar malen doen ze wel.

Omstreden
De commissie van ZonMw stond onder voorzitterschap van de epidemioloog prof. Sturmans, drie van de zes leden kwamen uit het alternatieve circuit en verder maakten een statisticus en een klinisch psycholoog deel uit van deze ZonMw-commissie. Opvallend was het ontbreken van enigerlei inbreng vanuit de klinisch-specialistische disciplines.

Het EMGO, een onderzoeksinstituut van de VU, bleek de beste offerte te hebben gemaakt voor het onderwijsprogramma, waarin een cursus onderzoeksmethodologie zou voorafgaan aan de eigenlijke onderzoeksprojecten. Wat ongetwijfeld in het voordeel van de VU sprak, was dat zij tot voor enige jaren een opleiding voor homeopathie binnen haar muren had. Ook de rector magnificus, Lex Bouter, is niet onbekend met het alternatieve veld. Hij deed nog onlangs een omstreden meta-analyse naar het effect van acupunctuur bij ivf.

Om de alternatieve artsen tot onderzoeker op te leiden, werd een cursus van twaalf dagdelen voldoende geacht. Wij kunnen ons voorstellen dat alternatieve artsen denken dat je wel in twaalf dagdelen tot onderzoeker kan worden opgeleid, immers veel alternatieve cursussen duren ook niet veel langer. Maar dat ZonMw en EMGO eveneens deze mening zijn toegedaan, geeft te denken. ZonMw is een belangrijke instelling die onder meer als haar missie heeft het stimuleren en financieren van onderzoek op het gebied van gezondheidszorg. Hoe serieus moet je ZonMw nog nemen als de beleidsmakers daar kennelijk denken dat een opleiding van twaalf dagdelen wel toereikend is om kwalitatief goed onderzoek te doen op een complex terrein als complementaire behandelwijzen?

Mislukking
Maar waar het werkelijk om draait, is natuurlijk de kwaliteit van de onderzoeksprojecten. Onder de titel ‘Inzichten uit een bijzonder onderzoek’ verscheen in Mediator, het nieuwsblad van ZonMw, in maart 2009 een eindverslag van het onderzoek complementaire behandelwijzen. De redactie is blijkbaar vergeten achter deze titel een groot vraagteken te plaatsen, want het enige inzicht dat dit project heeft opgeleverd, is dat van een volledige mislukking.

Dat deze onderneming was gedoemd te mislukken, was bij de start ervan overigens al duidelijk. Voor de Vereniging tegen de Kwakzalverij voldoende reden om aan ZonMw in 2006 de Meester Kackadorisprijs toe te kennen. Deze prijs wordt jaarlijks uitgereikt aan een instelling of persoon die dat jaar het meest de kwakzalverij heeft bevorderd. Wij hebben bij deze toekenning al uitgebreid aangegeven waarom dit project geen enkel wetenschappelijk belang diende.1 We beperken ons daarom nu tot een bespreking van de projecten die uiteindelijk werden geselecteerd om te worden uitgevoerd. ZonMw gaf ons destijds vertrouwelijk inzage in de projectaanvragen.

Wij hebben die projecten toen beoordeeld in de hoop dat ZonMw onze kritiek ter harte zou nemen en ons in ieder geval in de gelegenheid zou stellen ons oordeel in het nieuwsblad van ZonMw te publiceren. Dat voorstel werd door de redactie van Mediator verworpen en onze beoordelingen verdwenen bij ZonMw in de prullenmand. Doordat wij de gegevens vertrouwelijk hadden gekregen, konden wij ons oordeel niet openbaar maken.  

Gezien het feit dat ZonMw nu probeert de faliekante mislukking van het onderzoek onder de tafel te houden, hebben wij ervoor gekozen onze beoordelingen van destijds over de drie projectaanvragen die door ZonMw werden goedgekeurd en gesubsidieerd, publiek te maken. Hieronder geven wij de oorspronkelijke teksten van onze conclusies uit 2006, gevolgd door de uiteindelijke uitkomst van de projecten.:

‘Het eerste onderzoek, getiteld “Een observationeel onderzoek van het effect van elektroacupunctuur bij patiënten met multiple sclerose en gestoorde blaasfunctie” gaat uit van de absurde hypothese dat prikkeling van de acupunctuurpunten SP6 en SP4 effect heeft op de blaasfunctie. Bovendien is de bewering dat verscheidene wetenschappelijke studies zo’n effect zouden hebben laten zien, aantoonbaar onjuist, waarmee ook die bodem onder dit onderzoek wegvalt. Overigens is in de voorgestelde studie geen controlegroep gebruikt, zodat er al helemaal niets over het effect van elektroacupunctuur kan worden gezegd. De studie voldoet niet aan elementaire criteria voor deugdelijk, gecontroleerd onderzoek en zou geen schijn van kans maken bij een competitieve subsidietoekenning.

Het tweede onderzoek, waarin “de haalbaarheid van het gebruik van een semi-gestandaardiseerd prognostisch protocol bij de homeopathische behandeling van premenstrueel syndroom/symptomen wordt onderzocht”, gaat ervan uit dat er tien homeopathische middelen zijn die effectief zijn bij premenstrueel syndroom (PMS). De studie is gebaseerd op een onderzoek uit Israël dat niet is gepubliceerd in een wetenschappelijk tijdschrift. De vraag of het uiteindelijk gekozen middel werkt, komt helemaal niet aan de orde.

Het derde onderzoek, waarin “een op melkzuurwaarden gebaseerde training bij vrouwelijke patiënten met fibromyalgie: een geïndividualiseerd, laagintensief oefenprogramma” wordt geëvalueerd, is in feite geen onderzoek naar alternatieve behandelwijzen. Fibromyalgie (FM) is een aandoening met onbekende oorzaak. Dat de melkzuurstofwisseling een van de factoren zou kunnen zijn die een rol spelen bij het ontstaan van de klachten, behoort tot de mogelijkheden. Verantwoord (regulier) wetenschappelijk onderzoek naar deze rol is dus goed mogelijk. Deze aanvraag hoort daardoor niet in dit programma thuis en dient via de reguliere kanalen van ZonMw te worden ingediend.’

Controlegroep
Onze beoordelingen werden gedaan door leden uit ons bestuur met ruime ervaring als beoordelaars van wetenschappelijk onderzoek. De commentaren van de eigen beoordelaars van ZonMw kregen wij ook ter inzage. Tot onze niet geringe verbazing scoorden deze drie projecten ‘ruim voldoende’ of ‘goed’, terwijl de resultaten niet best waren.

Het eerste onderzoek mislukte, zoals wij hadden voorspeld, door het ontbreken van een controlegroep. Desondanks melden de onderzoekers in hun eindverslag op basis van waarnemingen bij zegge en schrijven tien patiënten dat de eindpunten voor effectiviteit een positieve trend lieten zien en sommige zelfs statistisch significant waren. Wij begrijpen niet hoe de VU, die dit onderzoek begeleidde, deze conclusie heeft kunnen laten passeren en blijkbaar zelfs heeft ingestemd met een poging tot publicatie in het tijdschrift Urology.

Het tweede onderzoek is volledig mislukt doordat het aantal deelnemers een fractie was van het aantal beoogde patiënten, maar belangrijker is nog dat een groot deel van de artsen zich niet aan het onderzoeksprotocol hield.
Het derde project is nooit van start gegaan.

Misverstand
In het rapport van de beoordelingscommissie staat terecht dat de resultaten niet voldoende zijn om onderzoek naar complementaire behandelwijzen van de grond te krijgen. Desondanks houdt ZonMw vol dat er meer effectiviteitsonderzoek van alternatieve behandelwijzen moet komen, want wat lezen wij in Mediator: ‘Eén ding hebben zij gemeen: er is meestal geen of nauwelijks wetenschappelijke onderbouwing van de effectiviteit.’

Deze conclusie berust op een tragisch misverstand. Er is wel degelijk zeer veel wetenschappelijke onderbouwing, maar die valt negatief uit. In zijn boek Snake Oil Science: The Truth About Complementary and Alternative Medicine analyseerde R. Barker Bausell de resultaten van alle beschikbare Cochrane Reviews over de meest gebruikte vormen van alternatieve behandelwijzen.2 Hij laat zien dat bij ten minste 80 procent hiervan in deugdelijk wetenschappelijk onderzoek is aangetoond dat ze onwerkzaam zijn.

Overigens is onlangs bekend geworden dat de National Institutes of Health (NIH) in de VS sinds 1993 ruim 2,5 miljard overheidsgeld hebben gespendeerd aan onderzoek naar niet-reguliere behandelingen. Ruim 2000 Amerikaanse onderzoeken leverden geen enkele werkzame geneeswijze op.3 Het doen van nog meer effectiviteitsonderzoek naar behandelingen waarvan keer op keer is aangetoond dat ze niet werkzaam zijn, is volstrekt zinloos. Die gedachte is bij ZonMw kennelijk nog niet doorgedrongen. Het totale project heeft 190.000 euro gekost. Wij zijn werkelijk benieuwd of ZonMw en het ministerie van VWS nu doorgaan met het verspillen van subsidiegeld aan zinloos onderzoek.

Er moet ons nog één ding van het hart. De begeleidingscommissie en de beoordelingscommissie bestonden uit dezelfde personen en daarbij viel zoals gezegd op dat de helft van de commissieleden alternatieve artsen waren en dus belanghebbend. Hoewel wij ons kunnen voorstellen dat deze samenstelling van de commissie een rationele keuze is voor de begeleiding van het project, had ZonMw er verstandig aan gedaan een onafhankelijke commissie van wetenschappers te laten kijken naar de projectvoorstellen. Daarvan heeft ZonMw er toch voldoende tot haar beschikking. Een dergelijke onafhankelijke beoordelingscommissie had ZonMw voor deze uitglijder kunnen behoeden en dat had de belastingbetaler een fiks bedrag kunnen besparen.

prof. dr. Rob Koene, emeritus hoogleraar nierziekten
prof. dr. Frits van Dam, emeritus hoogleraar psychologie
Beide auteurs zijn bestuurslid van de Vereniging tegen de Kwakzalverij

Correspondentieadres: secretariaat@kwakzalverij.nl;
c.c.: redactie@medischcontact.nl
Geen belangenverstrengeling gemeld.

Samenvatting
- Onlangs publiceerde ZonMw het eindverslag van drie onderzoeksprojecten over complementaire behandelwijzen.
- Zoals voorspeld draaide deze onderneming uit op een mislukking.
- ZonMw lijkt echter moeite ermee te hebben om dit ruiterlijk te erkennen.

Literatuur
1. Koene RAP, Dam FSAM van. Waarom kreeg ZonMw de Meester Kackadorisprijs? Nederlands Tijdschrift tegen de Kwakzalverij 2007; 118: 15-7.
2. Barker Bausell R. Snake Oil Science: The Truth About Complementary and Alternative Medicine. New York: Oxford University Press, 2007.
3. www.kwakzalverij.nl/1092/Miljarden_verknoeid_aan_zinloos_onderzoek.

Vereniging tegen de Kwakzalverij: Wat wil de vereniging

Nawoord ZonMw

‘Toonzetting is vooringenomen’

ZonMw herkent zich niet in de argumenten van de Vereniging tegen de Kwakzalverij (VtdK) en vindt dat de toonzetting vooringenomenheid uitstraalt. Op de website van de VtdK staat haar doel, namelijk ‘evaluatie van alternatieve behandelwijzen en bestrijding van kwakzalverij in de ruimste zin van het woord’.1 Onder kwakzalverij verstaat de VtdK het toepassen van behandelmethoden en/of onderzoeksmethoden waarvan het nut niet wetenschappelijk is aangetoond.

Door ZonMw nu te bekritiseren om wetenschappelijk onderzoek op dit gebied te doen, handelt zij in strijd met haar eigen uitgangspunten. Juist de VtdK zou continu moeten pleiten voor wetenschappelijk onderzoek naar complementaire behandelwijzen. Immers, alleen door het verkrijgen van wetenschappelijke resultaten kan de VtdK aantonen of zij terecht strijdt tegen deze behandelwijzen of niet. Dat was ook de essentie van de door VWS aan ZonMw verstrekte opdracht.

In de dialoog met de VtdK heeft ZonMw, door pilotprojectvoorstellen, eindverslagen en (concept)eindevaluaties ter beschikkingen te stellen, de grootst mogelijke openheid gegeven. Toch blijven feitelijke onjuistheden in de stukken van de VtdK over het doel van pilotprojecten, beoordelingsproces, kosten, omvang cursus en samenstelling en rol van de commissie een terugkerend probleem in de dialoog. Zo was het doel van de pilotstudies essentiële elementen (vragenlijst, inclusie, enzovoort) van het onderzoek te testen. Onderzoekers leren dus hieruit. De kosten voor de onderzoekscholing van de vijftien artsen waren in totaal 53.000 euro (37.000 EMGO en 16.000 instapcursus). De duur van de cursus was in totaal achttien dagen (twaalf dagen EMGO en zes dagen instapcursus). Voor uitgebreidere weerlegging van feitelijke onjuistheden verwijst ZonMw naar onderstaande publicaties.

In haar eindevaluatie van het Onderzoek Complementaire Behandelwijzen heeft de commissie het succes of falen afgemeten aan de doelstellingen. De commissie concludeert dat de uitgevoerde stimuleringsactiviteiten ertoe hebben geleid dat de deelnemende complementair werkende artsenverenigingen zich bewuster zijn geworden van het belang van gedegen wetenschappelijk onderzoek gebaseerd op mainstream methodologie. De ontplooide activiteiten zijn echter op zich niet voldoende om onderzoek naar de effectiviteit van complementaire behandelwijzen in Nederland succesvol van de grond te krijgen en te laten beklijven. Het is een goede zaak dat de VtdK de bevolking waarschuwt tegen ongefundeerde behandelwijzen. Zij schiet echter haar doel voorbij door het wetenschappelijk onderzoek hiernaar te verketteren.


De volgende publicaties zijn te vinden op

www.zonmw.nl/complementairebehandelwijzen:

- Mercx M. ZonMw aanvaardt kwakzalversprijs niet. Mediator 2006; 17 (8).

- Mechelen P van. Complementaire pilotprojecten tegen het licht gehouden. Mediator 2007; 18 (5).

- Mechelen P van. Inzichten uit een bijzonder onderzoek. Mediator 2009; 20 (2).

- Slijper M, Mechelen P van. Eindevaluatie Onderzoek Complementaire Behandelwijzen. ZonMw, april 2009.

Referentie
1. Zie www.kwakzalverij.nl/222/Wat_wil_de_vereniging_.

Lees ook

• Artsen verdeeld over alternatieve geneeswijzen. MC 49 - 04 december 2007
• Standpunt KNMG over alternatieve behandelwijzen. MC 01 - 04 januari 2007
• Het beste van beide. J. Ekkelboom.MC 37 - 13 september 2006
• WHO-richtlijnen voor alternatieve geneeswijzen. Nieuwsreflex. Nr. 27 - 29 juni 2004
• Ingezonden brief in reactie op Advertentie acupunctuuropleiding