13 minuten leestijd

Toponderzoek

Een rangschikking van het meest geciteerde Nederlandse onderzoek in de medische topbladen, dat was ons verzoek aan het Centrum voor Wetenschaps- en Technologiestudies (CWTS) van de Universiteit Leiden. Het resultaat is een overzicht van de hoogvliegers in de klinisch medische wetenschap. Maar juich niet te vroeg: ze vliegen boven een zee van onwetendheid. Henk Maassen & Evert Pronk

Het CWTS onderscheidt een aantal ‘hoofdvelden in de geneeskunde’, zoals ‘Clinical Medicine’ en ‘Health Science’. Onder het motto ‘je kunt niet alles doen’ beperkten we ons tot het veld van de ‘Clinical Medicine’. Onderzoek waarvan de resultaten het dichtst bij toepassing in de kliniek staan. Daarom is in de lijstjes bijvoorbeeld niets terug te vinden van het fundamenteel kankeronderzoek en de grote reputatie van het Nederlands Kanker Instituut.

‘Clinical Medicine’ is onderverdeeld in vakgebieden als oncologie, gynaecologie en cardiologie met elk hun specifieke tijdschriften. Maar het kent ook een algemene categorie: ‘Medicine, General & Internal’. Wij kozen voor deze disciplineoverstijgende categorie en daarmee voor publicaties in een handvol algemene en toonaangevende tijdschriften: British Medical Journal (speelt in de gepresenteerde lijstjes verder geen rol), Journal of the American Medical Association (JAMA), The Lancet en The New England Journal of Medicine (NEJM). Bovendien is uitsluitend naar researchartikelen en reviews gekeken. Dat resulteerde in drie ranglijstjes. De eerste is een toptien van meest geciteerde klinisch-wetenschappelijke artikelen, alle uit 1999. Deze stukken zijn de meest recente die een volledige citatieperiode van vier jaar (dus tot en met 2002) hebben doorlopen, een eis die het CWTS stelt om tot een betrouwbare rangschikking te komen.

De tweede lijst is een overzicht van hot papers; artikelen die verschenen in de periode 2000-2002 en een impactscore hebben van meer dan tweemaal het gemiddelde van het toptijdschrift waarin ze verschenen.

Opvallend, maar niet onverwacht is dat vrijwel alle publicaties in beide ranglijsten coproducties zijn met buitenlandse (Europese, Amerikaanse, een enkele keer Japanse) ziekenhuizen en instellingen. (De namen van onderzoeksgroepen of onderzoekers melden we in de referenties). Maar (nagenoeg) onversneden ‘Hollands Glorie’ komt ook voor. De nummers 9 en 10 van de hot paper-toptien behoren daartoe, alsmede een paar artikelen die een lagere rangschikking hebben (op plaats 12, 13 en 16). Die staan bijeen in de derde lijst. een topvijf van Nederlandse studies die niet meerijden op de bagagedrager van internationale partners. Dat zegt wel wat over de kwaliteit van dat onderzoek.

Koppositie

Neuroloog J.D. Speelman is leider van het onderzoek dat in het ‘Hollands Glorie’-overzicht op nummer 1 terechtkwam. Zijn team vond dat continue stimulatie van de thalamus met een elektrode minstens zo effectief is als chirurgische verwijdering van de thalamus bij het onderdrukken van een ernstige, niet langs medicamenteuze weg te behandelen tremor. Speelman is niet verrast over zijn koppositie: ‘We hebben veel belangstelling gekregen, omdat we dubbelblind bevestigden wat in de kliniek al gangbaar begon te worden.’ Buitenlandse ‘inmenging’ was niet noodzakelijk: het AMC is, zegt Speelman, zeker in Europa toonaangevend op het gebied van stereotactisch opereren.

Ook Paul Lips is niet verrast dat het onderzoek naar het effect van raloxifene op osteoporose, waaraan hij meewerkte, op 1 eindigde in de 1999-lijst: ‘Bij een interne citatiemeting van de VU scoorde het artikel ook erg goed.’

De onderzoeksresultaten van de MORE-studie (Multiple Outcomes of Raloxifene Evaluation) waren positief. ‘Het beschermende effect op botbreuken bleek veel beter dan verwacht. De botdichtheid neemt maar een beetje toe, maar het risico op wervelfracturen neemt flink af. Bovendien is de discussie over het gebruik van oestrogenen als middel tegen osteoporose ook niet van vandaag. Verder heeft raloxifene een beschermend effect tegen borstkanker.’

De bijdrage van de VU aan de studie was volgens Lips ‘zeer behoorlijk’. ‘We hebben meegedaan vanwege onze expertise op het gebied van calcium en vitamine D, maar ook vanwege ervaring met het meten van effecten op de kwaliteit van leven.’

Ferdinand Breedveld is hoogleraar reumatologie aan het LUMC (dat als instelling opvallend vaak figureert in de lijstjes) en betrokken bij de studie over reumabehandeling met infliximab dat de lijst van hot papers aanvoert, en ook bij nummer 3 in de lijst ‘meest geciteerde publicaties’. Hij is ervan overtuigd dat de ontwikkeling en toepassing van dit monoklonale antilichaam de komende jaren een Nobelprijs gaat opleveren. ‘Het werkt niet alleen bij reuma, maar ook bij de ziekte van Crohn (zie nr. 2 van de ‘meest geciteerde publicaties’, red.) en bij andere chronisch destructieve ziekten.’ Dat ‘zijn’ studies veel aandacht trokken, verbaast ook hem niet: ‘Het zijn grote trials die duidelijk maken dat het middel werkt en veilig is, hetgeen we op grond van eerdere studies al aannamen.’

De impactfactor
Het komend voorjaar gaat het CWTS onderzoek doen naar de publicitaire output van medische faculteiten. Het samenstellen van een paar lijstjes met veel geciteerde artikelen voor MC is peanuts vergeleken met een dergelijke opdracht. Maar wie denkt dat het neerkomt op het simpel tellen van (citaties van) artikelen in tijdschriften met een hoge impactfactor, vergist zich. De bibliometrie, zoals het vakgebied van het CWTS wordt genoemd, ligt bezaaid met voetangels en klemmen.

Citatiecijfers

Het begint al met de definitie van het begrip ‘impactfactor’. De definitie van het Amerikaanse Institute for Scientific Information (ISI) is de meest gangbare en luidt: het aantal citaties (ook zelfcitaties) dat een tijdschrift in een bepaald jaar krijgt voor stukken gepubliceerd in de twee voorafgaande jaren, gedeeld door het totale aantal ‘citeerbare documenten’ die in die twee jaar zijn verschenen. Maar ‘citeerbare documenten’ is een schimmig begrip. Thed van Leeuwen, onderzoeker bij het CWTS: ‘Het ISI is daar niet eenduidig over. In ieder geval: van tijdschrift tot tijdschrift wordt daar niet op dezelfde manier mee omgegaan. Citatiecijfers omvatten soms uitsluitend verwijzingen naar onderzoeks- en reviewartikelen, maar in andere gevallen ook naar abstracts van congressen, naar brieven en naar editorials of commentaren. En dat kan grote gevolgen hebben voor de impactfactor. Van Leeuwen: ‘Als je bij de berekening van de impactfactor van The Lancet ook de brieven meeneemt, kom je op een score van 2 tot 3. Neem je ze niet mee, dan kom je op een impactfactor van ongeveer 8.’

Er zijn meer bezwaren: tijdschriften die vooral reviews publiceren kun je niet zomaar vergelijken met tijdschriften die uitsluitend researchartikelen bevatten: reviews worden vaker geciteerd, daar moet je dus voor corrigeren. En, zegt Van Leeuwen, een ‘citatievenster’ van een of twee jaar is feitelijk veel te kort. Van Leeuwen: ‘Ook moet je rekening houden met het vakgebied: in de moleculaire biologie bijvoorbeeld is het citatieverkeer veel hoger dan in de epidemiologie, de omloopsnelheid van het onderzoek verschilt ook. Je zou dat allemaal willen terugzien in de impactscore van een tijdschrift.’

Normeren

Het CWTS berekent daarom geen ‘gewone’ impactscore maar een Journal-to-Field Impact Score (JFIS). Voor telkens vier publicatiejaren analyseert het daartoe papers op impact met een aflopend citatievenster. Dat klinkt ingewikkelder dan het is: papers uit 1998 worden vier jaar gevolgd (tot 2002), papers uit 1999 drie jaar enzovoort. Het CWTS houdt daarbij rekening met de samenstelling van het tijdschrift (wat voor soort stukken publiceert het) en met het vakgebied.

Dat maakt nogal wat uit voor de impactfactoren van de tijdschriften die in de hier gepresenteerde ‘toplijstjes’ figureren. In de ‘traditionele’ ISI-berekening komt The Lancet uit op een score van ongeveer 8, JAMA op rond 12 en NEJM op ruim 22. In de berekening van het CWTS blijft de onderlinge rangorde weliswaar behouden maar zijn de scores aanzienlijk lager. The Lancet: 2,5, JAMA: ruim 3,5 en NEJM: ruim 6.

De CWTS-getallen hebben twee voordelen, zegt Van Leeuwen: ‘Ze staan in een onderlinge verhouding tot elkaar, die wordt gevormd door de waarde van het wereldgemiddelde die 1 is. Verder zijn de impactfactoren van het CWTS minder onderhevig aan jaarlijkse schommelingen door het langere citatievenster en het hogere aantal publicaties dat aan de berekening ten grondslag ligt.’

Ten onrechte

Mag je nu zeggen dat een publicatie in NEJM zes keer meer impact heeft dan dezelfde publicatie in een tijdschrift dat rond het wereldgemiddelde ligt?

Nee, dat is te kort door de bocht. Van Leeuwen: ‘Neem Cell (een tijdschrift dat net als Nature en Science veel fundamenteel biomedisch onderzoek publiceert, red.) Dat heeft een impactfactor van rond de 40. Maar slechts eenderde van de papers in Cell komt boven die score uit. Dat zou te denken moeten geven. Elke onderzoeker die erin publiceert, rekent met de impact van het tijdschrift. Ten onrechte, zo blijkt. Als je een evaluatie op touw zet, zoals de medische faculteiten nu gaan doen, dan zal waarschijnlijk blijken dat men zichzelf in nogal wat gevallen ten onrechte een hoge impactfactor heeft toegerekend.’

Natuurlijk laten (medische) onderzoekers zich bij hun keuze ook leiden door de verspreidingsgraad, de oplage en de frequentie van

een wetenschappelijk tijdschrift. Van Leeuwen: ‘Als je alleen maar publiceert in bladen voor je vakgenoten in de reumatologie, zal dat een minder gebiedsoverstijgende werking hebben. Maar als je in Cell of NEJM een artikel hebt gepubliceerd, en er wordt nauwelijks naar verwezen, tja, dan was het achteraf misschien toch verstandiger geweest om het stuk naar een ander tijdschrift te sturen.’

Er is een troost. Van Leeuwen en het CWTS zeggen niets over de inhoudelijke kwaliteit van artikelen. Vaststaat dat elk gepubliceerd stuk een doorgaans streng reviewproces heeft overleefd. ‘Er bestaat enig onderzoek naar de correlatie tussen peerreview-oordelen en citaties, en daaruit blijkt dat die correlatie over het algemeen vrij hoog is. Overigens hebben we geen inzicht in de redenen waarom artikelen worden afgewezen of aangenomen. Dat speelt zich af op de burelen van de tijdschriften en die laten zich niet in de kaart kijken.’

Een zee van onwetendheid

Bijna wekelijks publiceren Nederlandse onderzoekers in de medische toptijdschriften. De meest geciteerde artikelen van de afgelopen tijd mogen dan ook gerust het neusje van de zalm worden genoemd. Het zijn ruim twintig artikelen van de duizenden die jaarlijks worden gepubliceerd. In de database van PubMed zijn sinds de jaren zestig van de vorige eeuw meer dan twaalf miljoen artikelen over geneeskunde verzameld. Een zondvloed aan medische kennis, zou je denken. Een rondgang langs partijen die goed in de wetenschap zijn ingevoerd, geeft een ander beeld. ‘Er is eerder sprake van een kennisarchipel in een zee van onwetendheid’, aldus prof. dr. Jan van Gijn, lid van de hoofdredactie van het Nederlands Tijdschrift voor geneeskunde.

‘De geneeskunde is geen kunstwerk dat bijna af is. We hebben nog geen idee hoe verschillende auto-immuunziekten ontstaan. Waarom zenuwcellen zoals bij de ziekte van Parkinson en ALS uitvallen. En dit is maar een wilde greep.’

Waar Van Gijn zich zeer aan stoort, is het gebrek aan kennis over somatisatie. ‘Legioenen specialisten gaan maar door met vruchteloos speuren naar de oorzaken van onbegrepen lichamelijke klachten. Medisch studenten worden al jaren gehersenspoeld dat ziekte altijd een kwestie is van cellen waarmee het misgaat. Daar zit het natuurlijk ook in. Maar je kunt het niet allemaal op een röntgenfoto of MRI-scan vastleggen.’

De kanttekeningen ten spijt noemt Van Gijn zichzelf geen klager. ‘We doen het best aardig. Ook in

vakken met een jonge onderzoekstraditie zoals revalidatiegeneeskunde, anesthesiologie en chirurgie wordt flink aan de weg getimmerd.’

De ‘lacunebak’ met hiaten in de wetenschappelijke onderbouwing van de standaarden van het Nederlands Huisartsen Genoodschap telt 57 pagina’s.

De wetenschap heeft nauwelijks aandacht voor de kleine kwalen in de huisartsenpraktijk, terwijl dat wel de kern van de huisartsengeneeskunde is. Dit zei het scheidend hoofd Richtlijnenontwikkeling van het NHG, Pim Assendelft, onlangs tegen het huisorgaan van het Leids Universitair Medisch Centrum. ‘Wat Assendelft zegt, klopt. Maar ik vraag me af of dat zo erg is’, reageert dr. Joost Zaat, hoofdredacteur van Huisarts en Wetenschap. ‘Natuurlijk is het leuk als uit onderzoek blijkt dat impetigo veel sneller over is door behandeling met Fucidin-zalf. Toch is dit niet iets waar ik ’s nachts van wakker lig.’

Vraagstukken die Zaat veel interessanter vindt, zijn bijvoorbeeld hoe compliantie is te bevorderen bij chronische ziekten. ‘Of hoe je ervoor kunt zorgen dat patiënten goed onderbouwd de beslissingen nemen die het best bij hen passen.’

Zaat zou ook graag onderzoek zien dat leidt naar betere diagnostische middelen voor de huisartsenpraktijk. De diagnostiek van hartfalen bijvoorbeeld. Dat is uitermate lastig. Ik zie cardiologen vaak hun wenkbrauwen optrekken als ik dat zeg. Maar als ik dan voorreken hoeveel vals-positieven en vals-negatieven je met het huidige arsenaal aan middelen hebt in een populatie waarin de frequentie van hartfalen laag is, dan snapt men het wel.’

Kiembaangentherapie, interventies bij nicotineverslaving, behandelvormen voor prostaathypertrofie. Het zijn maar drie van de negentien onderwerpen die de Gezondheidsraad noemt als mogelijke onderwerpen voor nader onderzoek. Een veelvoud hiervan staat al wel op de agenda van dit adviesorgaan van de overheid. ‘Bij vrijwel ieder advies zit wel een passage waarin we aangeven waar kennis

over ontbreekt’, licht prof. dr. André Knottnerus, voorzitter van de Gezondheidsraad, toe. ‘Het ontbreken van onderzoekskennis hoeft echter niet te betekenen dat we de adviesvraag niet kunnen beantwoorden. We kunnen vaak terugvallen op de expertise van mensen met veel ervaring op een bepaald vakgebied. Dat hebben we bijvoorbeeld moeten doen bij het advies over een verantwoorde dagbesteding van mensen met een verstandelijke handicap. Hiermee is veel geld gemoeid, maar je kunt die mensen niet tekort doen.’

Dat er op het gebied van de beleving bij verstandelijk gehandicapten nauwelijks onderzoek is verricht is Knottnerus een doorn in het oog. Hier is sprake van een kennisachterstand waarvoor we ons moeten schamen.

Over de vraag of er behalve hiaten ook gebieden zijn waarin overdreven veel onderzoek wordt verricht, hoeft Knottnerus niet lang na te denken. ‘De nadelige effecten van roken en meeroken’, zegt hij resoluut. ‘Als je alleen al kijkt naar de kennis over het verhoogde risico op luchtwegproblemen bij kinderen die meeroken, weet je dat je hier eigenlijk niet over hoeft te discussiëren. Het is nu nog een kwestie van implementatie.’

Van Gijn is minder uitgesproken. ‘Natuurlijk is er triviaal onderzoek. Maar bij het NTvG zien wij dat niet. Ja, door de industrie geïnitieerd onderzoek, dat is een ander verhaal. Maar dat kennen we zo onderhand wel.’

‘De zoveelste trial met het zoveelste statine, ACE-remmer of antidepressivum’, vult Zaat de gedachten van zijn collega van het NTvG in. ‘Voor een paar punten winst op een of andere depressieschaal. Maar je weet nog steeds niet wat je aan wie moet geven. Onlangs publiceerde de British Journal of General Practice nog dat venlafaxine (Efexor) bij 28 procent van de patiënten met een angststoornis verbetering geeft tegen 19 procent bij een placebo. Efexor werkt, was de conclusie. Prachtig hoor. Maar bij 72 procent van de patiënten werkt het dus niet.’

Literatuur bij ‘meest geciteerde publicaties’

1. Ettinger B et al. Reduction of vertebral fracture risk in postmenopausal women with osteoporosis treated with Raloxifene - Results from a 3-year randomized clinical-trial. JAMA 1999; 282: 637-45.

2. Present DH et al. Infliximab for the treatment of fistulas in patients with Crohns-disease, N Engl J Med 1999; 340: 1398-1405.

3. Maini R et al. Infliximab (chimeric antitumor necrosis factor-alpha monoclonal-antibody) versus placebo in rheumatoid-arthritis patients receiving concomitant methotrexate - A randomized phase-III trial. Lancet, 1999; 354: 1932-9.

4. Durant J et al. Drug-resistance genotyping in HIV-1 therapy - The Viradapt randomized controlled trial. Lancet 1999; 353: 2195-9.

5. Pitt B et al. Aggressive lipid-lowering therapy compared with angioplasty in stable coronary-artery disease.

N Engl J Med 1999; 341: 70-6.

6. Hamm CW et al. Benefit of abciximab in patients with refractory unstable angina in relation to serum troponin-t levels. N Engl J Med 1999; 340: 1623-9.

7. Tuomilehto J et al. Effects of calcium-channel blockade in older patients with diabetes and systolic hypertension.

N Engl J Med 1999; 340: 677-84.

8. Brinkman K et al. Mitochondrial toxicity induced by nucleoside-analog reverse-transcriptase inhibitors is a key factor in the pathogenesis of antiretroviral-therapy-related lipodystrophy. Lancet 1999; 354: 1112-5.

9. Bonenkamp JJ et al. Extended lymph-node dissection for gastric-cancer. N Engl J Med 1999; 340: 908-14.

10. Rosendaal F. Venous thrombosis - a multicausal disease. Lancet 1999; 353: 1167-73.

Literatuur bij hot papers

1. Lipsky PE et al. Infliximab and methotrexate in the treatment of rheumatoid-arthritis. N Engl J Med 2000; 343:1594-602.

2. Nishino S et al. Hypocretin (orexin) deficiency in human narcolepsy. Lancet 2000; 355: 39-40.

3. Brenner BM et al. Effects of losartan on renal and cardiovascular outcomes in patients with type-2 diabetes and nephropathy. N Engl J Med 2001; 345: 861-9.

4. Grines CL et al. Coronary angioplasty with or without stent implantation for acute myocardial-infarction.

N Engl J Med 1999; 341: 1949-56.

5. Brown MJ et al. Morbidity and mortality in patients randomized to double-blind treatment with a long-acting calcium-channel blocker or diuretic in the international nifedipine gits study - Intervention as a goal in hypertension treatment. Lancet 2000; 356: 366-72.

6. Leckie MJ et al. Effects of an interleukin-5 blocking monoclonal-antibody on eosinophils, airway hyperresponsiveness and the late asthmatic response. Lancet 2000; 356: 2144-8.

7. Lucking CB et al. Association between early-onset parkinsons-disease and mutations in the parkin gene.

N Engl J Med 2000; 342: 1560-7.

8. McClung MR et al. Effect of risedronate on the risk of hip fracture in elderly women. N Engl J Med 2001; 344: 333-40.

9. Schuurman PR et al. A comparison of continuous thalamic-stimulation and thalamotomy for suppression of severe tremor. N Engl J Med 2000; 342: 461-8.

10. Pieterman RM et al. Preoperative staging of non-small-cell lung-cancer with positron-emission-tomography. N Engl J Med 2000; 343: 254-61.

Literatuur bij Hollands Glorie

1. Schuurman PR c.s. A comparison of continuous thalamic-stimulation and thalamotomy for suppression of severe tremor. N Engl J Med 2000; 342: 461-8.

2. Pieterman RM c.s. Preoperative staging of non-small-cell lung-cancer with positron-emission-tomography.

N Engl J Med 2000; 343: 254-61.

3. Kapiteijn E et al. Preoperative radiotherapy combined with total mesorectal excision for resectable rectal-cancer. N Engl J Med 2001; 345: 638-46.

4. Vermeulen EGJ et al. Effect of homocysteine-lowering treatment with folic-acid plus vitamin-B-6 on progression of subclinical atherosclerosis - A randomized, placebo-controlled trial. Lancet 2000; 355: 517-22.

5. Van der Zee J et al. Comparison of radiotherapy alone with radiotherapy plus hyperthermia in locally advanced pelvic tumors - A prospective, randomized, multicenter trial. Lancet; 355: 1119-25.