Twijfels over de wetenschap

Redacteuren bezorgd over de kwaliteit van publicaties

The Lancet, JAMA, BMJ, NEJM, Archives- en Annals of internal medicine: het zijn gerenommeerde vaktijdschriften. In deze bladen komt alleen toponderzoek. Een bezoek aan het vierde internationale congres (Barcelona 14-16 september) over peer review in biomedische publicaties maakt echter duidelijk dat zelfs deze tijdschriften niet alleen maar waarheden bevatten. In het traject van een idee tot het aanleveren van een manuscript aan een wetenschappelijk tijdschrift kan veel misgaan. En in de periode daarna ook. Een publicatie geeft lang niet altijd de werkelijkheid weer en een vaktijdschrift is niet altijd wat het lijkt.
Ongeveer eens in de vier jaar komen redacteuren (editors) van medische vaktijdschriften bij elkaar om te discussiëren over de kwaliteit van wetenschappelijk onderzoek en de kwaliteit van hun eigen werk: het beoordelen van manuscripten. Werd er op de eerste editie van het congres voornamelijk gediscussieerd, inmiddels worden er heuse studies naar de kwaliteit van publicaties gepresenteerd. Allerlei mogelijk storende factoren in het publicatieproces worden onder de loep genomen.

Onzinnige extrapolatie

Yen-Houng Kuo van het onderzoekscentrum van het Jersey Shore Medical Center liet zien dat er bij in publicatie gebruikte grafieken nog wel eens iets misgaat. Bij 22 van 37 uit topbladen afkomstige in zijn onderzoek geïncludeerde artikelen werden regressielijnen geëxtrapoleerd tot buiten de data, zonder dat dit expliciet was aangegeven. Bij vier artikelen was de extrapolatie eenvoudigweg onzinnig. Er was bijvoorbeeld sprake van negatieve patiëntenaantallen. Op zich zijn deze onjuiste extrapolaties vrij onschuldig, het geeft echter wel aan dat bladen soms slordig zijn.
Een veel groter probleem dan slordigheid is de kwaliteit van de statistiek in wetenschappelijke publicaties. De stelling ‘There are lies, damn lies, and statistics’ gaat blijkbaar ook hier op. Douglas Altman, verbonden aan het Centre for Statistics in Medicine in Oxford en auteur van de serie Statistics Notes in British Medical Journal, liet zien dat statistiek zowel in de methodologie als in de dataverwerking op zeer grote schaal verkeerd wordt toegepast. En dat dit al heel lang zo is, blijkt uit een uitspraak van R.A. Fischer op een congres in 1938: ‘To consult a statistician after an experiment is finished is like asking him to conduct a post mortem examination. He can perhaps say what the experiment died of.’

Eerlijk

Het is niet verrassend dat de meeste aandacht op het congres uitging naar de kwaliteit van peer review: het beoordelen van manuscripten door experts. Dit systeem wordt met de regelmaat van de klok onder vuur genomen. Het feit dat de vakinhoudelijke experts die de manuscripten beoordelen niet alleen collega’s maar ook concurrenten zijn van de manuscriptaanbieder, zou de eerlijkheid niet ten goede komen. Hoewel er wel casuïstiek is over het pikken van ideeën en het snel herhalen van proeven om deze nog eerder te publiceren, is de orde van grootte van deze problematiek niet duidelijk.

Of het beoordelen van artikelen door collega’s - waarmee overigens Henry Oldenburg (circa 1620-1677) in de zeventiende eeuw voor de Engelse Royal Society begon - garant staat voor een kwalitatief hoogwaardige selectie van studies, is niet duidelijk. Uit de verschillende studies die in Barcelona openbaar werden gemaakt, blijkt dat dit niet eenvoudig is vast te stellen. Hoe kom je er immers achter of de experts de juiste beslissingen nemen? Met andere experts? Ook een Cochrane review van bestaande studies op dit gebied biedt geen uitsluitsel. ‘Er is maar een kleine hoeveelheid empirisch bewijs dat peer review een goed mechanisme is om de kwaliteit van biomedisch onderzoek te bewaken.’ Een beter alternatief is echter nog niet voorhanden.

Een specifieke aanpassing in het systeem van peer review kreeg in Barcelona veel bijval: het bekend maken van de identiteit van de peers. Het digitale tijdschrift BioMed Central werkt hier al mee. De veel grotere transparantie is vooral gunstig omdat het de verantwoordelijkheidsbesef van de peers vergroot. Bovendien kunnen de manuscriptaanbieders ook wijzen op eventuele prioriteitsconflicten bij hun beoordelende collega’s.

Ook nadat een studie is gepubliceerd, gaan er nog zaken niet altijd zoals ze zouden moeten gaan. Richard Horton, hoofdredacteur van The Lancet, presenteerde een studie waaruit blijkt dat maar op de helft van de kritieken van lezers een antwoord komt. En als er wel een respons komt, is het vaak niet eens een antwoord op de kritiek, maar een ontwijkende reactie in algemene termen. Niet echt een instelling die je van wetenschappers mag verwachten.

Fraude

Duidelijk mag zijn dat zowel op het gebied van het verrichten van onderzoek, als de beoordeling en interpretatie ervan er nog heel wat valt te verbeteren. Wat zien hoofdredacteuren van toptijdschriften eigenlijk zelf als de grootste bedreiging voor de kwaliteit van publicaties?

Frank Davidoff, tot voor kort hoofdredacteur van Annals of Internal Medicine, vindt het niet eenvoudig om de vinger op de zere plek te leggen. Volgens hem zijn er drie belangrijke aspecten: fraude, ongewenste beïnvloeding, en methodologische problematiek.

‘Hoewel fraude in de wetenschap eigenlijk maar weinig voorkomt, heeft het wel een enorm effect op de maatschappij. Fraude krijgt immers in de media én in de onderzoekswereld veel aandacht. Het is bovendien een zeer slecht voorbeeld voor jonge onderzoekers en werkt scepsis ten opzichte van de wetenschap in de hand. Dat is uitermate kwalijk.’

Ook de veelbesproken invloed van firma’s en organisaties op het wetenschappelijk onderzoek ziet Davidoff als een groot probleem. Echter, dat studies vaak niet goed van opzet zijn en dat de interpretatie van de resultaten ook veelal te wensen overlaat, acht hij belangrijker dan fraude en ongewenste beïnvloeding. ‘Hoewel veel subtieler, heeft het in zijn totaliteit een veel groter effect. Van 13.000 manuscripten die ik als redacteur heb gezien, was het onderzoek ontstellend vaak zwak, slecht of gewoonweg foutief. De statisticus Douglas Altman heeft laten zien dat onderzoeksopzet heel vaak methodologisch niet goed in elkaar zit en dat de resultaten worden gebaseerd op foutief gebruik van statistiek. Het afwijzen van een dergelijk manuscript helpt maar een klein beetje. De auteur gaat namelijk gewoon naar een ander blad dat de studie - uiteraard zonder de kritiek van onze redacteuren en experts - wel publiceert. Zo’n blad heeft weliswaar een lagere impactfactor, maar dat betekent niet dat de resultaten van de studie niet voor waar worden aangenomen.’

Onthutsend

Richard Smith, hoofdredacteur van het British Medical Journal, meent dat de methodologische problematiek die Altman zichtbaar maakte het grootste probleem voor de kwaliteit van het medisch wetenschappelijk onderzoek is. ‘Onderzoekers in de geneeskunde zijn veelal geen wetenschappers. Het zijn artsen die een beetje onderzoek doen om de graad van doctor te verkrijgen, of voor een andere vorm van promotie. Ze zijn niet tot wetenschappers opgeleid. Het huidige systeem, waarbij het onderzoek min of meer een verplicht nummer is, werkt ook niet motiverend. Het gaat er niet om een ingewikkelde onderzoeksvraag te beantwoorden, maar om iets gepubliceerd te krijgen omdat dat nodig is voor de volgende stap in de carrière. Wij zullen binnenkort een studie publiceren waarin wordt beschreven wat artsen afweten van eenvoudige terminologie als relatieve en absolute risico’s. De resultaten zijn onthutsend; over het algemeen hadden zij geen flauw benul. Om kort te gaan: medische wetenschap wordt bedreven door amateurs en om de verkeerde reden. En dat leidt tot heel veel bias.’

Als veel studies zo slecht zijn, waarom wordt het dan toch gepubliceerd? ‘Dat komt omdat er ook op het niveau van peer review nog veel valt te verbeteren’, antwoordt Smith. ‘Zwaktes en fouten worden vaak niet onderkend. En als ze wel worden opgemerkt, gaat de onderzoeker met de studie naar een volgend blad. Er zouden ook niet zo veel wetenschappelijke tijdschriften moeten zijn. Aan een paar goede hebben we veel meer.’

Grijs gebied

Douglas Altmans constatering dat publicaties vol staan met methodologische en statistische fouten, vraagt om een toelichting. Opvallend genoeg meent hij zelf niet dat de methodologische en statistische onvolkomenheden de grootste bedreiging vormen voor de kwaliteit van publicaties. ‘Het selectief presenteren van bepaalde delen van onderzoek is volgens mij ernstiger. Tenminste, dat is mijn vermoeden, want veel data hierover zijn er nog niet.’

Altman baseert zijn vermoedens voornamelijk op rede. ‘Er zijn onderzoeken te over die laten zien dat studies met een positief resultaat eerder worden geaccepteerd voor publicatie dan studies met een negatief resultaat of met uitkomsten die geen overtuigend bewijs leveren, de zogeheten publicatiebias. Het is goed voorstelbaar dat dit op het niveau van het onderzoek ook plaatsvindt. En dit zou wel eens in kwantiteit een veel groter probleem kunnen zijn. Immers, deze selectie kan bij elk onderzoek plaatsvinden. Het is lastig hier een vinger achter te krijgen. Onderzoekers zullen niet snel geneigd zijn toe te geven dat ze bepaalde delen van het onderzoek niet openbaar maken omdat de uitkomsten ze niet bevallen. Het is vooralsnog een groot grijs gebied.’

Ongewenste invloeden

Voor Catherine D. DeAngelis, hoofdredacteur van JAMA, The Journal of the American Medical Association, ingaat op de vraag wat de grootste bedreiging voor de kwaliteit van publicaties vormt, wil zij hierover eerst in algemene iets zeggen. ‘Een publicatie is het product van wetenschappelijk onderzoek. Alle ongewenste invloeden in dit traject vormen een bedreiging. Een goed idee moet met de juiste fondsen kunnen worden uitgewerkt, zodat de wetenschapper vrij is in de onderzoeksopzet en het uitvoeren van de studie. Het redactionele proces moet echter ook onafhankelijk zijn.’

Over wat de grootste bedreiging voor de wetenschap vormt, is DeAngelis vervolgens duidelijk. ‘Voor het uitvoeren van medisch wetenschappelijk onderzoek zijn we meer en meer afhankelijk van geld van de farmaceutische en technologische industrie. Op zich is hier niks mis mee. Deze bedrijven profiteren immers van het onderzoek. Maar als geldt dat de betaler bepaalt, dan betekent dat het einde van de wetenschap. Ik zeg niet dat alle farmaceutische bedrijven oneerlijk zijn, maar er is genoeg bewijs dat in ieder geval sommige bedrijven de grenzen van het betamelijke oprekken.

‘Ook als er geen sprake is van boze opzet moet je als redactie van een wetenschappelijk tijdschrift op je hoede zijn. Zoals alle vaders langs het voetbalveld menen dat hun kind de beste speler is, hebben ook farmaceutische bedrijven soms moeite met objectiviteit. De data liegen niet, ze worden alleen niet goed geïnterpreteerd. En wetenschap is afhankelijk van objectiviteit. Daarom is het zo belangrijk dat we recent met heel veel bladen hebben afgesproken dat onderzoekers alleen kunnen publiceren als ze zowel de opzetten van het onderzoek als het uitvoeren van de studie en analyseren van de data in volledige onafhankelijkheid hebben kunnen doen.’

Corruptie

Richard Horton (The Lancet) is heel wat minder subtiel dan zijn Amerikaanse collega DeAngelis. ‘Zonder twijfel vormt de invloed van commerciële sponsors van wetenschappelijk onderzoek het grootste gevaar voor de kwaliteit van publicaties. Ze beïnvloeden de vraagstelling, de onderzoeksopzet, het verzamelen van de data, de manier waarop het onderzoek op papier komt, het blad waarin het artikel wordt gepubliceerd, de interpretatie van de publicatie, de manier waarop andere media over de studie rapporteren en andere informatiestromen richting artsen. Er is sprake van een verregaande corruptie van de medische wetenschap. Artsen hebben zich te sterk afhankelijk laten maken van het geld van de industrie en wij als redacties hebben op dit punt gefaald. Het is tijd om het tij te keren. Wetenschappers moeten de voorwaarden stellen waaronder zij onderzoek willen doen. Het besluit van verschillende bladen omdat ook van de auteurs te verlangen is daartoe een belangrijke aanzet.’

Behalve de druk op de industrie zou Horton ook graag de druk op overheden willen opvoeren. ‘Veel onderzoeksvragen worden niet beantwoord omdat er geen financiële winst te behalen valt. Daarom is het van belang dat overheden ervoor zorgen dat onderzoek dat minder interessant is voor de commerciële sector, toch wordt gefinancierd. Een pressiemiddel hebben we daar als wetenschappelijke tijdschriften helaas niet voor. We kunnen overheden er alleen maar op wijzen dat het een hele slechte zaak is om wetenschap alleen aan de markt over te laten.’

Schijn

De recente aangescherpte eisen aan de onafhankelijkheid auteurs onderstrepen nog eens dat de wetenschappelijke tijdschriften symbolen van onafhankelijkheid zijn. Maar ook hier bedriegt de schijn. De bladen zijn immers ook afhankelijk van inkomsten vanuit de industrie. Bedrijven kopen niet alleen advertentieruimte, maar ook reprints van publicaties. Hierin gaan miljoenen om.

In het voorlaatste nummer van The New England Journal of Medicine (zie ook MediSein pag. 1419) zijn drie studies naar het renoprotectieve effect van verschillende Angiotensine 2 receptorantagonisten gepubliceerd. In deze studies is echter geen vergelijking gemaakt met het effect van ACE-remmers. ‘Door goede alternatieve behandelingen niet in een studie op te nemen, dreigt een onderzoeksopzet een marketinginstrument te worden’, aldus een commentaar van een nierspecialist in hetzelfde nummer. Het blad heeft echter ook baat bij publicaties die voor de industrie gunstig zijn. Immers, van een studie waarin een middel er gunstig uitspringt, zullen meer reprints worden verkocht. Zulke constructies ondermijnen de onafhankelijkheid. Voor de goede orde: ook het congres over peer review werd onder andere gesponsord door verscheidene farmaceutische bedrijven.

Ook op een ander punt zijn de wetenschappelijke bladen te bekritiseren. De bladen zetten alles op alles om de impactfactor - de belangrijkste maatgever voor de status van het blad - zo ver mogelijk op te krikken. Het ene blad gaat daarin nog verder dan het andere, waardoor het onduidelijk is hoe de ranglijst er eigenlijk zou moeten uitzien. Zo kunnen bladen briefschrijvers verplichten om in een reactie altijd het artikel waarover ze schrijven te citeren. De redactie van Cardiovascular Research heeft ook een slimme truc bedacht. In het begin van het jaar publiceren ze veel meer artikelen dan aan het eind van het jaar. De kans dat onderzoek dat het blad in december publiceert in de paar resterende weken nog wordt geciteerd, is immers heel klein. Dat is optimaal gebruikmaken van de formule waarmee de impactfactor wordt berekend. En dan bestaat er natuurlijk nog de mogelijkheid om vanuit het ene blad binnen de uitgeversgroep op structurele

basis andere bladen aan te halen. Maar dat gebeurt natuurlijk nooit. Hoe heet dat ook al weer? Elk gilde kent zijn boeven.

Evert Pronk