Dagelijks opinie, nieuws en achtergronden

Inloggen
Laatste nieuws
Hans van der Linde Dick Bijl
23 oktober 2020 8 minuten leestijd
onderzoek

Hoe taalgebruik de wetenschap vertroebelt

Slimme formuleringen verhullen ongewenste uitkomsten

25 reacties
getty images
getty images

Uit financieel belang proberen medicijnfabrikanten uitkomsten van onderzoek te beïnvloeden. Onder meer door misleidend taalgebruik, betogen Hans van der Linde en Dick Bijl. Zij laten zien hoe ­negatieve onderzoeksresultaten ondergesneeuwd raken onder handige formuleringen en selectieve presentaties. Hun boodschap: laat de cijfers ­spreken, niet de taal.

Over beïnvloeding van onderzoeksresultaten is al veel gepubliceerd. Meestal betreft dat dan de opzet van onderzoeken. Gunstige uitkomsten kunnen bijvoorbeeld bewerkstelligd worden door selectie van deelnemers, keuze van uitsluitings­criteria en uitkomstmaten en door niet dubbelblind uitvoeren van onderzoeken. Minder bekend is dat de taalkundige presentatie van cijfers wordt gebruikt om de perceptie van onderzoeksuitkomsten te beïnvloeden. Taal is het vehiculum voor betekenisverlening aan cijfers en daarmee kunnen betere effecten worden gesuggereerd dan aan de cijfers ontleend kunnen worden.

Analyse van formuleringen

In 2019 publiceerde JAMA Network Open een analyse van de manieren waarop uitkomsten van 93 gerandomiseerde ­cardiovasculaire studies waren geformuleerd.1 Geen van deze 93 onderzoeken liet een statistisch significant verschil zien op primaire uitkomstmaten. De vraagstelling luidde of de formuleringen strookten met de cijfermatige uitkomsten. Maar liefst 57 procent van de samenvattingen bevatte ‘spin’, ofwel manipulatie en misleiding. Die spin werd ook vastgesteld bij 11 procent van de titels, 67 procent van de teksten, 38 procent van de uit­komstenpresentaties en bij 54 procent van de conclusies. De analyse eindigt met 31 referenties van studies met soortgelijke bevindingen.

De auteurs komen tot de slotsom: ‘Deze studie laat zien dat onderzoekers vaak met taal manipuleren om de aandacht af te leiden van het niet behalen van ­statistische significantie van primaire ­uitkomstmaten. Alle artikelen verschenen in peerreviewed bladen als NEJM, The Lancet en JAMA. Peerreview voorkomt misleidend taalgebruik dus blijkbaar niet.’

Spin

Spin wordt in het artikel omschreven als strategieën om behandelingen toch als positief te duiden terwijl de primaire ­uitkomsten van een onderzoek statistisch niet significant zijn. Menigmaal wordt echter het ontbreken van die statistische significantie niet eens vermeld in de samenvatting van het onderzoeksverslag. De aandacht wordt afgeleid van het ontbreken van die significantie door te focussen op uitkomsten die niet bepalend zijn voor de waarde van een therapie. ­Bijvoorbeeld op statistisch significante secundaire uitkomstmaten of zelfs onderdelen daarvan. Of op subgroepen met ­statistisch significante resultaten die niet vooraf waren opgenomen in het onderzoeksprotocol, de zogenoemde ­niet-­protocollaire subgroepanalyses. Die ­subgroepen worden vaak gevonden door veel analyses te doen, wat bekendstaat als kanskapitalisatie of cherrypicking.

ARR en RRR

Een korte toelichting op het gebruik van de termen ‘absolute risico­reductie (ARR)’ en ‘relatieve ­risico­reductie (RRR)’. Als duizend mensen vijf jaar lang een medicijn slikken om het aantal ziekte­gevallen terug te brengen van twee naar één bedraagt de relatieve ­risicoreductie (RRR) 50 procent (1:2) en de absolute risicoreductie (ARR) 0,1 procent (1:1000) na vijf jaar. De ARR ­representeert het ­nuttig effect van ­medicatie. De RRR is daar geen maatstaf voor en wordt veel gebruikt om ­uitkomsten ­gunstiger voor te stellen dan ze in werkelijkheid zijn. Het aantal mensen dat behandeld moet ­worden om één ziektegeval te voorkomen noemen we het ‘number needed to treat (NNT)’. De waarde van de NNT volgt simpel uit de ARR met de formule NNT = 1/ARR. Net als de ARR is de NNT indicatief voor de effectiviteit van een medicijn. Een hoge NNT wijst op een laag nuttig effect.

Bekende spinners zijn het in de tekst vermelden van alleen de uitkomsten van een perprotocolanalyse die positieve resultaten laat zien, en niet die van een intention-to-treat-analyse, die ongunstiger uitvallen.

Een scala van andere strategieën leidt af van de cijfers van primaire uitkomst­maten. Bijvoorbeeld beschouwingen met gebruikmaking van relatieve in plaats van absolute risicoreducties. Ook wordt dikwijls geschermd met causale verbanden die geen enkele bewijskracht hebben, zoals een associatief verband tussen ­medicijngebruik en optreden van minder ziektegevallen.

Spin wordt gekenmerkt door het weg­laten in de tekst van numbers needed to treat (NNT) – belangrijke parameters voor het beoordelen van het nuttig effect van ­medicijnen –, en door het negeren van bijwerkingen – een belangrijke factor bij de plaatsbepaling van medicijnen (zie het kader Ideal-onderzoek).

Tot slot de misschien wel meestvoorkomende vorm van spin: het zonder enige onderbouwing gunstig positioneren van medicijnen met wollige formuleringen.

Die misleidende formuleringen worden tot in lengte van jaren wereldwijd gecommuniceerd door farmamarketing met hulp van hun immense netwerken. Als podia daarvoor worden onder meer nascholing, congressen, tijdschriften, ­artikelen en onderzoeksfinanciering gebruikt.

Ogenschijnlijk gunstige uitkomsten gaan zo een eigen leven leiden

Ogenschijnlijk gunstige uitkomsten gaan aldus een eigen leven leiden. Frequent treft men ze aan in medische bladen zonder toetsing aan de cijfers. Geleidelijk worden ze deel van het denken en handelen van artsen en opgenomen in richt­lijnen.

Daarvan twee voorbeelden: medica­menteuze cholesterolverlaging en SGLT-2-remmers.

Medicamenteuze cholesterolverlaging

In artikelen die verlaging van LDL-cholesterol bepleiten, komt men voortdurend dezelfde formuleringen tegen, afkomstig uit onderzoekspublicaties en meta-analysen, zoals: ‘Elke mmol/l reductie van het LDL-cholesterol gaat gepaard met een afname van het risico op hart- en vaatziekten.’ Die formulering treft men ook aan in de toelichting op de multidisciplinaire CVRM-richtlijn. Vergeefs zoekt men naar cijfers waarop die uitspraken berusten. Hoe luiden die cijfers? In tabel 1 zijn cijfers van toonaangevende RCT’s in het kader van secundaire preventie samengebracht. Ze zijn ontleend aan een overzicht uit het blad Expert Review. Die cijfers laten zien dat de gemiddelde ARR (zie kader ARR en RRR op blz. 19) van cardiovasculaire mortaliteit 0,2 procent per jaar bedraagt. Dat is verwaarloosbaar klein met inherent daaraan een torenhoge NNT van 500. De ARR’s van uitkomstmaten van morbiditeit verschillen niet noemenswaardig van die van mortaliteit en zijn dus evenmin ­relevant. Overigens beperken we ons hier tot de zestien secundaire preventie-onderzoeken die zowel cardiovasculaire als totale mortaliteit berekenden. De ARR’s van primaire preventieonderzoeken zijn nog beduidend lager.

Ideal-onderzoek

Het bekende Ideal-onderzoek demonstreert het gebruik van spin. Het onderzoek laat zien dat sterkere verlaging van het LDL-cholesterol geen vermindering geeft van het aantal cardiovasculaire doden en doden door welke oorzaak dan ook. Het samengestelde primaire eindpunt ‘major coronary events’ laat geen statistisch significante uitkomsten zien. Desondanks is volgens de publicatie sterke verlaging van het LDL-cholesterol met atorvastatine nuttig, omdat drie subgroepen van een samengesteld secundair eindpunt ‘major cardiovasculair events’ statistische significantie laten zien. Hun NNT bedraagt 283 per jaar, maar dat wordt niet ­vermeld in de tekst. De studie wordt sindsdien algemeen aangehaald als een bewijs dat sterke LDL-cholesterolverlaging minder hart- en vaatziekten geeft. De vraag waarom dat dan niet tot minder doden leidt, wordt niet gesteld.

In de Ideal-studie moesten 426 van de 4439 deelnemers die atorvastatine gebruikten, stoppen met deelname wegens bijwerkingen. Dat betekent dat 10 procent van de patiënten 80 mg atorvastatine niet verdraagt. Die massale, in de praktijk weinig onderkende, bijwerkingen werden bij de plaatsbepaling van atorvastatine niet afgewogen tegen de statistisch niet-significante primaire ­uitkomstmaten.

Deze meta-analyse van grote en belangrijke RCT’s laat dus zien dat medicamenteuze verlaging van LDL-cholesterol bij secundaire preventie geen statistisch significante resultaten oplevert. Taalkundig gemanipuleerde weergaven van onderzoekresultaten suggereren het tegendeel. Onze persoonlijke ervaring is dat veel ­artsen om die reden vol ongeloof reageren op de cijfers in tabel 1 (zie blz. 19). De cijfers zijn echter voor iedereen vrij toegankelijk en ook voor onderzoeksmethodologisch niet geschoolde artsen gemakkelijk te bevatten.

De selectie van deze onderzoeken is ontleend aan Silverman e.a.3 Zij publiceerden in 2016 in JAMA een veel geciteerde meta-analyse van onderzoeken naar het verband tussen verlaging van LDL-cholesterol en cardiovasculaire risicoreductie. Het artikel in Expert Review gebruikt dezelfde onderzoeksuitkomsten als de meta-analyse van Silverman e.a, maar drukt ze uit in ARR’s omdat die een ­maatstaf zijn voor de effectiviteit van medicijnen. Dat resulteert in de genoemde verwaarloosbare ARR van 0,2 procent gemiddeld per jaar. Desalniettemin ­brengen Silverman e.a. de conclusie van de meta-analyse als volgt onder woorden: ‘LDL-verlaging is geassocieerd met relatieve reductie van major vascular events naar gelang de daling van het LDL. Lagere LDL-concentraties waren geassocieerd met minder optreden van major coronary events.’ De formulering verdoezelt dat de primaire uitkomstmaten niet statistisch significant verschillen en mondt niet uit in een bewijs, terwijl een verband wordt gesuggereerd. Veel publicaties citeren Silverman e.a, onlangs nog als antwoord op de kritiek die volgde op de afkondiging van een LDL-streefwaarde van 1,8 mmol/l voor mensen jonger dan 70  jaar met hart- of vaatziekten: ‘In meta-regressieanalyses van trials met cholesterol­verlagende middelen wordt berekend dat de kans op majeure cardiovasculaire events ongeveer 23% afneemt per mmol/l LDL-cholesteroldaling. Dit betekent dat de verlaging van de streef­waarde van 2,5 mmol/l naar 1,8 mmol/l leidt tot zo’n 15% extra relatieve risicoreductie.’4

Werkzaamheid SGLT-2-remmers

Dezelfde discrepantie tussen taal en ­cijfers treft men veelvuldig aan bij ­onderzoek van nieuwe antidiabetica, zoals DPP-4-remmers, SGLT-2-remmers en GLP-1-agonisten. Wij beperken ons tot SGLT-2-remmers, die mede vanwege hun bijwerkingen geen groot succes zijn als antidiabeticum. Toch worden ze momenteel krachtig gepromoot vanwege de vermeende cardiovasculaire en renale bescherming die ze zouden bieden.

Ook daarbij worden fragmenten uit onderzoekspublicaties en meta-analysen geciteerd die niet sporen met de cijfer­matige uitkomsten. Twee voorbeelden. Een publicatie uit 2019 begint als volgt: ‘Uit een systematisch literatuuronderzoek blijkt dat SGLT-2-remmers bij patiënten met diabetes de kans op ziekenhuisopnames voor hartfalen en afname van nierfunctie vermindert. Bij patiënten die een cardiovasculair event hebben doorgemaakt, verlagen de middelen bovendien de kans op ­myocardinfarcten, beroertes en cardiovasculaire sterfte.’5 Ten tweede een citaat uit een ­artikel van 2020: ‘SGLT-2-remmers hebben vooral bij patiënten met een cardiovasculaire aandoening in de voorgeschiedenis gunstige ­cardiovasculaire effecten in vergelijking met een placebo. De SGLT-2-remmer canagliflozine heeft gunstige renale effecten bij patiënten met DM2 en albuminurie.’6

Deze formuleringen toetsen we onderstaand aan de cijfermatige trialuitkomsten.

Er zijn vier grote RCT’s met drie SGLT-2-remmers verricht: Canvas-programma, Credence, Declare-Timi 58 en Empa-Reg Outcome.

Lo e.a. hebben deze trials onlangs in een meta-analyse gepoold.7 In tabel 2 staan de ARR’s van de vier RCT’s weergegeven voor vier verschillende uitkomstmaten: cardiovasculaire ziekte, renale ziekte, ­cardiovasculaire mortaliteit en mortaliteit ongeacht de oorzaak.

Alleen voor renale ziekte laten de RCT’s een statistisch significant gepoolde ARR zien. De ARR is echter slechts 0,3 procent per jaar, de NNT is met 333 torenhoog en er is geen significante reductie van het aantal doden. Anders dan de zojuist aangehaalde citaten doen voorkomen, levert deze meta-analyse van de beschikbare RCT’s geen enkel bewijs dat SGLT-2-­remmers een cardio- of renoprotectief effect hebben.

In de wereld van farmamarketing geldt: ‘A study not marketed, is a study not done.’ Verifieer daarom formuleringen uit interventieonderzoeken en hun meta-analysen op cijfermatige juistheid alvorens ze te citeren. Laat de cijfers spreken, niet de taal.


Auteurs

Hans van der Linde, huisarts en oud-lid van het voormalig College voor Accreditatie Huisartsen

dr. Dick Bijl, oud-huisarts-epidemioloog, president International Society ofDrug Bulletins

Contact

hvanderlinde@zeelandnet.nl
cc: redactie@medischcontact.nl

Voetnoten

  1. Khan MS, Lateef N, Siddiqi TJ, Rehman KA, Alnaimat S, Kham SU, et al. Level and Prevalence of Spin in Published Cardiovascular Randomized Clinical Trial Reports With Statistically Nonsignificant Primary Outcomes. JAMA Netw Open. 2019;2:e192622.
    https://jamanetwork.com/journals/jamanetworkopen/fullarticle/2732330
  2. Ravnskov U, de Lorgeril M, Diamond DM, Hama R, Hamazaki T. Hammarskjold, B, et al. LDL-C does not cause cardiovascular disease: a comprehensive review of the current literature. Expert Rev Clin Pharmacol. 2018;11:959-70.
    https://www.tandfonline.com/doi/pdf/10.1080/17512433.2018.1519391
  3. Silverman MG, Ference BA, Im K, Wiviott SD, Giugliano RP, Grundy SM, et al. Association between lowering LDL-C and cardiovascular risk reduction among different therapeutic interventions. JAMA 2016;316:1289-97.
    https://www.ahajournals.org/doi/10.1161/JAHA.119.012428
  4. Wiersma T. Behalen streefwaarden bij CVRM is geen verplichting. Huisarts We.t 2020;63:54.
    https://www.henw.org/artikelen/behalen-streefwaarden-bij-cvrm-geen-verplichting
  5. Vugt V van. SGLT2-remmers bij diabetes en hart- en vaatziekten. Huisarts Wet. 2019;62:7.
    https://www.henw.org/artikelen/sglt2-remmers-bij-diabetes-en-hart-en-vaatziekten
  6. Dankers M., Hart B, van Dalfsen M. Update medicamenteuze behandeling diabetes mellitus type 2. Huisarts Wet. 2020;63:18-20.
    https://www.henw.org/artikelen/update-medicamenteuze-behandeling-diabetes-mellitus-type-2
  7. Lo KB, Gul F, Ram P, Kluger AY, Tecson KM, McCullough PA, et al. The effects of SGLT2 inhibitors on cardiovascular and renal outcomes in diabetic patients. Cardiorenal Med. 2020;10:1-10.
    https://www.karger.com/Article/FullText/503919
download de pdf
onderzoek
Dit artikel delen
Op dit artikel reageren inloggen
Reacties
  • Cornelis Bruijninckx, chirurg n.p., Den Haag 11-11-2020 15:17

    "Aangezien grote gerandomiseerde klinische studies naar de effectiviteit van medicamenteuze behandelingen (zeer) duur zijn en de fabrikanten de enigen zijn die de benodigde bedragen willen ophoesten, kan ik mij, de spreuk 'Wiens brood men eet diens woord men spreekt' indachtig, voorstellen dat die fabrikanten al hun invloed aanwenden om de resultaten voor hen zo gunstig mogelijk gepresenteerd te krijgen. Het is duidelijk dat overheden ook op dit gebied de strijd moeten aanbinden met machtige multinationale bedrijven. Ik heb al vaker in deze kolommen gepleit om het mandaat van het ontwikkelen van nieuwe medicamenten bij de nationale, liefst federale (meer macht!) overheden te leggen. Die zouden dat aan laboratoria verbonden aan prestigieuze universiteiten kunnen uitbesteden. Pas wanneer het medicament voldoende effectief en veilig is gebleken en na publicaties gunstig is ontvangen door de 'stakeholders', kunnen farmaceutische industrieën intekenen op productie ervan waarbij de overheid eisen stelt aan de productie, de levering en de prijs. Op die manier en doordat er alleen werkelijk nuttige medicatie op de markt komt, kunnen de overheden hun kosten terugverdienen."

  • Hans van der Linde, huisarts/SCEN-arts, Burgh-Haamstede 05-11-2020 21:47

    "Aanvullend op de samenvatting die ik gaf ten behoeve van collega Van den Hoogen over de wijze van cijferberekening van tabel 2 stuurde de samensteller van die tabel, collega Dika Luijendijk,, arts-onderzoeker en farmaco-epidemioloog, werkzaam bij het UMCG in Groningen, een uitgebreide toelichting op die cijfers aan collega Van den Hoogen. Die laat ons weten: "Dank voor de heldere uitleg. Ik kan me in alle punten vinden."
    Daarmee wordt dus onze conclusie bevestigd dat er geen enkel bewijs bestaat dat SGLT-2-remmers een cardio- of renoprotectief effect hebben.
    De geringe glucoseverlagende werking van deze middelen, de frequente en niet geringe en ook ernstige bijwerkingen en het ontbreken van ieder bewijs van een gunstig effect op lange termijn bestempelen SGLT-2-remmers tot antidiabetica die niet moeten worden voorgeschreven. Auteurs van artikelen moeten niet klakkeloos
    citeren uit wat belangenverstrengelde artsen schrijven. Laat de cijfers spreken en niet de taal."

  • Hans van der Linde, huisarts/SCEN-arts, Burgh-Haamstede 05-11-2020 13:12

    "Een tweede vraag is of producenten van SGLT-2-remmers
    onderzoek hebben gefinancierd waarbij Van den Hoogen was betrokken.

    "

  • Hans van der Linde, huisarts/SCEN-arts, Burgh-Haamstede 05-11-2020 12:58

    "Collega Van den Hoogen wil de wijze van cijferberekening van tabel 2 kennen. Die had hij kunnen ontlenen aan de meta-analyse van Lo e.a. die bij de literatuuropgave van het artikel staat vermeld onder punt 7. Maar samengevat luidt die als volgt.

    De volgende methoden zijn gebruikt om de cijfers in tabel 2 te berekenen. De aantallen events en patiënten per behandelgroep zijn uit de review van Lo et al gehaald (2020). In figuur 1 staan die van MACE, in figuur 3 die van MARE, in supplement-figuur 3 die van all-cause mortaliteit, en in supplement-figuur 4 die van cardiovasculaire mortaliteit. Voor iedere uitkomst is de gepoolde ARR met 95% betrouwbaarheidsinterval berekend met een meta-analyse (random effect model) in stata 16. Die ARRs zijn gedeeld door de gewogen gemiddelde duur van de trials (4,6 jaar) om een ARR per jaar te berekenen.

    De auteurs hebben opgave gedaan van hun belangenverstrengelingen. Dat waren er geen. Een opgave van conflicterende belangen kan niet meer ontbreken voor schrijvers van artikelen en dat geldt onverkort voor mensen die zich mengen in discussies. Met name als financiële belangen bij die discussies meespelen. Herman Hoekstra vraagt in zijn reactie of respondenten ook aan kunnen geven of ze bindingen hebben met organisaties / farmaceutische industrieën, die belang hebben bij een gunstige weergave van cijfers.
    Vandaar mijn vraag aan collega Van den Hoogen om daar openheid over te geven. Volgens het transparantieregister heeft hij gelden ontvangen van farmaceutische bedrijven. Welke bedrijven waren dat en hebben die belangen bij de afzet van SGLT-2-remmers?

    "

  • Dick Bijl, Epidemioloog, UTRECHT 03-11-2020 12:58

    "Wiersma heeft enkele essentiële methodologische kwesties niet in zijn beschouwing betrokken. Hij stelt dat het een kwestie van efficiency is en dat daarom onder meer totale sterfte zelden de primaire uitkomstmaat is. Vanuit het standpunt van de farmaceutische industrie bezien is dit goed te verdedigen, maar niet vanuit wetenschappelijk oogpunt en vanuit het belang van de patiënt.
    Cardiovasculaire onderzoeken maken vaak gebruik van zogenoemde samengestelde eindpunten. Dat zijn vaak combinaties van harde uitkomstmaten, zoals myocardinfarct en beroerte, en zachte uitkomstmaten, zoals ziekenhuisopname voor interventie-onderzoek. Zachte uitkomstmaten bevatten een grote mate van subjectiviteit en zijn daarom methodologisch gezien niet zo interessant, maar voor het behalen van een statistisch significant resultaat wel en daarvoor worden ze in onderzoeken opgenomen. En dat zal des te meer gelden als onderzoeken niet dubbelblind zijn uitgevoerd en belangenverstrengelde onderzoekers de uitkomsten vaststellen.
    Als mortaliteit meegenomen wordt in het samengestelde eindpunt, dan is het effect meestal niet-significant. Wiersma geeft hierover aan dat als een effect niet aantoonbaar dit niet betekent dat het niet bestaat. Dit kan rechtstreeks in een reclamefolder van de industrie.

    Wiersma stelt ten slotte dat we moeten beginnen met het risico op alle cardiovasculaire ziekten te bepalen die een patiënt kan krijgen om te voorkomen dat we in therapeutisch nihilisme belanden. Het zou beter zijn dit te erkennen dan patiënten bloot te stellen aan medicijnen die het leven niet verlengen maar mogelijk kunnen bekorten en meer of minder ernstige bijwerkingen hebben. Medicijnen zijn hard op weg de derde doodsoorzaak te worden. En om dat te voorkomen zullen we de door de farmaceutische industrie gesponsorde artikelen uiterst kritisch moeten beoordelen in het belang van de patiënt en geen genoegen nemen met uitspraken in de trant van van ‘…het staat er weliswaar niet maar het is wel zo…’"

 

Cookies op Medisch Contact

Medisch Contact vraagt u om cookies te accepteren voor optimale werking van de site, kwaliteitsverbetering door geanonimiseerde analyse van het gebruik van de site en het tonen van relevante advertenties, video’s en andere multimediale inhoud. Meer informatie vindt u in onze privacy- en cookieverklaring.