Hoe taalgebruik de wetenschap vertroebelt

Analyse van formuleringen

In 2019 publiceerde JAMA Network Open een analyse van de manieren waarop uitkomsten van 93 gerandomiseerde ­cardiovasculaire studies waren geformuleerd.¹ Geen van deze 93 onderzoeken liet een statistisch significant verschil zien op primaire uitkomstmaten. De vraagstelling luidde of de formuleringen strookten met de cijfermatige uitkomsten. Maar liefst 57 procent van de samenvattingen bevatte ‘spin’, ofwel manipulatie en misleiding. Die spin werd ook vastgesteld bij 11 procent van de titels, 67 procent van de teksten, 38 procent van de uit­komstenpresentaties en bij 54 procent van de conclusies. De analyse eindigt met 31 referenties van studies met soortgelijke bevindingen.

De auteurs komen tot de slotsom: ‘Deze studie laat zien dat onderzoekers vaak met taal manipuleren om de aandacht af te leiden van het niet behalen van ­statistische significantie van primaire ­uitkomstmaten. Alle artikelen verschenen in peerreviewed bladen als NEJM, The Lancet en JAMA. Peerreview voorkomt misleidend taalgebruik dus blijkbaar niet.’

Spin

Spin wordt in het artikel omschreven als strategieën om behandelingen toch als positief te duiden terwijl de primaire ­uitkomsten van een onderzoek statistisch niet significant zijn. Menigmaal wordt echter het ontbreken van die statistische significantie niet eens vermeld in de samenvatting van het onderzoeksverslag. De aandacht wordt afgeleid van het ontbreken van die significantie door te focussen op uitkomsten die niet bepalend zijn voor de waarde van een therapie. ­Bijvoorbeeld op statistisch significante secundaire uitkomstmaten of zelfs onderdelen daarvan. Of op subgroepen met ­statistisch significante resultaten die niet vooraf waren opgenomen in het onderzoeksprotocol, de zogenoemde ­niet-­protocollaire subgroepanalyses. Die ­subgroepen worden vaak gevonden door veel analyses te doen, wat bekendstaat als kanskapitalisatie of cherrypicking.

Bekende spinners zijn het in de tekst vermelden van alleen de uitkomsten van een perprotocolanalyse die positieve resultaten laat zien, en niet die van een intention-to-treat-analyse, die ongunstiger uitvallen.

Een scala van andere strategieën leidt af van de cijfers van primaire uitkomst­maten. Bijvoorbeeld beschouwingen met gebruikmaking van relatieve in plaats van absolute risicoreducties. Ook wordt dikwijls geschermd met causale verbanden die geen enkele bewijskracht hebben, zoals een associatief verband tussen ­medicijngebruik en optreden van minder ziektegevallen.

Spin wordt gekenmerkt door het weg­laten in de tekst van numbers needed to treat (NNT) – belangrijke parameters voor het beoordelen van het nuttig effect van ­medicijnen –, en door het negeren van bijwerkingen – een belangrijke factor bij de plaatsbepaling van medicijnen (zie het kader Ideal-onderzoek).

Tot slot de misschien wel meestvoorkomende vorm van spin: het zonder enige onderbouwing gunstig positioneren van medicijnen met wollige formuleringen.

Die misleidende formuleringen worden tot in lengte van jaren wereldwijd gecommuniceerd door farmamarketing met hulp van hun immense netwerken. Als podia daarvoor worden onder meer nascholing, congressen, tijdschriften, ­artikelen en onderzoeksfinanciering gebruikt.

Ogenschijnlijk gunstige uitkomsten gaan zo een eigen leven leiden

Ogenschijnlijk gunstige uitkomsten gaan aldus een eigen leven leiden. Frequent treft men ze aan in medische bladen zonder toetsing aan de cijfers. Geleidelijk worden ze deel van het denken en handelen van artsen en opgenomen in richt­lijnen.

Daarvan twee voorbeelden: medica­menteuze cholesterolverlaging en SGLT-2-remmers.

Medicamenteuze cholesterolverlaging

In artikelen die verlaging van LDL-cholesterol bepleiten, komt men voortdurend dezelfde formuleringen tegen, afkomstig uit onderzoekspublicaties en meta-analysen, zoals: ‘Elke mmol/l reductie van het LDL-cholesterol gaat gepaard met een afname van het risico op hart- en vaatziekten.’ Die formulering treft men ook aan in de toelichting op de multidisciplinaire CVRM-richtlijn. Vergeefs zoekt men naar cijfers waarop die uitspraken berusten. Hoe luiden die cijfers? In tabel 1 zijn cijfers van toonaangevende RCT’s in het kader van secundaire preventie samengebracht. Ze zijn ontleend aan een overzicht uit het blad Expert Review. Die cijfers laten zien dat de gemiddelde ARR (zie kader ARR en RRR op blz. 19) van cardiovasculaire mortaliteit 0,2 procent per jaar bedraagt. Dat is verwaarloosbaar klein met inherent daaraan een torenhoge NNT van 500. De ARR’s van uitkomstmaten van morbiditeit verschillen niet noemenswaardig van die van mortaliteit en zijn dus evenmin ­relevant. Overigens beperken we ons hier tot de zestien secundaire preventie-onderzoeken die zowel cardiovasculaire als totale mortaliteit berekenden. De ARR’s van primaire preventieonderzoeken zijn nog beduidend lager.

Deze meta-analyse van grote en belangrijke RCT’s laat dus zien dat medicamenteuze verlaging van LDL-cholesterol bij secundaire preventie geen statistisch significante resultaten oplevert. Taalkundig gemanipuleerde weergaven van onderzoekresultaten suggereren het tegendeel. Onze persoonlijke ervaring is dat veel ­artsen om die reden vol ongeloof reageren op de cijfers in tabel 1 (zie blz. 19). De cijfers zijn echter voor iedereen vrij toegankelijk en ook voor onderzoeksmethodologisch niet geschoolde artsen gemakkelijk te bevatten.

De selectie van deze onderzoeken is ontleend aan Silverman e.a.³ Zij publiceerden in 2016 in JAMA een veel geciteerde meta-analyse van onderzoeken naar het verband tussen verlaging van LDL-cholesterol en cardiovasculaire risicoreductie. Het artikel in Expert Review gebruikt dezelfde onderzoeksuitkomsten als de meta-analyse van Silverman e.a, maar drukt ze uit in ARR’s omdat die een ­maatstaf zijn voor de effectiviteit van medicijnen. Dat resulteert in de genoemde verwaarloosbare ARR van 0,2 procent gemiddeld per jaar. Desalniettemin ­brengen Silverman e.a. de conclusie van de meta-analyse als volgt onder woorden: ‘LDL-verlaging is geassocieerd met relatieve reductie van major vascular events naar gelang de daling van het LDL. Lagere LDL-concentraties waren geassocieerd met minder optreden van major coronary events.’ De formulering verdoezelt dat de primaire uitkomstmaten niet statistisch significant verschillen en mondt niet uit in een bewijs, terwijl een verband wordt gesuggereerd. Veel publicaties citeren Silverman e.a, onlangs nog als antwoord op de kritiek die volgde op de afkondiging van een LDL-streefwaarde van 1,8 mmol/l voor mensen jonger dan 70  jaar met hart- of vaatziekten: ‘In meta-regressieanalyses van trials met cholesterol­verlagende middelen wordt berekend dat de kans op majeure cardiovasculaire events ongeveer 23% afneemt per mmol/l LDL-cholesteroldaling. Dit betekent dat de verlaging van de streef­waarde van 2,5 mmol/l naar 1,8 mmol/l leidt tot zo’n 15% extra relatieve risicoreductie.’⁴

Werkzaamheid SGLT-2-remmers

Dezelfde discrepantie tussen taal en ­cijfers treft men veelvuldig aan bij ­onderzoek van nieuwe antidiabetica, zoals DPP-4-remmers, SGLT-2-remmers en GLP-1-agonisten. Wij beperken ons tot SGLT-2-remmers, die mede vanwege hun bijwerkingen geen groot succes zijn als antidiabeticum. Toch worden ze momenteel krachtig gepromoot vanwege de vermeende cardiovasculaire en renale bescherming die ze zouden bieden.

Ook daarbij worden fragmenten uit onderzoekspublicaties en meta-analysen geciteerd die niet sporen met de cijfer­matige uitkomsten. Twee voorbeelden. Een publicatie uit 2019 begint als volgt: ‘Uit een systematisch literatuuronderzoek blijkt dat SGLT-2-remmers bij patiënten met diabetes de kans op ziekenhuisopnames voor hartfalen en afname van nierfunctie vermindert. Bij patiënten die een cardiovasculair event hebben doorgemaakt, verlagen de middelen bovendien de kans op ­myocardinfarcten, beroertes en cardiovasculaire sterfte.’5 Ten tweede een citaat uit een ­artikel van 2020: ‘SGLT-2-remmers hebben vooral bij patiënten met een cardiovasculaire aandoening in de voorgeschiedenis gunstige ­cardiovasculaire effecten in vergelijking met een placebo. De SGLT-2-remmer canagliflozine heeft gunstige renale effecten bij patiënten met DM2 en albuminurie.’⁶

Deze formuleringen toetsen we onderstaand aan de cijfermatige trialuitkomsten.

Er zijn vier grote RCT’s met drie SGLT-2-remmers verricht: Canvas-programma, Credence, Declare-Timi 58 en Empa-Reg Outcome.

Lo e.a. hebben deze trials onlangs in een meta-analyse gepoold.⁷ In tabel 2 staan de ARR’s van de vier RCT’s weergegeven voor vier verschillende uitkomstmaten: cardiovasculaire ziekte, renale ziekte, ­cardiovasculaire mortaliteit en mortaliteit ongeacht de oorzaak.

Alleen voor renale ziekte laten de RCT’s een statistisch significant gepoolde ARR zien. De ARR is echter slechts 0,3 procent per jaar, de NNT is met 333 torenhoog en er is geen significante reductie van het aantal doden. Anders dan de zojuist aangehaalde citaten doen voorkomen, levert deze meta-analyse van de beschikbare RCT’s geen enkel bewijs dat SGLT-2-­remmers een cardio- of renoprotectief effect hebben.

In de wereld van farmamarketing geldt: ‘A study not marketed, is a study not done.’ Verifieer daarom formuleringen uit interventieonderzoeken en hun meta-analysen op cijfermatige juistheid alvorens ze te citeren. Laat de cijfers spreken, niet de taal.

Auteurs

Hans van der Linde, huisarts en oud-lid van het voormalig College voor Accreditatie Huisartsen

dr. Dick Bijl, oud-huisarts-epidemioloog, president International Society ofDrug Bulletins

Contact

hvanderlinde@zeelandnet.nl
cc: redactie@medischcontact.nl

Voetnoten

1. Khan MS, Lateef N, Siddiqi TJ, Rehman KA, Alnaimat S, Kham SU, et al. Level and Prevalence of Spin in Published Cardiovascular Randomized Clinical Trial Reports With Statistically Nonsignificant Primary Outcomes. JAMA Netw Open. 2019;2:e192622.
   https://jamanetwork.com/journals/jamanetworkopen/fullarticle/2732330
2. Ravnskov U, de Lorgeril M, Diamond DM, Hama R, Hamazaki T. Hammarskjold, B, et al. LDL-C does not cause cardiovascular disease: a comprehensive review of the current literature. Expert Rev Clin Pharmacol. 2018;11:959-70.
   https://www.tandfonline.com/doi/pdf/10.1080/17512433.2018.1519391
3. Silverman MG, Ference BA, Im K, Wiviott SD, Giugliano RP, Grundy SM, et al. Association between lowering LDL-C and cardiovascular risk reduction among different therapeutic interventions. JAMA 2016;316:1289-97.
   https://www.ahajournals.org/doi/10.1161/JAHA.119.012428
4. Wiersma T. Behalen streefwaarden bij CVRM is geen verplichting. Huisarts We.t 2020;63:54.
   https://www.henw.org/artikelen/behalen-streefwaarden-bij-cvrm-geen-verplichting
5. Vugt V van. SGLT2-remmers bij diabetes en hart- en vaatziekten. Huisarts Wet. 2019;62:7.
   https://www.henw.org/artikelen/sglt2-remmers-bij-diabetes-en-hart-en-vaatziekten
6. Dankers M., Hart B, van Dalfsen M. Update medicamenteuze behandeling diabetes mellitus type 2. Huisarts Wet. 2020;63:18-20.
   https://www.henw.org/artikelen/update-medicamenteuze-behandeling-diabetes-mellitus-type-2
7. Lo KB, Gul F, Ram P, Kluger AY, Tecson KM, McCullough PA, et al. The effects of SGLT2 inhibitors on cardiovascular and renal outcomes in diabetic patients. Cardiorenal Med. 2020;10:1-10.
   https://www.karger.com/Article/FullText/503919