Heeft u vijf minuten om een paar vragen te beantwoorden?

Tegenwoordig kunt u zich suf beoordelen: producttevredenheidsenquêtes, onderwijsevaluaties, werkbelevingsonderzoeken, functioneringsfeedback… Iedereen snakt naar uw mening, zij het om uiteenlopende redenen. Vaak is een enquête sluikreclame: het bedrijf wil bewijzen dat uw mening telt, hopend op uw toekomstige klandizie. Soms zijn de vragen bedoeld om iets van u gedaan te krijgen: ‘Vindt u dat er een eind moet komen aan dierenmishandeling?’ Gevolgd door: ‘Wilt u bijdragen aan het beëindigen van dierenmishandeling door 30 euro te storten aan de Stichting Alle Dieren Superblij?’ Of men zoekt handvatten om medewerkers te controleren; beoordeel een Uber-chauffeur met één ster en zijn manager kan hem op straat zetten.

Natuurlijk bestaan er ook enquêtes met het nobele doel kennis te verzamelen, maar dat is een stuk complexer. Om betrouwbare resultaten te verkrijgen moeten allereerst systematische fouten (bias) worden tegengegaan. De vragen mogen niet sturend zijn en je moet een representatief deel van de populatie zo ver krijgen ze te beantwoorden. Minstens zo problematisch is het gebrek aan precisie van de antwoorden. Veel peilingen betreffen iets wat nog niet is gebeurd, of iets waarover u nog nooit heeft hoeven nadenken. ‘Op een schaal van 1 tot 10: hoe groot is de kans dat u www.plastictroepuitchinakopen.com zal aanbevelen aan vrienden en familie?’ Antwoordt u immer consciëntieus op dit soort vragen, en houdt u dat vol tot vraag 30, 40, 50? Of vult u maar wat in, omdat het anders zo zielig is voor de enquêtemakers?

Te bewerkelijk voor de medische wetenschap zou je denken, maar typ ‘survey’ in in PubMed en je krijgt bijna twee miljoen hits. (Ter vergelijking: ‘clinical trial’ levert er zo’n anderhalf miljoen op.) Wat moeten we daarmee? Wat betekent het als 70 procent van de tandartsen een bepaalde tandpasta adviseert? Is het een aanbeveling als Purdue Pharma claimt dat ‘negen op de tien patiënten die OxyContin probeert, ons product permanent wil blijven gebruiken’?

Typ ‘survey’ in in PubMed en je krijgt bijna twee miljoen hits

Inmiddels worden we weer om de oren geslagen met heel andere peilingen: die voor de Tweede Kamerverkiezingen. Aangezien hier uitkomsten van zijn, kun je de betrouwbaarheid uitrekenen. Een peiling buiten het verkiezingsseizoen blijkt slechts in de verte op de eerstvolgende verkiezingsuitslag te lijken. Op de dagen dat er nieuwe verkiezingen werden uitgeschreven, voorspelden peilingen de afgelopen twintig jaar de uiteindelijke uitslag met een standaarddeviatie van 34 procent. ‘Zeventien zetels voor de PVV’ betekende: ‘Indien het kabinet vandaag valt, zal de PVV met 68,2 procent waarschijnlijkheid tussen de 11 en 23 zetels halen.’

Naarmate een verkiezingsdatum naderde en mensen echt gingen nadenken over hun keuze, werd de voorspellende waarde wel beter. De dag voor de verkiezingen van 17 maart 2021 was de standaarddeviatie van de peiling voor de uitslag 18,6 procent bij de vier grootste partijen. Alsof het lab meldt: ‘Het hemoglobine van uw patiënt is met 68,2 procent waarschijnlijkheid tussen de 6,7 en 9,7 mmol/L.’ Ik ken geen enquêtes waar meer ervaring mee is dan met verkiezingspeilingen, of waar meer geld voor beschikbaar is, dus nauwkeuriger dan dit zal het nooit worden.