Vragenlijsten zijn bijna nooit valide

Vragenlijsten worden vaak gebruikt voor het meten van emoties en gevoelens, bijvoorbeeld om het verloop of de uitkomst van een behandeling te meten. Maar ze hebben fundamentele beperkingen, aldus Jules Ellis in de oratie die hij onlangs uitsprak als hoogleraar Theorie en Methoden in de Psychologie aan de Open Universiteit.

Zijn stelling: ‘Bij het gebruik van self-reportvragenlijsten gebruiken we het brein van de persoon eigenlijk als meetinstrument voor zichzelf. Maar dat brein begrijpen we niet, en dus begrijpen we het meetinstrument niet.’ Daarom kunnen zulke vragenlijsten nooit leiden tot een valide meetinstrument, vindt de hoogleraar.

PANAS

Als voorbeeld analyseert hij de PANAS-vragenlijst die wordt geacht positieve en negatieve emoties en stemmingen te meten. In de lijst gaan 10 vragen over positieve gevoelens en 10 vragen over negatieve gevoelens. De antwoorden worden in cijfers omgezet en bij elkaar opgeteld, zodat er uiteindelijk per persoon twee getallen zijn: een score voor zogenaamd Positief Affect (PA) en een score voor Negatief Affect (NA).

Wat daarbij over het hoofd wordt gezien is dat emoties zijn weer te geven in een denkbeeldige, tweedimensionale ruimte. Op de horizontale as staat de zogenaamde valentie, zeg maar: ‘plezierig’ versus ‘onplezierig’. Op de verticale as staat de zogenaamde arousal of activatie.

Voorbeeld: ‘kwaad’ is een emotie met negatieve valentie en hoge activatie; ‘tevreden’ is een emotie met positieve valentie en matige activatie. Wie gewapend met die kennis kijkt, moet vaststellen dat een hoge PA-score staat voor positief gevoel met hoge activatie, een hoge NA-score voor negatief gevoel met hoge activatie.

De PANAS-vragenlijst meet dus helemaal geen ‘plezierigheid’ of ‘onplezierigheid’, maar ‘positieve activatie’ en ‘negatieve activatie’, meent Ellis. ‘Mijn conclusie is dat de termen ‘positief affect’ en ‘negatief affect’ te onduidelijk zijn. Ze kunnen te veel verschillende dingen betekenen.’

Wearables

Hij vindt dan ook dat vragenlijsten veel specifieker moeten meten, en dat je daar andersoortige meetinstrumenten voor nodig hebt. Hij oppert gelaatsexpressies, veranderingen in de stem, ademhaling, hartslag en andere fysiologische en neurobiologische maten, die bovendien steeds makkelijker te meten zijn met wearables. In psychotherapeutische behandelingen kan dan sneller worden geïntervenieerd omdat sneller duidelijk is wat er gebeurt.

Ellis: ‘Een tweede voordeel is dat we daarmee dan emoties, stemming en welbevinden zouden kunnen meten bij groepen voor wie dat nu heel moeilijk is omdat ze geen of nauwelijks taal beheersen, zoals kleine kinderen en dementerende personen.’