Onze Taal. Jaargang 73

[p. 173]

Slopen of afbreken?
Het formuleren van enquêtevragen
Bregje Holleman - Utrechts Instituut voor Linguïstiek

Als er gereageerd moet worden op de stelling ‘Ik vind het heerlijk om met vrienden/vriendinnen de stad in te gaan’, blijken mannen te denken aan een avondje stappen, en vrouwen aan winkelen. Wat kan er zoal misgaan bij het maken van vragenlijsten, en hoe is dat te voorkomen?

Een tijd geleden kreeg ik een vragenlijst onder ogen van een meisje van zeven. Zij onderzocht voor school wat het eigenlijk betekent als het oorlog is. Ze nam een interview af bij mensen die de Tweede Wereldoorlog hadden meegemaakt, en stelde vragen als: ‘Wanneer was de oorlog, 's avonds of 's middags?’, ‘Waar bleef u als het oorlog was?’ en ‘Doet het pijn als het oorlog is?’ Het zijn vragen naar gebeurtenissen uit het verleden en naar gevoelens, zaken die niet direct observeerbaar zijn, en dus heel geschikt voor een vragenlijst. Maar zijn het ook goede vragen? En wat zijn eigenlijk de beperkingen van een vragenlijst?

In een normale conversatie passen mensen hun vragen aan aan de ontvanger, maar in vragenlijsten zijn de vragen voor iedereen precies hetzelfde. En ook de beantwoorder heeft minder vrijheid: die mag zijn of haar mening alleen geven in voorgeschreven termen, bijvoorbeeld ‘helemaal mee eens’ tot ‘helemaal mee oneens’. Er is geen ruimte voor toelichting of nuances. Die standaardisatie en voorcodering zijn nodig om de antwoorden van respondenten goed te kunnen vergelijken, maar hebben als nadeel dat deelnemers in vragenlijsten meestal geen vragen kunnen stellen bij een onduidelijkheid, of een toelichting kunnen geven op hun antwoord. Bij het opstellen van vragenlijsten moet hier heel goed rekening mee worden gehouden.

Dubbele vragen

Het is allereerst belangrijk om vooronderstellingen te vermijden. In normale conversatie kunt u vragen: ‘Wilt u koffie of thee?’, en kan de ander zeggen ‘Geef mij maar even helemaal niets, want ik heb net drie koffie op.’ Hiermee kan hij dus protesteren tegen de vooronderstelling dat er hoe dan ook iets genuttigd moet worden. In een vragenlijst kan de beantwoorder niet reageren op dergelijke aannames, en wordt hij verplicht te kiezen tussen a en b, tussen koffie en thee. Dit is ook precies wat er fout ging in de enquêtevraag van het schoolmeisje over het tijdstip van de oorlog: er is geen ruimte om aan te geven of uit te leggen dat de oorlog zowel 's middags als 's avonds was.

Zo is ook een vraag als ‘Wat hebt u gestemd tijdens de afgelopen Tweede-Kamerverkiezingen?’ ongeschikt. Daar moet op z'n minst een soort selectievraag aan voorafgaan, bijvoorbeeld: ‘Hebt u gestemd tijdens de afgelopen Tweede-Kamerverkiezingen? ja/nee/weet niet meer. Indien ja, ga door naar vraag 20.’

Vooronderstellingen sluipen overigens vaak op subtiele wijze de vraag in. Uit een analyse van vragenlijsten van professionele onderzoeksbureaus bleek dat ze vaak ontstaan door gedachteketens in één vraag aan elkaar te koppelen. Bijvoorbeeld: ‘Is de PvdA helemaal van dat drammerige van vroeger af?’ De vooronderstelling dat de PvdA vroeger drammerig was, wordt opgedrongen aan de beantwoorder, want hij mag alleen reageren op de vraag of het drammerige nu weg is.

Illustratie: Hein de Kort

Door een vooronderstelling in de vraag ontstaat in feite een verborgen dubbele vraagstelling. Iets soortgelijks gebeurt in de vraag ‘Zal premier Balkenende in

[p. 174]

staat zijn het regeringsbeleid inhoud en duidelijkheid te geven?’ Wie het eens is met de gedachte dat de premier inhoud geeft, hoeft niet te vinden dat hij ook duidelijkheid biedt.

Complexe vragen

De interviewer mag niet afwijken van de standaard-vragenlijst en dus ook geen toelichtingen of uitleg geven. Moeilijke termen of constructies moeten daarom zo veel mogelijk vermeden worden, maar daar wordt nog weleens de hand mee gelicht. Een extreem voorbeeld is de vraagtekst in een correctief referendum in Amsterdam uit 1995:

Bent u het eens/oneens met het besluit vast te houden aan zijn besluit van 21 april 1993 nr 227 (Gemeenteblad afd. 1, blz 1057), inzake het handhaven van de reservering voor een tramtracé recht door het weilandje de Vrije Geer in de richting van de Middelveldsche Akerpolder? Eens met dit raadsbesluit/oneens met dit raadsbesluit.

Zo'n vraag schreeuwt om toelichting - en gelukkig wordt die dan ook vaak gegeven in de voorlichting rondom het referendum. Maar ook vragen of termen waarvan iedereen wellicht zelf denkt dat ze helder zijn, blijken voor verschillende mensen vaak iets verschillends te betekenen. Neem nu de stelling ‘Ik vind het heerlijk om met vrienden/vriendinnen de stad in te gaan.’ Sommige beantwoorders (vooral jonge mannen) bleken bij de stad in gaan aan ‘een avondje stappen’ te denken, andere respondenten (vooral vrouwen) vatten het op als ‘een dagje winkelen’. Die betekenisverschillen zijn alleen te achterhalen door een stelling als deze vooraf te testen op enkele leden van de doelgroep. Dat gebeurt bijvoorbeeld door proefpersonen hardop te laten verwoorden waaraan ze denken bij het antwoorden.

Je zou ook kunnen denken dat je alle problemen kunt ontwijken door elke problematische term toe te lichten. Helaas is dat geen oplossing, want toelichtingen in schriftelijke vragenlijsten en formulieren worden slecht gelezen. De respondent leest een toelichting pas als hij zelf vindt dat hij een probleem heeft. En dat idee heeft hij nu juist niet bij het lezen en begrijpen van een frase als de stad in gaan. Vaak is de enige oplossing om in vooronderzoek de betekenis van de centrale termen uit de vragenlijst zo goed mogelijk vast te stellen en hiermee rekening te houden bij het interpreteren van de antwoorden (zie ook het kader hiernaast).

Zeven tips voor het maken van vragenlijsten

1. Vermijd dubbele vraagstellingen. Splits dubbele vragen op. Dus niet ‘Leest u kranten en huis-aan-huisbladen?’, maar ‘Leest u kranten?’ en ‘Leest u huis-aan-huisbladen?’
2. Vermijd (dubbele) ontkenningen. Vragen met een ontkenning zijn lastiger met ja of nee te beantwoorden. Laat mensen dus niet reageren op een stelling als ‘Ik ben tegen een rookverbod op het werk’, maar liever op ‘Roken op het werk moet toegelaten worden.’ (Zie ook het voorbeeld onderaan.)
3. Vermijd vage begrippen. Dus niet ‘Ik vind het heerlijk om de stad in te gaan’, maar liever ‘Ik vind het heerlijk om te winkelen’ of ‘Ik vind het heerlijk om 's avonds uit te gaan.’ Merk echter op dat ook uitgaan vaag is: dubbelzinnige begrippen zijn eigenlijk onontkoombaar. Zie de volgende tip.
4. Controleer vooraf de betekenis van centrale begrippen. Een term als uitgaan betekent voor de één een avondje naar het toneel en voor een ander drinken en dansen. Licht een dergelijke term toe, splits de vraag verder op in deelvragen, óf stel vooraf vast wat bij de doelgroep van de vragenlijst de meest centrale betekenis van uitgaan is en interpreteer de antwoorden in dat licht. Zie ook tip 6 en 7.
5. Formuleer zo neutraal mogelijk. Dus niet ‘Vindt u ook niet dat het asielbeleid van dit kabinet erg hard is?’, maar liever ‘Hoe staat u tegenover het asielbeleid van dit kabinet?’ En gebruik niet junks, maar liever het neutralere heroïneverslaafden in ‘Heroïneverslaafden moeten verplicht afkicken.’
6. Accepteer dat vragen altijd sturen. De vraag ‘Moet het kabinet het huidige asielbeleid handhaven?’ en de vraag ‘Moet het kabinet het huidige asielbeleid afschaffen?’ zouden logischerwijs tot tegengestelde antwoorden moeten leiden. In de praktijk blijkt het gekozen perspectief de antwoorden echter flink te beïnvloeden. Interpreteer de antwoorden op vragenlijstvragen daarom altijd in termen van de vraag die werd gesteld: de mensen die vóór handhaven zijn, staan nog niet per se als één man achter het beleid. Als kwesties om een weidsere interpretatie vragen, stel er dan meer dan één vraag over.
7. Vertrouw niet op eigen intuïtie. Controleer vooraf of de vragenlijst werkt zoals u dat bedoelde door een proefafname bij een aantal leden van de doelgroep. Vraag hun bijvoorbeeld de vragen te beantwoorden terwijl ze hardop verwoorden wat ze denken, of interview ze na afloop uitgebreid over hun interpretaties en de eventuele onduidelijkheden en invulproblemen.

Hebt u
Een droom die u waar wilt maken	Ja □	Nee □
Weinig of geen beleggingskennis	Ja □	Nee □
Geen tijd om te beleggen	Ja □	Nee □
Geen groot bedrag om in te leggen	Ja □	Nee □

Als in een vraag een ontkenning staat als geen, is het moeilijker met ja of nee te antwoorden. Uit een advertentie van Robeco.

Woordkeus

De woordkeus kan niet alleen tot onbegrip leiden, maar kan ook op een subtielere manier de antwoorden beïnvloeden. Zo was er in Leiden discussie over het afbreken van de serre en de eetzaal van het Koninklijk Militair Invalidenhuis. Hierover werd in 1995 een raadplegend referendum gehouden. In de gemeenteraad woedde een discussie of de referendumvraag moest worden geformuleerd met het werkwoord slopen of met afbreken. Slopen klonk de PvdA-fractie in de raad zo negatief en vandalistisch in de oren dat het misschien tot veel meer tegenstand zou leiden dan het woord afbreken. Ook wilden sommigen in de raad dat aan het pand zou worden gerefereerd met het woord monument, terwijl anderen gebouw prima vonden. Verder klonk de wens dat in de vraagstelling werd opgenomen wat de gevolgen zouden zijn van een ‘ja’ (bijvoorbeeld het sneuvelen van tien monumentale bomen) of een ‘nee’ (onder andere een schadepost van 2,5 miljoen gulden voor de gemeente en de bouwer). De uiteindelijke vraag in Leiden was geformuleerd met slopen, maar zonder monument en monumentale bomen:

De gemeenteraad zal binnenkort beslissen over het bestemmingsplan ‘Hoge Rijndijk 25 e.o.’. Het doel van dit plan is de bouw mogelijk te maken van 28 woningen en een ondergrondse parkeergarage op een terrein aan de Burggravenlaan/Kernstraat/Cobetstraat te Leiden. Om te kunnen bouwen moeten de eetzaal en de serre van het Koninklijk Militair

[p. 175]

Invalidenhuis worden gesloopt. Bent u voor of tegen dit bestemmingsplan?

Een meerderheid van 58% stemde tegen de sloop.

Woordkeus maakt inderdaad veel uit voor de uitkomsten van een referendum of een vragenlijst. Dat blijkt uit allerlei onderzoek naar het effect van vraagformulering. In dat soort onderzoeken wordt een groep respondenten op basis van toeval in twee groepen verdeeld. De ene helft krijgt bijvoorbeeld een vragenlijst met de slopen-vraag, de andere helft met de afbreken-variant. Logischerwijs zouden de meningen in beide groepen zo'n beetje gelijk verdeeld moeten zijn, dus als de antwoorden in beide groepen verschillen, is dat aan de vraagformulering toe te schrijven. Uit dit soort experimenten blijkt steeds dat kleine verschillen in de vraagformulering leiden tot grote verschillen in de antwoorden.

Onderzoek naar vragenlijsten kan duidelijk maken hoe de communicatie in vragenlijsten precies werkt. Dat is theoretisch interessant voor taalkundigen en sociale wetenschappers. Tegelijkertijd is dat nuttig voor het onderzoek met vragenlijsten, omdat we steeds beter weten wat we meten.

Een aantal voorbeelden in dit artikel is afkomstig uit Harry van den Berg, Marscha Mehciz, Hanneke Houtkoop-Steenstra en Bregje Holleman, Opinie-maken of opinie-meten. De rol van stellingvragen in markt- en opinieonderzoek, Stichting voor Culturele Studies Amsterdam, 2002.