Tijdschrift voor Taalbeheersing. Jaargang 15
(1993)– [tijdschrift] Tijdschrift voor Taalbeheersing–
Auteursrechtelijk beschermd
[pagina 109]
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Voetangels en klemmen bij experimenteel onderzoek naar sturende vragen
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
1 InleidingIn de literatuur over interviewtechnieken wordt traditioneel veel aandacht besteed aan het fenomeen sturende vraag. Een vraag is sturend als de interviewer met de vraag duidelijk maakt welk antwoord hij of zij verwacht te zullen krijgen. Een vraag kan daarbij op verschillende manieren sturend zijn. Bijvoorbeeld door de wijze van formuleren, zoals ‘denkt u ook niet dat ...?’. Of doordat een mogelijk antwoord op de vraag sociaal (on)wenselijk is, bijvoorbeeld ‘bent u voor of tegen discriminatie?’.Ga naar eind1 Zoals Emans (1986) stelt kan een vraag ook sturend zijn als de interviewer de vraag probeert te verduidelijken door er voorbeeldantwoorden aan toe te voegen. Hij geeft als voorbeeld ‘Wat vindt u zoal leuk in uw werk..., bijvoorbeeld de omgang met klanten, uw zelfstandigheid als verkoper enzovoorts?’. De geïnterviewde ‘vat de voorbeelden mogelijk op als waarheden. Hij zal niet meer durven ontkennen dat de omgang met klanten leuk is, of dat hij niet zelfstandig is.’, aldus Emans op pagina 57. Verder zegt hij op dezelfde pagina: ‘De gegeven antwoorden creëren een referentiekader, waarbinnen de respondent verder naar nog meer antwoorden gaat zoeken (...) Voorbeelden werken dus blikvemauwend, en kunnen dan ook niet ter verduidelijking gebruikt worden’. Op deze visie kom ik later uitvoerig terug. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
2 Conversatie-analytisch onderzoek; Houtkoop 1991Er is weinig reden dit soort adviezen in de wind te slaan als men mensen wil ondervragen over hun feitelijke gedrag en hun attitudes. Desalniettemin zijn er kanttekeningen bij te | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
[pagina 110]
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
plaatsen, zoals ik dat gedaan heb in het verslag van mijn conversatie-analytisch onderzoek Hoe een gesloten vraag toch open kan zijn’ (Houtkoop-Steenstra 1991a). Ik heb een aantal gevallen laten zien van mondeling gestelde vragen die worden voorzien van voorbeeldantwoorden, zonder dat dit ertoe leidt dat de geïnterviewden het voorbeeldantwoord overnemen. Interviewers blijken conversationele middelen te hebben om de gesprekspartner duidelijk te maken dat er meer antwoorden denkbaar zijn dan die welke worden aangeboden. Grof samengevat komt het erop neer dat aan een voorbeeldantwoord ‘of eh’ wordt toegevoegd, waarna de geïnterviewde de gelegenheid krijgt te antwoorden, bijvoorbeeld:
Of er zijn twee voorbeeldantwoorden, die niet met een voegwoord worden verbonden, en waarbij de interviewer eindigt met een intonatie die aanduidt dat er nog meer zou kunnen volgen:
Soms geeft de interviewer twee voorbeeldantwoorden waarvan er één duidelijk niet plausibel is als het ‘ware’ antwoord.
De voorbeelden kwamen uit diverse soorten interactie-situaties: medische consulten, journalistieke interviews, rechtbankverhoren, en een oefeninterview van twee studenten. Verder waren de voorbeelden bewust geselecteerd. Het ging in dit onderzoek dus niet om de vraag in welke mate geïnterviewden zich al dan niet lieten sturen door de interviewer, maar om de kenmerken van vraagbeurten die voorzien waren van voorbeeldantwoorden, die niet door de geïnterviewden werden overgenomen. Anders geformuleerd, welke middelen hebben interviewers om ervoor te zorgen dat hun voorbeeldantwoorden hun potentieel sturend effect verliezen. Op grond van de analyse concludeerde ik: ‘In deze fragmenten heeft het geven van mogelijke antwoorden als belangrijke interactionele functie het nader specificeren van een oorspronkelijk weinig eenduidige vraag. De eraan toegevoegde antwoorden gelden niet in de eerste plaats als mogelijke antwoorden, maar als voorbeelden van het type antwoord dat als passend antwoord op de vraag zou kunnen gelden. De interviewer geeft de ander een zoekinstructie (...): zoek een antwoord dat niet alleen correct is, maar dat ook past in de categorieën waarvan [de twee voorbeeldantwoorden] voorbeelden zijn’ (p.192). In die zin kan worden gesteld dat de interviewer een referentiekader voor het antwoord creëert, iets wat in de prescriptieve literatuur gezien wordt als potentieel sturend. Ik kom later uitvoerig op dit punt terug. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
[pagina 111]
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
3 Experimenteel onderzoek; Wijffels e.a. 1992Naar aanleiding van dit onderzoek hebben Wijffels, van den Bergh en van Dillen een experimenteel onderzoek gedaan naar het sturende effect van vragen met voorbeeldantwoorden. Onder sturing verstaan zij het bij de respondent creëren van een referentie-kader en hem of haar op een idee brengen die niet met de werkelijke situatie overeenkomt. In het onderzoek zijn vijftig at random gekozen proefpersonen telefonisch vragen over criminaliteit gesteld. Het onderzoeksmateriaal bestaat uit zes vragen. Elke vraag heeft drie varianten. In de ‘open variant’ worden geen voorbeeldantwoorden gegeven, en is er dus sprake van een zogenaamde open vraag. In de ‘incomplete variant’ zijn voorbeeld- antwoorden gegeven in de vorm van: ‘Bijvoorbeeld A, B, of eh ...’. In de ‘complete variant’ gaat het om voorbeeldantwoorden in de vorm ‘A of B, of iets anders’.
De resultaten van dit onderzoek laten zien dat de varianten met voorbeeldantwoorden een sturend effect hebben op de verzameling antwoorden. Daarmee bedoelen de auteurs dat een bepaald antwoord vaker wordt gegeven als het als voorbeeldantwoord door de interviewer is genoemd, dan in response op de open variant, de vraag zonder voorbeeldantwoorden. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
4 Problemen bij experimenteel onderzoekIn dit artikel zal ik nagaan wat het onderzoek van Wijffels e.a. nu zegt over het sturend effect van het geven van voorbeeldantwoorden bij open vragen. Daarvoor zal ik ook aandacht besteden aan de vraag wat we onder sturing kunnen verstaan. Maar ik zal vooral ingaan op de opzet en uitvoering van hun onderzoek. Daarbij gaat het mij dan niet primair om hun onderzoek als zodanig, maar om de problemen waarin dit type onderzoek gemakkelijk terecht kan komen. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
4.1 Wat is een sturende vraagHet is minder eenvoudig dan het lijkt om aan te geven wat onder een sturende vraag moet worden verstaan. In de prescriptieve literatuur wordt een vraag vaak sturend genoemd als het gaat om een vraag die een potentieel sturend effect heeft op het antwoord, dat wil zeggen, als een bepaald antwoord er gemakkelijker op volgt dan een ander.Ga naar eind2 En hoewel dat niet altijd expliciet gezegd wordt, lijkt het er dan om te gaan dat er een antwoord op volgt dat incorrect is omdat dat niet conform de werkelijkheid van de antwoorder is; men zegt dat men het liefste spruitjes eet, terwijl men boontjes eigenlijk lekkerder vindt. Het is niet toevallig dat de kwestie van de sturende vragen vooral zo uitvoerig aan de orde wordt gesteld in dat deel van de literatuur over gestandaardiseerd sociaal-wetenschappelijk onderzoek dat betrekking heeft op validiteitskwesties.
Daarnaast is er ook de volgende opvatting van het concept sturende vraag, het creëren van een referentiekader, ofwel blikvernauwing. Dit kan optreden doordat de vragensteller door middel van voorbeeldantwoorden duidelijk maakt welk type antwoord er met de vraag beoogd wordt. Wijffels e.a. lichten dit toe met een helder voorbeeld. Het referentiekader van de vraag ‘Waar werkt u? In de gezondheidszorg, in de horeca, of ergens anders’ wordt gevormd door de verzameling sectoren. Bij de voorbeeldantwoorden ‘In Utrecht, Amsterdam, of ergens anders’ is het referentiekader echter de verzameling plaatsen. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
[pagina 112]
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Bij dit type sturing gaat het dus niet om de sturing van de respondent met betrekking tot wat het correcte antwoord op de vraag is, maar om wat een relevant antwoord is. Een antwoord is relevant als de gegeven informatie overeenkomt met de restricties die worden aangegeven in het analyseperspectief van de vraag waarop gereageerd wordt (Mazeland 1992). Zo zijn na de ongespecificeerde vraag ‘waar werkt u’ de reacties ‘In Utrecht’ en ‘aan de universiteit’ beide relevante antwoorden. Het laatste antwoord is echter niet relevant na ‘in welke plaats werkt u’. Het creëren van een referentiekader is dan ook niet meer dan het specificeren van het perspectief van waaruit de vraag door de respondent geanalyseerd moet worden. De wenselijkheid of onwenselijkheid van de sturing van het analyseperspectief is afhankelijk van het doel van het onderzoek. Als een onderzoek tot doel heeft na te gaan wat voor type antwoord de respondenten geven op de ambigue vraag ‘Waar werkt u?’, dan kunnen voorbeeldantwoorden ten onrechte een referentiekader bieden, en daarmee nietvalide antwoorden genereren. Is het echter de bedoeling om te achterhalen in welke plaats de respondenten werken, dan is er weinig reden om te stellen dat het geven van voorbeeldantwoorden als ‘In Utrecht, Amsterdam of ergens anders?’ tot niet-valide antwoorden leidt omdat het een referentiekader creëert. In die zin leidt het geven van deze voorbeeldantwoorden dan ook alleen maar tot een structurele variant van de vraag ‘in welke plaats werkt U?’, waarin het referentiekader al in de vraaguiting expliciet gemaakt is. Kahn & Cannel (1957, p.114-118) wijzen er al op dat het analyseperspectief van respondenten - zij spreken van ‘personal frame of reference’ - onderling kan verschillen, en ook kan verschillen met dat van de interviewer, en dat het daarom nodig kan zijn het specifieke analyseperspectief (‘specific frame’) aan te geven. En zij geven als voorbeeld hoe de hoogst ambigue vraag ‘How have you people been getting along this year’, gespecificeerd kan worden met ‘Financially, I mean’. Dit alles betekent dus dat het creëren van een referentiekader door middel van voorbeeldantwoorden niet beslist identiek is met sturing in de validiteits-opvatting. Het is alleen potentieel sturend als er onbedoeld een referentiekader gecreëerd wordt, ofwel als de blik van de respondent er onbedoeld mee vernauwd wordt. Het creëren van een referentiekader is dus alleen onder bepaalde omstandigheden een bron van sturing.
De kunst bij het construeren van vragen voor enquetes en gestandaardiseerde interviews (waar Wijffels e.a. zich op richten) is vaak om de vraag zo eenduidig te formuleren dat het duidelijk is welk type antwoord er verwacht wordt, zonder dat het nodig is om voorbeeldantwoorden te geven die de respondenten op een onbedoeld spoor kunnen zetten. Daarnaast is het van belang dat de vraag semantisch maximaal eenduidig is, om te bewerkstelligen dat alle respondenten de vraag op dezelfde wijze opvatten. Nu lijkt het aannemelijk dat naarmate de vraag minder duidelijk is, het sturende effect van het geven van voorbeeldantwoorden toeneemt, als we - zoals Wijffels e.a. - het begrip sturend opvatten als het creëren van een referentiekader en het op ideeën brengen. Immers, voorbeeldantwoorden specificeren het analyseperspectief van de vraag, waardoor het aantal mogelijke antwoorden wordt ingeperkt. En het lijkt verder aannemelijk dat dit effect toeneemt als de gegeven voorbeeldantwoorden een grote kans hebben dat ze overeenkomen met wat de respondenten als valide antwoord zouden kunnen geven. Hierna zal ik laten zien dat de vragen die Wijffels e.a. aan de respondenten hebben gesteld, niet allemaal eenduidig zijn, en dat sommige voorbeeldantwoorden van dien aard zijn dat het geen verbazing hoeft te wekken dat de respondenten ze vaak overnemen. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
[pagina 113]
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Daarna zal ik nog ingaan op de manier waarop zij hun onderzoeksgegevens hebben gescoord. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
4.2 Het onderzoeksmateriaalLaat ik eerst ingaan op de aard van de vragen en de voorbeeldantwoorden in het onderzoek van Wijffels e.a. Helaas worden in hun artikel niet alle vragen weergegeven. Omdat het zonder kennis van het onderzoeksmateriaal moeilijk is iets te zeggen over de waarde van de resultaten, heb ik de auteurs naar hun stimulusmateriaal gevraagd. Ik geef hier hun geschreven materiaal weer. (Zie par. 4.5 over de invloed van de interviewsituatie op geschreven materiaal.) M staat voor meningsvraag, F voor feitelijke vraag. Van de voorbeeldantwoorden (VA) geef ik de incomplete variant (VA 1) en de complete variant (VA2). De open variant spreekt voor zich.
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
[pagina 114]
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
In de introductie van het vraaggesprek staat: ‘onder criminaliteit versta ik zowel moord en georganiseerde misdaad als kruimeldiefstal en ook de zogenaamde witteboorden criminaliteit, zoals belastingontduiking enzovoorts’.
De aard van de vragen Eerst wil ik laten zien dat de vragen die aan de proefpersonen zijn voorgelegd, niet allemaal even duidelijk zijn. Bij vraag F2 naar de eigen ervaring(en) is het onduidelijk of het gaat om mijn ervaring(en) als slachtoffer, of die als betrokkene in ruimere zin. Kan ik hier als relevant antwoord op geven: ‘ik heb wel eens een fiets gestolen’?, of ‘als politieagent maak ik het dagelijks mee’? Ook vraag F5 is niet op alle fronten duidelijk. Wat moeten we ons voorstellen bij ‘maatregel in het algemeen’? De proefpersoon die bij wijze van scoringsillustratie in het artikel aan het woord komt, weet kennelijk ook niet wat de bedoeling is:
Toch is ‘extra sloten’ wel het soort antwoord dat de onderzoekers kennelijk als relevant antwoord zien. Hun eigen voorbeeldantwoord is namelijk van hetzelfde type: ‘zorgt u er bijvoorbeeld voor dat u zo weinig mogelijk geld op zak heeft’. Dat dit voorbeeldantwoord het referentiekader van de vraag kan verduidelijken, laat een andere proefpersoon zien:
In de introductie van het interview wordt duidelijk gemaakt dat de notie criminaliteit zeer breed moet worden opgevat. Als we echter kijken naar het soort voorbeeldantwoorden, dan blijkt het in feite alleen te gaan om kleine criminaliteit. Met die voorbeeldantwoorden worden de proefpersonen in die specifieke interpretatierichting gestuurd. Deze interpretatie wordt nog versterkt door vraag F4 ‘Is uw fiets wel eens gestolen’?. Dat deze vraag uiteindelijk niet meegenomen is in de analyse, betekent niet dat de vraag geen rol heeft gespeeld in de interpretatie van het begrip ‘criminaliteit’ en daarmee invloed kan hebben | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
[pagina 115]
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
gehad op de antwoorden op de vragen die daarna zijn gesteld (vgl. Schuman & Presser 1981, p. 12 over volgorde effecten). Ook als we kijken naar de vragen F5 en M6, dan is het moeilijk om criminaliteit op te vatten als ‘witteboordencriminaliteit, zoals belastingontduiking’. Het kan nu alleen nog maar om kleine criminaliteit gaan.
Het moge duidelijk zijn dat de aangeboden vragen niet allemaal eenduidig zijn. En het is onduidelijk in hoeverre die proefpersonen die van een vraag geen voorbeeldantwoorden kregen aangeboden, deze vraag op dezelfde manier hebben opgevat als degenen die uit de voorbeeldantwoorden konden afleiden dat ‘criminaliteit’ toch veel beperkter kon worden opgevat dan in de introductie werd gezegd. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
4.3 De aard van de voorbeeldantwoordenIn deze paragraaf wil ik nagaan welke problemen er zijn met de voorbeeldantwoorden uit het stimulusmateriaal. Ik beperk me daarbij tot de sociale wenselijkheidsaspecten en de realiteitswaarde van de voorbeeldantwoorden.
Sociaal-wenselijke voorbeeldantwoorden Wijffels e.a. noemen empirisch onderzoek waaruit blijkt dat het sturend effect van voorbeeldantwoorden zich vooral voordoet als die voorbeelden sociaal wenselijk zijn. Dit impliceert dan dat, als een onderzoek beoogt na te gaan in welke mate het geven van voorbeeldantwoorden sturend werkt, het natuurlijk niet zo mag zijn dat de inhoud van zo'n voorbeeldantwoord sociaal-(on)wenselijke aspecten heeft. Immers, aan de orde is de invloed op het antwoordgedrag van het geven van voorbeeldantwoorden in het algemeen, en niet de invloed van de inhoud ervan. Dat betekent dat er goed nagedacht moet worden welke voorbeeldantwoorden voor zo'n onderzoek geschikt zijn. Dat lijkt niet gebeurd te zijn bij meningsvraag 6. Deze vraag heeft één voorbeeldantwoord:
Discriminatie is in Nederland iets waar men niet graag van beschuldigd wordt. Uit onderzoek (van Dijk 1987) blijkt dat negatieve opmerkingen over buitenlanders vaak vooraf worden gegaan door opmerkingen als ‘ik wil niet discrimineren, maar...’. Als dus de interviewer die vraag M6 stelt, duidelijk maakt dat een hardere aanpak van buitenlandse jongeren misschien discriminerend is, ligt het in de lijn der verwachtingen dat veel proefpersonen dit voorbeeldantwoordGa naar eind6 zullen overnemen. En die enkeling die nog niet wist dat discriminatie niet hoort, wordt dat met de toevoeging ‘ten onrechte’ alsnog duidelijk gemaakt. En inderdaad wordt dit voorbeeldantwoord veelvuldig overgenomen, zoals blijkt uit tabel 1. In 88.2% van de antwoorden op de incomplete variant, en in 75.0% op de complete variant treedt dit verschijnsel op. Dat het overnemen van dit voorbeeldantwoord ook wel erg verleidelijk is, blijkt ook uit het feit dat in 35.7% van de antwoorden op de open variant (waarbij dus geen voorbeeld-antwoord is gegeven) dit antwoord optreedt, (vergelijk 17.6%, 5.9%, 18.7% en 16.7% bij de vier andere vragen). | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
[pagina 116]
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
De realiteitswaarde van de voorbeeldantwoorden Een tweede methodische overweging bij de keuze van de voorbeeldantwoorden heeft te maken met de realiteitswaarde van de voorbeeldantwoorden die moeten worden aange-boden. Nu is er om begrijpelijke redenen in het onderzoek van Wijffels e.a. geen pretest gedaan om na te gaan hoe reëel de geconstrueerde opties waren. Maar dat neemt niet weg dat het mij voorkomt dat sommige opties reëler, of op z'n minst waarschijnlijker zijn dan andere. En dat maakt de evaluatie van de uitkomsten van het onderzoek vooralsnog wat moeilijk. Zo is het zeer waarschijnlijk dat de meeste proefpersonen, die allen Amsterdammers zijn, wel eens een vechtpartij hebben gezien en wel eens bedreigd zijn, of liever, zich wel eens bedreigd hebben gevoeld. Als de interviewer dit als voorbeeldantwoord meegeeft aan vraag F2, ‘welke ervaring heeft u met crimineel gedrag?’, stijgt het aantal proefpersonen dat deze ervaring zegt te hebben significant ten opzichte van de antwoorden op de open vraag. Hetzelfde geldt voor het aantal proefpersonen dat zegt meestal met zo weinig mogelijk geld op zak te lopen, in response op vraag F5, ‘Welke maatregel heeft u in het algemeen getroffen om te voorkomen dat u het slachtoffer wordt van criminaliteit?’. Het is zeer aannemelijk dat veel Amsterdammers er inderdaad voor zorgen het te beroven bedrag zo klein mogelijk te houden. Bij een slachtofferenquete in 1990 beantwoordde 10% van de ondervraagde Amsterdammers de vraag of ze de afgelopen twaalf maanden in Amsterdam op straat wel eens waren beroofd, bevestigend (de Haan 1991, p.56). Het is dus waar dat het geven van déze voorbeeldantwoorden ertoe heeft geleid dat ze vaker optreden als antwoord, maar daarmee is niets gezegd over de validiteit van de aldus verkregen antwoorden. Wijffels e.a. noemen dit eventuele verschil in realiteitswaarde van de voorbeeldantwoorden als mogelijke verklaring voor het feit dat bij één niet nader door hen genoemde meningsvraag geen significant verschil in sturingseffect tussen de varianten is aangetroffen. Het is interessant te zien dat zo'n methodologisch belangrijk inzicht pas aan de orde komt als er onverwachte onderzoeksresultaten zijn, en niet in de beginfase van het onderzoek, waarin het onderzoeksmateriaal wordt geconstrueerd.
Dat de bovengenoemde voorbeeldantwoorden relatief weinig optreden als antwoord op de open variant van deze vragen (5.5% bij vraag F2 en 16.7% bij F5) verbaast mij evenmin. Zoals al eerder gezegd is dit niet de eerste ‘ervaring’ respectievelijk de ‘algemene maatregel’ waar ik aan zou denken bij de twee vragen. En al helemaal niet als ik ‘cri-minaliteit’ zo breed zou opvatten als in de introductie wordt aangegeven. Deze antwoor-den liggen pas voor de hand als met het geven van de voorbeeldantwoorden duidelijk wordt hoe de vragen door de vragensteller feitelijk zijn bedoeld. In die zin kan worden gezegd dat met het geven van deze specifieke voorbeeldantwoorden een referentiekader is gecreeerd: met andere woorden, dat ze het antwoorddomein van de vragen hebben ingeperkt. Maar daarmee is vooralsnog niets gezegd over het fenomeen als zodanig, dat de auteurs met dit onderzoek aan de orde willen stellen. Mede gezien het feit dat de auteurs de kwestie van de relevantie van de realiteitswaarde van de aangeboden opties kennen, is hun conclusie wat voorbarig: ‘Uit dit onderzoek blijkt dat vragen met voorbeeldantwoorden in telefonisch afgenomen onderzoeks-vraaggesprekken een sturend effect hebben op de verzameling antwoorden.’ (p.145). Deze conclusie is des te voorbariger gezien het feit dat de auteurs onder sturing onder meer verstaan: de respondent op een idee brengen dat niet met de werkelijke situatie van de geïnterviewde overeen komt, dat wil zeggen, het genereren van niet-valide antwoorden. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
[pagina 117]
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
4.4 ScoringEen verdere verklaring voor de onderzoeksresultaten ligt mogelijkerwijs in de wijze warop de antwoorden zijn gescoord. In dit onderzoek is naast het noemen van een voorbeeldantwoord ook het instemmen met een voorbeeldantwoord gerekend als een geval van aanwezigheid van het voorbeeldantwoord en/of de aanwezigheid van het aangeboden referentiekader.
De grenzen van een referentiekader Laat ik eerst zeggen dat de onderzoekers zeer behoudend lijken te zijn geweest in het scoren van antwoorden in de plus-categorie (‘lijkt op voorbeeldantwoord’). Zo melden zij dat het antwoord op vraag F5 ‘(...) Eh nou niet met je tas op straat gaan, je geld eh ja verstoppen, zulke dingen hè (...)’ niet automatisch hetzelfde referentiekader heeft als ‘zo weinig mogelijk geld op zak hebben’, en dus gescoord is als een antwoord dat niet lijkt op het voorbeeldantwoord. Onder meer gezien het feit dat het goed opbergen van geld als je de straat op gaat, naar mijn idee in dezelfde categorie valt als het met zo weinig mogelijk geld de straat op gaan, roept dit voorbeeld echter ook de vraag op wat hier verstaan is onder het begrip referentiekader. Toch maakt het scoren van het instemmen met een voorbeeldantwoord als een geval van aanwezigheid van het voorbeeldantwoord en/of de aanwezigheid van aangeboden referentiekader, de kans op het optreden van de gescoorde voorbeeld- antwoorden meteen een stuk groter. Omdat bij F2 uit de vraag niet duidelijk wordt of er een uitputtende opsomming van de ervaringen met criminaliteit moet worden gegeven, is het instemmen met de voorbeeldantwoorden een relevant antwoord op de vraag. En net als bij vraag F5 zal het voorbeeldantwoord voor veel van de ondervraagde Amsterdammers tevens een correct antwoord zijn.
Voorkeur voor overeenstemming en aansluiting Met deze manier van scoren hebben de auteurs ten onrechte geen rekening gehouden met een belangrijk inzicht uit de Conversatie Analyse, de zogenaamde voorkeur voor overeenstemming en aansluiting (Sacks 1987, Pomerantz 1984). Als de tweede spreker, bijvoorbeeld de proefpersoon, niet instemt met datgene wat de eerste spreker, de interviewer, ogenschijnlijk verwacht dat de tweede spreker zal gaan zeggen of antwoorden, dan wordt vaak eerst een ‘token agreement’ geproduceerd (bijvoorbeeld een ‘ja’). Pas daarna volgt het niet-instemmende deel van de response. Dat gebeurt niet alleen in Anglo-Amerikaanse conversaties, maar eveneens in Nederlandse (Houtkoop-Steenstra 1987). De manier waarop de tweede spreker uiteindelijk niet-instemt met wat de eerste spreker suggereert, heeft soms het karakter van een demonstratie in plaats van dat het zo duidelijk gezegd wordt (Houtkoop-Steenstra 1986a), zoals in het volgende fragment:
Voor het onderhavige onderzoek betekent deze conversationele preferentie voor overeenstemming en aansluiting, dat een proefpersoon die reageert op vraag F2 met voorbeeld- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
[pagina 118]
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
antwoorden, zou kunnen zeggen ‘ja, en wel eens bestolen’, zonder daarmee beslist beweerd te hebben dat hij of zij wel eens bedreigd is of wel eens een vechtpartij heeft gezien. Hetzelfde geldt voor een fictief antwoord op F5 als: ‘Ja, en je fiets altijd dubbel op slot’.Ga naar eind7 Dit betekent dan ook dat elke vraag-antwoord sequentie in principe nauwkeurig geanalyseerd moet worden, alvorens bepaald kan worden in welke categorie een antwoord ondergebracht moet worden. In hoeverre dat hier gebeurd is, valt uit het artikel niet op te maken. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
4.5 Interactionele effectenEen verder methodologisch probleem wat in dit onderzoek over het hoofd lijkt te zijn gezien, betreft het effect van de interactiesituatie op het antwoordgedrag. Dit probleem laat zich afleiden uit het voorbeeld dat Wijffels e.a. geven van iemand die een ‘verzoek om verduidelijking van het referentiekader’ doet, nadat haar of hem de open variant van de vraag ‘Welke maatregel heeft u in het algemeen getroffen om te voorkomen dat u het slachtoffer wordt van criminaliteit?’ is gesteld.
Deze vraag is gesteld, en waarschijnlijk ook gescoord, als open vraag, met een referentiekader dat geheel door de respondent mocht worden ingevuld. Gevraagd naar het referentiekader, heeft de interviewer dit kader echter ingeperkt tot criminaliteit ‘in huis of fietsen stelen’. Daarmee zijn twee scoringsproblemen ontstaan. In de eerste plaats is de betreffende vraag in dit geval niet meer te beschouwen als open variant. In de tweede plaats valt het eindelijke antwoord ‘fiets altijd goed op slot zetten’ naar mijn smaak in het aangeboden referentiekader. Maar ik neem aan dat het antwoord is gescoord als niet- lijkend op het voorbeeldantwoord, dat in het stimulusmateriaal immers betrekking heeft op zo weinig geld op zak hebben. Zoals blijkt (Suchman & Jordan 1990, Houtkoop-Steenstra 1991b, 1993) kan de betekenis van interviewvragen drastisch veranderen door en in het interview zelf. En zo kan ook het stimulusmateriaal van een experiment tijdens het doen van dat experiment veranderen. Voor de onderzoeker betekent dit dat de interviews een nauwkeurige analyse behoeven, alvorens er gescoord kan worden. Het gaat dan niet alleen om de antwoorden, maar eveneens om de vragen, zoals die in feite gesteld zijn. Dat de interviewer een open vraag heeft bedoeld te stellen, betekent niet beslist dat hij of zij dat ook daadwerkelijk heeft gedaan. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
5 ConclusieNet als sommige andere conversatie analytici heb ik last van wat Hopper (1992) ‘quantity envy’ noemt, en juich ik het soort onderzoek als dat van Wijffels e.a. in principe dan ook van harte toe. Vooral elegant opgezette experimenten met veel at random gekozen proefpersonen en fraaie tabellen met cijfers waar ik niet omheen lijk te kunnen, wekken mijn jaloezie op. Maar tegelijkertijd zie ik dat er tussen droom en daad moeilijkheden en | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
[pagina 119]
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
praktische problemen bestaan. En ik heb gepoogd die moeilijkheden en problemen hier duidelijk te maken. Dat wil niet zeggen dat ik experimenteel onderzoek naar interactionele verschijnselen als een onmogelijkheid beschouw. Het is alleen zoveel moeilijker dan het ogenschijnlijk lijkt om zinvolle en betrouwbare kwantitatieve uitspraken te doen. Zulk onderzoek stelt hoge eisen aan de kwaliteit van het stimulusmateriaal. De inhoud van de vragen en de voorbeeldantwoorden mag zelf geen invloed hebben op het antwoordgedrag van de proefpersonen als het onderzoek zich op het sturend effect van een bepaalde structuurvariant richt. En het vereist veel belezenheid op diverse theoretische gebieden om een verantwoorde keuze te maken. Als reeds uit ander onderzoek (Molenaar 1982) is gebleken dat er een relatie is tussen de kans op sturing en de realiteitswaarde van de antwoordaltematieven, dan zal er op z'n minst enig literatuuronderzoek nodig zijn naar het feitelijk gedrag en de attitudes van de te onderzoeken populatie op het gebied waar in het experiment naar gevraagd wordt. De aantrekkelijke overzichtelijkheid van het hier besproken soort experimenteel onderzoeksmateriaal vermindert als rekening wordt gehouden met de inzichten uit conversatie-analytisch onderzoek. Wordt het experiment uitgevoerd door middel van een interview, dan krijgt de onderzoeker bij de analyse en scoring van de gegevens onvermijdelijk te maken met de effecten van deze onderzoekscontext. Zowel experimentator annex interviewer als proefpersonen genereren niet altijd het soort data dat zo gemakkelijk te verwerken is als rapportages van experimenteel onderzoek geneigd zijn te suggereren. In feite genereert dit soort experimenteel onderzoek doorgaans een grote hoeveelheid interactiemateriaal, dat net als bij conversatie-analytisch onderzoek, aan een gedetailleerde analyse moet worden onderworpen voor er adequaat gescoord en gerekend kan worden.
Verder hoop ik duidelijk te hebben gemaakt dat, willen we zin vol kunnen spreken over het sturend effect van bepaalde soorten vragen in onderzoeksvraaggesprekken, de notie sturing beperkt zal moeten worden tot kwesties die de correctheid c.q. de validiteit van het antwoord betreffen. In dat geval zal onderzoek naar het sturend effect van een bepaalde vraagvorm er niet omheen kunnen dat ook wordt gecontroleerd of de gegeven antwoorden inderdaad valide zijn. Het creëren van een referentiekader is mijns inziens een kwestie van het verduidelijken van het door de interviewer bedoelde analyseperspectief van de gestelde vraag. In de bestaande literatuur over interviewtechnieken lijkt soms stilzwijgend te worden aangenomen, dat het creëren van een referentiekader zelf leidt tot nietvalide antwoorden. Of dat inderdaad het geval is, en zo ja, onder welke omstandigheden en in welke mate, is bij mijn weten nog niet empirisch onderzocht.
Het zal zijn opgevallen dat ik nogal voorzichtig in mijn taalgebruik ben geweest; de lezer heeft er veel modale partikels en werkwoorden in kunnen aantreffen. Dit moet niet (alleen) verklaard worden uit het feit dat ik van het vrouwelijke geslacht ben (vgl. Lakoff 1975). Het is niet meer dan een consequentie van het feit dat Wijffels e.a. ons zo goed als niets vertellen over hun onderzoeksmateriaal. Ook niet-conversatie-analytische onderzoekers zouden er goed aan doen zich iets aan te trekken van de woorden van Harvey Sacks, als hij uitlegt dat hij zijn onderzoeksmateriaal zo uitvoerig weergeeft, zodat: ‘others could look at what I had studied and make of it what they could, if, for example, they wanted to be able to disagree with me’ (Sacks 1984, p.26). | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
[pagina 120]
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
6 Tot slotDe aanleiding voor het schrijven van dit artikel was het feit dat het onderzoek van Wijffels e.a. een toetsing lijkt te willen zijn van mijn onderzoeksresultaten. Ik zeg bewust ‘lijkt te willen zijn’, omdat het niet geheel duidelijk duidelijk is in hoeverre dat de bedoeling is geweest. Maar zinnen als ‘Het verschil tussen de controlevariant en de varianten met voorbeeldantwoorden bleek bij vier van de vijf vragen significant. Dit in tegenstelling tot het resultaat van Houtkoop-Steenstra’ (p. 145) wijzen toch in die richting. Een zichzelf respecterend onderzoeker die leest dat anderen het met haar oneens zijn, kan weinig anders doen dan zich in de tegenargumenten verdiepen en daar vervolgens op te reageren als zij meent dat die tegenargumenten niet valide zijn. Immers, wie zwijgt stemt toe. Deze twee onderzoeken laten zich echter om diverse redenen moeilijk vergelijken. Het belangrijkste punt is wel dat de twee vraagstellingen fundamenteel verschillend zijn, hetgeen verder zoeken naar verschillen overbodig maakt. In mijn onderzoek gaat het om de wijze van formulering van die vraagbeurten waarbij de respondent geen van de voorbeeldantwoorden overneemt. Bij Wijffels e.a. gaat het om de vraag of respondenten de gegeven voorbeeldantwoorden overnemen, met andere woorden, of het geven van voorbeeldantwoorden een sturend effect op het antwoordgedrag heeft. In dit artikel heb ik gepoogd aan te geven waarom ik meen dat niet is aangetoond dat het geven van voorbeeldantwoorden een sturend effect heeft op het antwoordgedrag van respondenten, in die zin dat zij antwoorden geven die niet conform hun werkelijkheid zijn. Maar vooral heb ik laten zien welke problemen er moeten worden opgelost voor deze vraag afdoende beantwoord kan worden. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
[pagina 121]
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Bibliografie
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
[pagina 122]
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||