Tijdschrift voor Taalbeheersing. Jaargang 9

[p. 256]

Publieksonderzoek met behulp van de plus-en-min methode
Ben Vroom

Samenvatting

In opdracht van de GGD Stadsgewest Breda is onderzoek gedaan naar de plus-en-min methode, een pretestmethode die Van Woerkum in zijn proefschrift beschrijft. Er zijn drie folders van de GGD gepretest met behulp van een mondelinge en een schriftelijke variant van de methode. Op basis van de verkregen gegevens zijn twee van de drie folders gewijzigd. De wijzigingen bleken aantoonbare verbeteringen te zijn. Daarnaast zijn enkele problemen bij de uitvoering van de varianten geconstateerd. Deze problemen deden zich met name bij laag opgeleide proefpersonen voor. De plus-en-min methode kan een waardevol onderdeel vormen van de procedure die wordt gevolgd bij de totstandkoming van een (voorlichtende) tekst.¹

1 Dit artikel is een omgewerkte en verkorte versie van mijn doctoraalscriptie (Vroom 1985). De heer W. Drop en Marion Bruijnzeels (namens de GGD Stadsgewest Breda) hebben mij met hun kritisch commentaar sterk geholpen bij het schrijven van dit artikel. Ik dank hun daarvoor hartelijk.
Een verkorte versie van dit artikel is eerder verschenen in Massacommunicatie 14 (1986) nr. 5-6.

1 De plus-en-min methode

Een veelgehoord advies van taalbeheersers is: schrijf doel- en publieksgericht. Concrete informatie over hoe je dat kunt doen krijg je echter doorgaans niet, hooguit algemene aanwijzingen als: bedenk waar het publiek wel en niet in geïnteresseerd is, welke woorden het moeilijk of gemakkelijk vindt, welke stijl het aanspreekt.

In veel gevallen is het voor een schrijver belangrijk, dat hij meer dan een vaag idee heeft over hoe hij moet schrijven om zijn doel bij het publiek te realiseren en dus dat bij beschikt over concrete kennis van dat publiek. Deze kennis kan hij verkrijgen met behulp van methoden om het publiek te onderzoeken. Helaas bestaat er binnen de taalbeheersing nauwelijks aandacht voor die methoden. In de handboeken Taalbeheersing en Leren communiceren vindt men er bijvoorbeeld niets over.

Binnen de voorlichtingskunde bestaat, in navolging van de reclame- en marketingwereld, deze aandacht wel. Van den Ban (1982: 130) gaat in op het nut van deze methode en Van Woerkum (1982: 258 ev.) beschrijft een aantal van die methoden. De taalbeheersing kan hier dankbaar gebruik van maken.

Kennis van het publiek kan men voor, tijdens en na het schrijven verkrijgen. In het laatste geval onderzoek men of een (bijna) kant en klare tekst voldoende is afgestemd op het publiek, nog voordat hij uitgegeven gaat worden. Dit heet pretesten. Een van de vele pretestmethoden is de plus-en-min methode. Deze methode, ook wel de ‘content response code’ genoemd, wordt in Van Woerkum (1982: 278, 279) beschreven. De uitvoering ervan verloopt globaal als volgt: proefpersonen lezen een tekst en zetten plussen en minnen bij alle delen die ze goed respectievelijk slecht vinden. Nadat ze dit gedaan hebben volgt een nagesprek met de onderzoeker, waarin ze hun plussen en minnen toelichten. Dit kan zowel groepsgewijs als individueel gebeuren.

[p. 257]

Deze methode lijkt weinig tijdrovend en eenvoudig toe te passen, en geschikt om (gedeeltelijk) te achterhalen wat de sterke en de zwakke kanten van een tekst zijn en hoe hij eventueel verbeterd kan worden. Zij is een voorbeeld van wat Van Woerkum aangepaste methodologie noemt. Dit is een verzamelnaam voor ‘eenvoudige, geschikte middelen die in een bepaalde situatie geschikter zijn dan het hoogwaardige alternatief’ (1982: 100). Het gaat dan om ‘onderzoek dat binnen de beschikbare tijd, met de voorhanden zijnde middelen en deskundigeheid (uiteraard is een zekere basisdeskundigeheid vereist) informatie oplevert die bruikbaar is, de besluitvorming op belangrijke punten verbetert’ (1982: 101).²

Van Woerkum suggereert dat de methode geschikt is om onmiddellijke effecten bij de doelgroep te meten³ Als onmiddelijke effecten onderscheidt hij ‘contact met de boodschap’, ‘kennisname van de boodschap’, ‘begrip van de boodschap’ en ‘acceptatie van de boodschap’. Mijns inziens is de plus-en-min methode niet geschikt om deze effecten goed te meten, hoewel zij waarschijnlijk wel een goede indicatie van de acceptatie van de boodschap kan geven. Onbegrip wordt echter niet in een min vertaald als de proefpersoon niet doorheeft dat hij iets verkeerd begrijpt. Contact met en kennisname van de boodschap vinden min of meer geforceerd plaats, wat geen goede basis is voor het verkrijgen van valide gegevens over die effecten. Dit alles wil niet zeggen dat men met behulp van de methode geen gegevens over die effecten kan verkrijgen. De reacties ‘dit begrijp ik niet’, ‘o, hier heb ik overheen gelezen’ en ‘de voorkant spreekt mij zeer aan’ zeggen zeker iets over de effecten begrip, kennisname en contact, maar het gaat tever om de plus-en-min methode een methode van effectmeting te noemen. Zij moet beschouwd worden als een methode die vooral geschikt is om te beoordelen of een tekst verbeterd moet worden en hoe dat eventueel moet gebeuren.

2 Van Woerkum licht zijn pogingen om interesse te kweken voor onderzoeksmethoden die onder de noemer ‘aangepaste methodologie’ geplaatst kunnen worden, als volgt toe: ‘Het betere is (...) soms de vijand van het goede. Sociaal wetenschappelijk onderzoek volgens-het-boekje is vaak zo kostbaar, zoveel deskundigheid vergend en zo tijdrovend dat het daardoor slechts in selecte situaties aangewend wordt. Dit doet de vraag rijzen of voor die vele andere situaties geen onderzoek denkbaar is, aangepast aan de bestaande condities. Ik meen dat dergelijk onderzoek bestaat en bestaansrecht heeft.’ (1982:100)

3 Volgens Van Woerkum is de plus-en-min methode een methode ‘die als een combinatie te zien is van effectmeting en beoordeling’ (1982:278).

2 Onderzoeksvragen

In dit onderzoek is niet alleen de plus-en-min methode onderzocht in de door Van Woerkum omschreven vorm, maar is tevens een schriftelijke variant daarvan onderzocht. Daarbij moesten de proefpersonen hun plussen en minnen schriftelijk toelichten. Deze variant is ontwikkeld omdat het voeren van gesprekken met individuele proefpersonen nogal tijdrovend is. In het vervolg zal ik steeds spreken van de mondelinge variant, waarmee de door Van Woerkum omschreven methode bedoeld wordt, en de schriftelijke variant. Zowel bij de mondelinge als de schriftelijke variant werden de proefpersonen individueel benaderd.

Wat houdt het pretesten volgens de plus-en-min methode nu precies in? Een zorgvuldig geselecteerde groep proefpersonen krijgt de te pretesten tekst met het verzoek om plussen en minnen te zetten bij alles wat ze van de tekst respectievelijk goed en slecht vinden. Nadat ze dit gedaan hebben, spreekt de onderzoeker deze plussen en minnen met ze door (mondeling variant) of moeten ze deze schriftelijk van commentaar voorzien (schriftelijk variant). In het nagesprek mag de onderzoeker niet sturend optreden; hij mag alleen om verduidelijking vragen en om suggesties met betrekking tot verbetering van de bekritiseerde stukken. Nadat de gesprekken gevoerd zijn of de van plussen, minnen en commentaar voorziene teksten binnengekomen zijn, inventariseert de onderzoeker per content unit het aantal

[p. 258]

plussen, minnen en reacties. Een content unit is een afgerond gedeelte binnen de tekst, meestal één onderwerp behandelend, of bijvoorbeeld een illustratie. Op grond van de reacties worden de content units die verbetering behoeven, gewijzigd. Hierbij worden bepaalde richtlijnen aangehouden om te voorkomen dat een herschrijver te snel of juist niet snel genoeg tot wijziging overgaat. Op de inhoud van die richtlijnen kom ik in paragraaf 3.2 terug.

In dit onderzoek heb ik bij de uitvoering van de mondelinge variant steeds gewerkt met een steekproef van 10 proefpersonen, ervan uitgaande dat het werken met meer proefpersonen voor veel potentiële gebruikers van de methode te tijdrovend zal zijn. De betrouwbaarheid van de informatie van een zo kleine steekproef mag dan gering zijn, dit sluit niet uit dat deze informatie nuttig kan zijn bij de beoordeling of een tekst gewijzigd moet worden en zo ja, hoe dat moet gebeuren. Bij de schriftelijke variant is het werken met een grotere steekproef waarschijnlijk in veel gevallen eenvoudiger, en daarom heb ik bij deze variant voor een grotere steekproef gekozen (zie paragraag 3.1).

Het onderzoek was exploratief van aard. Het voornaamste doel was informatie te verkrijgen die interessant is voor voorlichters die zelf hun teksten willen pretesten, maar weinig kennis hebben van bestaande pretestmethoden en die bovendien weinig tijd hebben om te pretesten. De onderzoeksvragen waren de volgende:

1	Hoe verloopt de uitvoering van de twee varianten?
2	Welke problemen treden er op bij het zetten van plussen en minnen en het geven van commentaar?
3	Welke verschillen treden hierbij op tussen laag en hoog opgeleide proefpersonen?
4	Welke varianten van de plus-en-min methode leveren verbetering van de gepreteste teksten op?
5	Wordt er commentaar niet in een plus of min vertaald en zo ja, hoe waardevol is dat commentaar?

De proefpersonen werden aan de hand van de Standaard Onderwijsindeling van het CBS geclassificeerd in laag dan wel hoog opgeleid. Laag opgeleid was: lagere school en lbo, mavo of de eerste drie klassen havo/vwo. Hoog opgeleid was: 4 of meer jaren havo/vwo, mbo of hoger.

3 Het onderzoek

Allereerst zijn er drie folders gepretest en is onderzocht welke problemen hierbij naar voren kwamen, vervolgens zijn twee van de drie folders herschreven en is onderzocht of de wijzigingen verbeteringen waren.

3.1 Het pretesten van de folders

Het onderzoek is uitgevoerd bij de GGD Stadsgewest Breda. Er zijn drie willekeurig uitgekozen folders van de afdeling Gezondheidsvoorlichting en -opvoeding (GVO) gepretest, te weten:

-	Onzichtbare suiker, een elf pagina's tellende folder die ingaat op het ontstaan en voorkomen van gaatjes in de tanden; iedere pagina bevat één of meer kort(e) stukje(s) tekst en een getekende illustratie; in totaal werden 14 tekstuele en 11 visuele content units onderscheiden;

[p. 259]

-	Een gezonde mond, een folder in de vorm van een in drieën gevouwen vel A4, die voornamelijk ingaat op het poetsen van de tanden; deze folder bevat per pagina een aantal korte stukjes tekst en een getekende illustratie. In totaal werden 17 tekstuele en 6 visuele content units onderscheiden;
-	Leren praten, een negen pagina's tellende folder die handelt over hoe men kinderen leert praten en welke fouten daarbij gemaakt kunnen worden. Ook deze folder bevat per pagina een aantal korte stukjes tekst en een getekende illustratie. Er werden 17 tekstuele en 9 visuele content units onderscheiden.

De folders zijn alledrie zowel met behulp van de schriftelijke als de mondelinge variant bepretest. Het aantal proefpersonen dat aan de pretest heeft meegedaan bedroeg bij de mondelinge variant steeds 10 per folder en bij de schriftelijke variant respectievelijk 83, 93 en 45 (bij ‘Leren praten’ verliep het uitdelen niet geheel volgens plan). De proefpersonen zijn geselecteerd uit de doelgroep van de folders, te weten ouders van jonge kinderen die voor een onderzoek of tandartsbezoek van hun kind naar de GGD komen. Dit gebeurde op a-selecte wijze. Bij de mondelinge variant was de respons ongeveer 50% (per folder ongeveer 20 mensen gevraagd en 10 bereid gevonden om mee te werken). Bij de schriftelijke variant was de respons, afgaande op schattingen van de uitdeelsters van de folders, 60%-70%. Van die proefpersonen had overigens niet iedereen het gevraagde op de gewenste manier gedaan. Ik kom hier in paragraaf 4.2 op terug.

In de instructie voor het zetten van plussen en minnen, die schriftelijk was, werden de proefpersonen expliciet in een helpersrol geplaatst.⁴ Vervolgens werd gevraagd tijdens het lezen plussen en minnen naast de tekst te zetten: ‘Een plus bij alles wat u goed vindt, een min bij alles wat u niet goed vindt.’. Dit moesten ze doen met behulp van een lijst met trefwoorden, die zoveel mogelijk datgene dekten wat men goed og slecht van een tekst kan vinden.⁵Verder werden de proefpersonen gevraagd niet te schromen met het zetten van een plus of een min en, na dit gedaan te hebben, niet langer over zo'n plus of min na te denken. Dit om te voorkomen dat het leesgedrag meer dan nodig zou worden gestoord. In de instructie voor het geven van schriftelijk commentaar werden de proefpersonen aangespoord bij iedere plus of min zo kort en zo precies mogelijk aan te geven waarom ze die hadden neergezet.

Om te onderzoeken of er commentaar niet in een plus of min werd vertaald zijn tijdens de nagesprekken ook de niet van een plus of min voorziene content units besproken.

4 Dit is gedaan in navolging van Ahlschwede, die de plus-en-min methode reeds heeft toegepast (Ahlschwede 1970). Ook Van Woerkum (1975) raadt dit aan met betrekking tot de methoden van beoordeling, waar ook de plus-en-min methode onder gerekend kan worden: ‘Het is verstandig om respondenten (bij de methoden van beoordeling, BV), expliciet in de helpersrol te plaatsen, en deze rol te verduidelijken. Dan zal hij wellicht minder behoefte gevoelen om zich te onderscheiden van de categorie die de tekst niet kan begrijpen. Dan zal hij ook inzien dat hij ons met ongenuanceerd welwillende antwoorden niet gelukkig maakt.’ (1975:203).

5 Deze trefwoordenlijst is opgesteld aan de hand van een door mij opgestelde ‘lijst van criteria’, waarin de criteria waaraan een goede tekst moet voldoen zo volledig mogelijk zijn opgesomd. Deze criteria komen uit diverse handboeken voor het schrijven van teksten, die in Nederland zijn uitgegeven (zie literatuurlijst). De trefwoordenlijst luidde als volgt:

PLUSSEN	MINNEN
belangrijk	onbelangrijk
zeer duidelijk	onduidelijk
precies wat ik wil-	er staat teveel in
de weten	er staat te weinig in
leuk	saai, vervelend
prettig om te lezen	warrig, je raakt de draad kwijt
zeer mee eens	het klopt niet
aansporend	niet aansporend
goede plaatjes	slechte plaatjes

3.2 Het wijzigen van de folders

Na het pretesten zijn de folders waar nodig gewijzigd. Hierbij zijn de volgende richtlijnen aangehouden:⁶

-	wijzig een content unit als die van 15% van de proefpersonen gelijkluidende kritiek heeft gekregen, tenzij de waardering de kritiek overduidelijk tegenspreekt;
-	wijzig een content unit niet als hij van minder dan 15% van de proefpersonen gelijkluidende kritiek heeft gekregen.

De wijzigingen zijn alle door de tekstschrijver van de GGD, die de oorspronkelijke folders geschreven had, gemaakt. Zij zijn in tabel 1 schematisch weergegeven. In ‘Leren praten’ hoefden geen wijzigingen aangebracht te worden. Het totale aantal content units dat op basis van mondeling en/of schriftelijk commentaar gewijzigd

6 De richtlijnen luidden oorspronkelijk:
- als een content unit geen waardering heeft gekregen moet hij gewijzigd worden als hij van minstens 30% van de proefpersonen gelijkluidende kritiek heeft gekregen;
- als een content unit wel waardering heeft gekregen moet hij gewijzigd worden als hij van minstens 50% van de proefpersonen gelijkluidende kritiek heeft gekregen;
- in andere gevallen mag een content unit niet gewijzigd worden.
Nadat de pretests uitgevoerd waren bleek, dat uisluitend bij veel minder zware richtlijnen content units gewijzigd konden worden. Iedere content unit had namelijk bij beide varianten veel meer waardering dan kritiek gekregen; bovendien kreeg op één na geen enkele content unit meer dan 30% kritiek. Ook was het vermoeden gerezen dat velen zouden kunnen instemmen met de honorering van de kritiek die door slechts enkele proefpersonen gegeven was. Beide zaken waren aanleiding om de richtlijnen te verlichten.

[p. 260]

moest worden, was vier, te weten content units 6, 8 en 9 van ‘Onzichtbare suiker’ en content unit 15/16 van ‘Een gezonde mond’ (oorspronkelijk twee content units, maar bij de herschrijving te beschouwen als één geheel). Content units 9 van ‘Onzichtbare suiker’ en 15/16 van ‘Een gezonde mond’ moesten zowel op basis van mondeling als schriftelijk commentaar gewijzigd worden. Bij deze content units wezen beide soorten commentaar in dezelfde richting, zodat één wijziging voor de hand lag. Omdat het totale aantal te wijzigen content units zo gering was, is van beide folders steeds één gewijzigde versie gemaakt op basis van het mondelinge én het schriftelijke commentaar bij plussen en minnen. Deze wordt in het vervolg versie 1 genoemd.

Om te onderzoeken hoe waardevol de kritiek was die niet in een plus of min was vertaald, zijn in een tweede gewijzigde versie (in het vervolg versie 2 genoemd) ook content units gewijzigd die hiervoor pas in aanmerking kwamen, als het commentaar los van plussen en minnen werd opgeteld bij het commentaar bij plussen en minnen. De wijzigingen zijn weer door de tekstschrijver van de GGD gemaakt. Het totale aantal in de tweede versies van beide folders extra opgenomen gewijzigde content units was opnieuw vier, te weten het plaatje op pagina 3 en content unit 13 van ‘Onzichtbare suiker’ en de voorpagina en content unit 11 van ‘Een gezonde mond’. Het totale aantal wijzigingen in beide tweede versies kwam hiermee op acht.

Het is onwaarschijnlijk, dat bij het wijzigen van de content units het maken van de ene wijziging het maken van de andere wijziging heeft kunnen beïnvloeden. In één geval was deze invloed echter niet uitgesloten: content unit 8 van ‘Onzichtbare suiker’ is in versie 1 anders gewijzigd dan in versie 2, omdat het schriftelijke commentaar andere informatie gaf dan het mondelinge commentaar bij en los van plussen en minnen.

		versie 1			versie 2
content unit		gewijzigd	o.b.v. mondeling commmentaar	o.b.v. schriftelijk commentaar	gewijzigd
Onzichtbare suiker
plaatje p.	3				X (20%)
	6	X	X (20%)		X (20%)
	8	X		X (16%)	X (30%)
	9	X	X (20%)	X (16%)	X (30%)
	13				X (20%)
Een gezonde mond
voorpagina					X (30%)
	11				X (20%)
	15/16	X	X (30%)	X (20%)	X (40%)

Tabel 1: Gewijzigde content units. Tussen haakjes het percentage proefpersonen met gelijkluidende kritiek.

[p. 261]

3.3 Paarsgewijze vergelijking van de oorspronkelijke en de gewijzigde verzies

In totaal waren er nu van de folders ‘Onzichtbare suiker’ en ‘Een gezonde mond’ drie versies: versie 0 (de oorspronkelijke versie), versie 1 en versie 2. Het onderzoek naar de vraag of de wijzigingen verbeteringen waren, is uitgevoerd met behulp van de methode van paarsgewijze vergelijking. Daarbij kregen proefpersonen twee van de drie versies van een folder en moesten ze aangeven welke ze de beste vonden. Gebruikt werden andere proefpersonen dan bij het pretesten, dus mensen die de 0-versie nog niet onder ogen gekregen hadden. De ene helft van de proefpersonen vergeleek twee hele versies met elkaar, de andere helft vergeleek de van elkaar verschillende content units van de twee versies van elkaar. Dit alles leverde de volgende combinaties ter vergelijking op:

	Onzichtbare suiker	Een gezonde mond
	0-1	0-1
hele versies	1-2	1-2
	0-2	0-2
	0-1	0-1
content units	1-2	1-2
	0-2	0-2

In totaal 12 vergelijkingen Elke combinatie is aan een steekproef van 40 mensen opgestuurd. Twintig daarvan kregen de opdracht om de versies in de volgorde 0-1/1-2/0-2 te lezen, de andere twintig kregen de opdracht om de versies in omgekeerde volgorde te lezen, dus in volgorde 1-0/2-1/2-0.

De proefpersonen moesten ook aangeven of ze de door hen verkozen versie of content unit ‘duidelijk beter’ of ‘niet veel beter’ vonden; dit om te bepalen hoe waardevol de eventuele verbeteringen waren. Ook werden ze gevraagd in een paar woorden aan te geven waarom ze verkozen versie of content unit beter vonden, om te kunnen controleren of de honorering van de kritiek de reden van verbetering was geweest. Tenslotte moesten ze hun opleiding vermelden. Verschillen tussen voorkeuren van hoog en laag opgeleide proefpersonen konden zo onderzocht worden.

De wijze van proefpersonen-selectie was ongeveer dezelfde als bij het pretesten van de folders. De respons lag bij de meeste vergelijkingen net iets onder de 50%.

4 Resultaten

Voordat ik overga tot het bespreken van de voornaamste resultaten die betrekking hebben op de onderzoeksvragen, zal ik in paragraaf 4.1 enkele resultaten van het pretesten van de folders weergeven.

4.1 Resultaten van het pretesten van de folders

De beoordeling van de folders door de proefpersonen was zeer positief. Alle content units kregen veel meer plussen cq. positief commentaar dan minnen cq. negatief

[p. 262]

commentaar. Bij het zetten van plussen en minnen werden de illustraties door de meesten overgeslagen. In tabel 4.2 geef ik enkele cijfers met betrekking tot de plussen en minnen die door de proefpersonen bij tekstuele content units van ‘Onzichtbare suiker’ en ‘Een gezonde mond’ gezet zijn. De aantallen proefpersonen die bij de mondelinge en de schriftelijke variant plussen en minnen hebben gezet, zijn hier bij elkaar opgeteld.

		gemiddelde		gemiddelde
folder	proefpersonen	+ score per c.u.	standaardafwijking	- score per c.u.	standaardafwijking
Onzichtbare suiker	74	46.5	10.3	7.2	4.5
Een gezonde mond	77	52.7	13.4	6.8	4.5

Tabel 2: Gemiddelden en spreiding van de plus- en min-scores per content unit van ‘Onzichtbare suiker’ en ‘Een gezonde mond’.

4.2 Uitvoering van de varianten

De tijd die het pretesten kost en de praktische problemen die bij de uitvoering kunnen optreden (het vinden van geschikte proefpersonen, het vinden van een onderzoeksruimte, het maken van testmateriaal etc.) hangen sterk af van de omstandigheden waarin de pretest moet worden uitgevoerd. Het zou hier te ver voeren om er uitgebreid op in te gaan. In dit onderzoek duurde het pretesten anderhalve tot twee-en-een-halve dag, waarbij de mondelinge variant ongeveer een halve dag meer tijd in beslag nam dan de schriftelijke variant.

4.3 Problemen bij het zetten van plussen en minnen en het geven van commentaar

Registratie van plussen minnen en reacties

Per content unit moet de onderzoeker de plussen, minnen en reacties registreren. Dit kan bij de schriftelijke variant problemen geven. Gebleken is namelijk dat aan plussen en positieve schriftelijke reacties meestal niet te zien is op welk(e) stuk(ken) tekst ze betrekking hebben. In tegenstelling tot minnen en negatieve reacties, die meestal direct naast het deel van de tekst worden gezet waar ze betrekking op hebben, worden plussen en positieve reacties vaak op een willekeurige plaats op de pagina neergezet. Bovendien bleek dat proefpersonen op zeer verschillende wijzen plussen neerzetten. De ene proefpersoon zet zijn plussen namelijk per content unit neer, de andere doet dat per pagina of per twee pagina's, de derde zet ze nu eens per content unit en dan weer per pagina neer en de vierde doet het weer op een andere manier. Duidelijkheid over waar zo'n plus bijhoort is er dus niet en treedt doorgaans ook niet op als hij van een schriftelijke reactie is voorzien. Dit probleem kan worden ondervangen door de proefpersonen met strepen in of naast de tekst te laten aangeven waar een plus, min of reactie bijhoort.

[p. 263]

Overigens gaf de onduidelijkheid waar plussen en positieve schriftelijke reacties bijhoren in dit onderzoek bij het wijzigen van content units geen grote problemen, aangezien de positieve reacties, waar die dan ook precies bij mochten horen, nergens de kritiek tegenspraken die tot wijziging heeft geleid.

In de nagesprekken van de mondelinge variant bleek bij de bespreking van de niet van een plus of min voorziene content units dat veel kritiek niet in een plus of min vertaald was, namelijk 44% van de kritiek op tekstuele content units en 76% van de kritiek op plaatjes. In paragraaf 4.3 ga ik nader in op de waarde van de kritiek die niet in een min vertaald is.

Het zetten van plussen en minnen

Tijdens de uitvoering van de mondelinge variant bleek, dat sommige proefpersonen minnen zetten bij stukken tekst waar ze in feite geheel positief over oordeelden. Een voorbeeld ter illustratie: bij de zinnen

‘Sommige kinderen gebruiken gebaren om iets duidelijk te maken of wijzen aan wat ze willen hebben. Laat uw kind zeggen wat hij wil, anders denkt hij dat praten niet echt nodig is’ (citaat uit ‘Leren praten’)

zette een proefpersoon een min omdat ze het héél slecht vond om genoegen te nemen met gebaren: haar kind moest het maar zeggen! Ze zette dus een min omdat ze het in de tekst beschreven kindergedrag afkeurenswaardig vond en niet omdat ze de tekst zelf afkeurenswaardig vond. Ze was het in feite zeer met de tekst eens. (Later veranderde ze de min in een plus.)

Van de dertig proefpersonen die aan de mondelinge variant hadden meegedaan waren er drie die om onverwachte redenen minnen hadden gezet bij stukken tekst waar ze in feite positief over waren. Verder waren er vijf mensen die, ondanks hun bereidheid om aan de pretest mee te werken, geen plussen en minnen hadden neergezet. Over het geheel genomen levert dit mijns inziens geen grote problemen op bij de uitvoering van de plus-en-min methode. Wel was het zo, dat bijna al deze problemen zich voordeden bij laag opgeleide proefpersonen. Slechts drie van de in totaal tien laag opgeleide proefpersonen hadden plussen en minnen neergezet op de manier zoals die in de methode bedoeld wordt. De rest had geen plussen en minnen neergezet (5 pp.) of er andere meningen dan de bedoelde mee uitgedrukt (2 pp.). Onder de twintig hoog opgeleide proefpersonen van mijn steekproef was er maar één die problemen gaf. Ook zij had met minnen andere meningen dan de bedoelde uitgedrukt.

Schriftelijk commentaar

Bij de schriftelijke variant voldeed niet iedereen aan de gestelde opdracht. Sommigen lieten de folder geheel zoals hij was (categorie 1). Anderen zetten er wel plussen en minnen in maar lieten na daar commentaar bij te geven (categorie 2). Weer anderen gaven slechts bij een paar van de plussen en minnen commentaar (categorie 3). Er waren proefpersonen die hun commentaar niet bij plussen en minnen hadden geplaatst (categorie 5) of die geen plussen en minnen hadden gezet maar wel commentaar hadden gegeven (categorie 6). Gelukkig was er ook nog een grote groep die het gewenste had gedaan, die namelijk bij (bijna) alle plussen en minnen

[p. 264]

commentaar had gegeven (categorie 4). Alleen het commentaar van de proefpersonen van categorieën drie en vier komt voor verwerking in aanmerking. In dit onderzoek had dus 48% van de proefpersonen die zich bereid hadden verklaard om aan de schriftelijke variant mee te werken, bruikbaar commentaar gegeven.

Ook bij de schriftelijke variant hadden de hoog opgeleide proefpersonen zich beter van hun taak gekweten dan de laag opgeleide proefpersonen. Zij hebben zich minder vaak beperkt tot het zetten van plussen en minnen en hebben vaker de gewenste hoeveelheden commentaar gegeven. Dit blijkt uit de cijfers in tabel 3. De verschillen tussen hoog en laag opgeleide proefpersonen zijn bij categorieën 2 en 4 significant (X², respectievelijk p <.005 en p <.02).

categorie\opleiding	hoog	laag	onbekend	totaal
1 niets	1 (2%)	7 (15%)	21 (29%)	29 (16%)
2 alleen +/-	3 (5%)	12 (26%)	26 (36%)	41 (23%)
3 +/- en weinig comm.	8 (14%)	4 (9%)	4 (5%)	16 (9%)
4 +/- en veel comm.	39 (67%)	19 (42%)	10 (14%)	68 (39%)
5 +/-, comm. los van +/-	4 (7%)	1 (2%)	4 (5%)	9 (5%)
6 geen +/-, wel comm.	4 (7%)	2 (4%)	7 (10%)	13 (7%)
totaal	59	45	72	176

Tabel 3: Schriftelijk commentaar van hoog en laag opgeleide proefpersonen (en proefpersonen die hun opleiding niet vermeld hadden).

Het is voor een goede verwerking van de reacties van belang dat ze duidelijk zijn, omdat dan goed kan worden vastgesteld of reacties gelijkluidend zijn. Daarvan hangt weer af of content units al dan niet gewijzigd moeten worden. De duidelijkheid van de reacties kan problemen geven bij de schriftelijke variant. In dit onderzoek heb ik de schriftelijke kritiek ingedeeld naar hun ‘uitdrukkingswaarde’ (term van mijzelf). Daartoe heb ik de volgende categorieën opgesteld:

1	onbegrijpelijke of vage kritiek: deze geeft niet of nauwelijks een idee van wat de proefpersoon verkeerd vindt aan de content unit. Voorbeelden ‘spreekt mij niet aan’, ‘niet altijd mee eens’, ‘slecht plaatje’;
2	concrete kritiek die niet of nauwelijks aangeeft hoe de content unit verbeterd kan worden. Voorbeelden: ‘saai’, ‘onduidelijk’ (wat dan?), ‘plaatje klopt niet met de werkelijkheid’;
3	concrete kritiek die duidelijk aangeeft hoe de content unit verbeterd moet worden. Voorbeelden: ‘het woord “bijna” kan eruit’, ‘overbodig’, ‘illustratie niet interessant’ (kan dus weggelaten worden).

Alleen de derde categorie stelt de onderzoeker niet voor problemen wat betreft de duidelijkheid en de gelijkluidendheid met andere kritiek. De tweede categorie kan wel problemen geven, de eerste categorie doet dat zeker. De kritiek was als volgt over de drie categorieën verdeeld:

[p. 265]

categorie	tekst	plaatjes
1	15 (9%)	15 (35%)
2	54 (33%)	12 (28%)
3	93 (57%)	16 (37%)

Tabel 4: Uitdrukkingswaarde schriftelijke kritiek.

Hieruit blijkt dat lang niet alle kritiek volledige duidelijkheid gaf over de gelijkluidendheid met andere kritiek en over mogelijke verbetering.

Ook wat betreft de uitdrukkingswaarde van de kritiek, zijn er duidelijke verschillen tussen hoog en laag opgeleide proefpersonen. Uit tabel 4 valt op te maken dat de uitdrukkingswaarde van de kritiek van laag opgeleide proefpersonen over het algemeen minder was dan die van hoog opgeleide proefpersonen. Daarbij is het verschil tussen de cijfers van categorie 3 significant (X², p <.01).

categorie	hoog opgeleid	laag opgeleid
1	3 (3%)	8 (20%)
2	25 (28%)	15 (37%)
3	62 (69%)	18 (44%)

Tabel 5: Verschillen in uitdrukkingswaarde van de kritiek van hoog en laag opgeleide proefpersonen.

4.4 Verbetering van de folders

In tabel 6 zijn de resultaten van de paarsgewijze vergelijking weergegeven.

Het valt op dat de cijfers van de afzonderlijke content units positiever zijn dan die van de cijfers van de hele versies. Dit is niet vreemd. Over het geheel genomen is er weinig aan de folders veranders. Gezien de cijfers van de afzonderlijke content units mag aangenomen worden dat de cijfers van de hele versies positiever zouden zijn uitgevallen als er in de folders meer gewijzigd zou zijn geweest. Daarom, en ook omdat het met name interessant is hoezeer datgene, wat concreet gewijzigd is, verbeterd is, zijn de cijfers van de afzonderlijke content units interessanter dan de cijfers van de hele versies.

Het is duidelijk dat zowel de schriftelijke als de mondelinge variant tot verbetering hebben geleid: de content units, die op basis van schriftelijke en/of mondeling commentaar zijn gewijzigd, zijn sterk verbeterd: van beide folders is versie 1 beter dan versie 0. Verschil in waarde tussen de resultaten van de schriftelijke en de mondelinge variant lijkt er niet te zijn: beide leveren evenveel verbetering op en de cijfers met betrekking tot die verbeteringen verschillen niet veel.

Ook is het duidelijk dat de wijzigingen op basis van comentaar bij én los van minnen over het algemeen verbeteringen zijn gebleken. Vier van de vijf content units zijn sterk verbeterd.

[p. 266]

		uit-slag	H-nul toets.	perc.ppn.	perc. popul. minim.	perc. ‘duidelij beter’	Significant duidelijk beter/niet veel beter
HELE VERSIES
versies	0-1
	Os	5-13	.05	72%	53%	23%	niet veel beter
	Egm	4-13	.024	76%	57%	70%	-
versies	1-2
	Os	6-11	-	63%	-	10%	niet veel beter
	Egm	0-20	<.0001	100%	89%	35%	-
versies	0-2
	Os	7-13	-	65%	-	33%	-
	Egm	2-19	.0003	90%	76%	37%	-
CONTENT UNITS^1
op basis van schriftelijk commentaar bij minnen:
OS 8 (0-1)		4-18	.003	82%	62%	40%	-
op basis van mondeling commentaar bij minnen:
Os 6		8-30	.0005	79%	68%	68%	-
op basis van schriftelijk én mondeling commentaar bij minnen:
OS9		7-34	<.0001	83%	72%	50%	-
Egm 15/16		9-40	<.0001	82%	75%	72%	duidelijk beter
op basis van mondeling commentaar bij én los van minnen:
Os pl. p.3		6-33	<.0001	85%	73%	70%	duidelijk beter
Os 8 (0-2)		5-16	.015	76%	60%	95%	duidelijk beter
Os 13		19-17	-	47%	-	47%	-
Egm voorp.		5-37	<.0001	88%	80%	89%	duidelijk beter
Egm 11		8-33	<.0001	81%	70%	77%	duidelijk beter
1 de oorspronkelijke en gewijzigde versie van een content unit zijn steeds bij twee combinaties met elkaar vergeleken, vandaar de hoge aantallen in kolom 2. Dit geldt niet voor content unit 8 van Os, aangezien de tekst daarvan in versie 1 afweek van die van versie 2 (zie paragraaf 3.2). Bij deze content unit zijn de percentages in kolom 5 relatief laag.

Tabel 6: Resultaten van de paarsgewijze vergelijking.
In de kolommen staan de volgende cijfers:
1 de combinatie cq. content unit waarop de cijfers in de rij betrekking hebben. Het linker cijfer staat voor de oorspronkelijke of minst gewijzigde versie, het rechter voor de (meest) gewijzigde versie;
2 de uitslag van de paarsgewijze vergelijking van die combinatie cq. content unit. Het linker cijfer betreft het aantal proefpersonen dat de oorspronkelijke of minst gewijzigde versie het beste vond, het rechter betreft het aantal dat de (meest) gewijzigde versie verkoos;
3 de kans dat H-nul ‘beide versies zijn evengoed’ ten onrechte verworpen is. Deze kans is alleen gegeven als op basis van significante cijfers (bij een alfa van 10%) geconcludeerd kan worden dat de (meest) gewijzigde versie de beste is;
4 het percentage van de proefpersonen dat de (meest) gewijzigde versie de beste vond;
5 het percentage mensen van de populatie dat minimaal de (meest) gewijzigde versie de beste vond (weer bij een alfa van 10%);
6 het percentage van de proefpersonen met een voorkeur voor de (meest) gewijzigde versie, dat deze versie ‘duidelijk beter’ vond;
7 hierin staat aangegeven of van de proefpersonen met voorkeur voor de (meest) gewijzigde versie een significante meerderheid deze versie ‘duidelijk beter’ of ‘niet veel beter’ vond (alfa weer 10%).

[p. 267]

De niet in een min vertaalde kritiek die hier tot verbetering heeft geleid, mag daarom als waardevolle kritiek beschouwd worden. Alleen content unit 13 van ‘Onzichtbare suiker’ is niet verbeterd. Reden daarvan is waarschijnlijk dat de kritiek op deze content unit erg vaag was.

Er zijn geen duidelijke verschillen geconstateerd tussen de voorkeuren van hoog en laag opgeleide proefpersonen. Tenslotte waren de redenen die de proefpersonen voor hun voorkeur opgaven de verwachte redenen.

5 Conclusies

De resultaten bevestigen het vermoeden dat de plus-en-min methode een eenvoudige en weinig tijdrovende pretestmethode is waarmee voor de doelgroep zwakke plekken in een voorlichtende tekst opgespoord kunnen worden en die tot verbetering van zo'n tekst kan leiden. Dit geldt zowel voor de schriftelijke als de mondelinge variant.

Gebleken is dat niet alle waardevolle kritiek in een min wordt vertaald. Een relatief groot aantal content units is verbeterd op basis van mondelinge kritiek bij én los van minnen, namelijk vier, tegenover drie op basis van alleen mondelinge kritiek bij minnen. De mondelinge variant levert dus waarschijnlijk meer verbetering op als ook de niet van een plus of min voorziene content units besproken worden.

Terwijl de percentages proefpersonen die gelijkluidende kritiek hadden steeds laag waren (op één content unit na nooit hoger dan 30%, zie tabel 1), lagen de percentages proefpersonen die het met de honorering van de kritiek eens waren bijna steeds heel hoog, namelijk minimaal tussen 68% en 80% (de percentages van c.u. 8 van ‘Onzichtbare suiker’ vanwege de lage steekproefgroottes buiten beschouwing gelaten). Deze percentages liggen zover uit elkaar dat aangenomen mag worden dat zich onder de proefpersonen, die waardering of geen kritiek op de betreffende content units hadden geuit, zeer waarschijnlijk ook mensen bevonden die het met de kritiek eens waren geweest. Het percentage proefpersonen dat het bewust of onbewust eens is met bepaalde kritiek kan dus veel hoger liggen dan het percentage dat daadwerkelijk die kritiek geeft.

Al deze zaken wijzen erop dat het percentage van 15%, dat nu aangehouden is als richtlijn voor het al dan niet wijzigen van een content unit, niet te laag is en misschien nog wel lager gesteld kan worden. Overigens moet aan zo'n percentage bij een steekproef van 10 proefpersonen niet veel waarde worden gehecht, vanwege de

[p. 268]

geringe betrouwbaarheid van de gegevens van een steekproef van die grootte. Hier is de richtlijn ook bij de mondelinge variant aangehouden voor de vergelijkbaarheid van de resultaten.

De schriftelijke en de mondelinge variant leveren beide meer problemen op als de proefpersonen laag opgeleid zijn. Bij de mondelinge variant bleek dat een zeer groot deel van de laag opgeleide proefpersonen niet of op onjuiste wijze plussen en minnen had neergezet. Bij de schriftelijke variant gaven laag opgeleide proefpersonen minder vaak op de gewenste manier commentaar en was bovendien hun commentaar over het algemeen minder duidelijk met betrekking tot de mogelijke verbetering van de tekst.

6 Consequenties voor de praktijk

Wat is nu de waarde van deze resultaten? Het is positief dat de folders verbeterd zijn, maar het is onzeker hoe ‘goed’ de folders waren. Als de op de vele waardering van de proefpersonen gebaseerde indruk juist is, dat de folders in hun oorspronkelijke vorm vrij goed waren, dan pleit het voor de plus-en-min methode dat zij toch nog verbeterd zijn. Maar het is ook mogelijk dat ze helemaal niet zo goed waren, met andere woorden dat de plus-en-min methode veel zwakke plekken onopgespoord heeft gelaten. Nader onderzoek naar de waarde van de methode, waarin meer uiteenlopende teksten worden gepretest, is nodig. Ook zouden teksten met behulp van de plus-en-min methode én andere methoden gepretest moeten worden, om een beter beeld te krijgen van wat de plus-en-min methode wel en niet opspoort.

Omdat in dit onderzoek het honoreren van niet in minnen vertaalde kritiek zoveel extra verbetering heeft opgeleverd, ben ik er een voorstander van bij de mondelinge variant ook de niet van een plus of min voorziene content units te bespreken en de zo verkregen extra gegevens als volwaardige gegevens te beschouwen. De nagesprekken zullen hierdoor waarschijnlijk niet veel meer tijd kosten (in dit onderzoek 1-5 minuten extra bij een gemiddelde tijd van 20 minuten). Het lijkt waarschijnlijk dat, bij wijziging van de mondelinge variant in deze zin, deze variant over het algemeen meer vruchten zal afwerpen dan de schriftelijke variant.⁷

De vraag rijst nu of het laten zetten van plussen en minnen dan nog wel zin heeft. Ik denk, in navolging van Van Woerkum (1982) dat dit wel het geval is. Waarschijnlijk roept dit namelijk de zo gewenste ‘kritische houding’ op, met als gevolg dat proefpersonen meer en waardevoller commentaar geven dan wanneer ze niet vooraf plussen en minnen hebben neergezet. Ook deel ik het vermoeden van Van Woerkum dat het zetten van plussen het de proefpersonen gemakkelijker maakt om hun doorgaans minder gewenste kritiek te uiten. Onderzoek naar de juistheid van deze stellingen zou overigens zinvol zijn. Al met al zie ik bij de mondelinge variant de plussen en minnen meer als ‘oproepers van een kritische houding’ dan als ‘opspoorders van de plaatsen waarop de proefpersonen waardevol commentaar hebben’.

Het zou zinvol zijn om niet alleen de waarde van het met behulp van plussen en minnen verkregen commentaar te onderzoeken, maar ook de waarde van de plussen en minnen op zich. Kan men alleen op basis hiervan een tekst verbeteren en zo ja, hoe verhoudt de kwaliteit van die verbetering zich tot de kwaliteit van een verbetering op basis van schriftelijk of mondeling commentaar? Als dit positief uitvalt, dan is het, zeker als de tijd een grote rol speelt, handig om proefpersonen alleen plussen en minnen te laten neerzetten. Zelf ben ik niet aan onderzoek naar eventuele ver-

7 Ik heb steeds met behulp van de binominaalformule berekend bij welk precentage de kans op het steekproefresultaat (net iets meer dan) 10% was. Bij nog lagere percentages ligt deze kans onder de alfa van 10%.

[p. 269]

beteringen op basis van alleen plussen en minnen toegekomen. Toch valt op grond van sommige resultaten van dit onderzoek iets over de waarde van minnen te zeggen.

Deze wordt namelijk nogal gerelativeerd doordat:

-	veel bewust of onbewust levende kritiek mogelijk niet in een min vertaald wordt;
-	sommige proefpersonen op een verkeerde wijze minnen neerzetten;
-	er problemen met de receptie kunnen zijn die niet in een min vertaald worden.

Een vierde, nog niet eerder genoemde constatering die de waarde van de minnen ondergraaft, is dat in dit onderzoek de kritiek bij minnen over het algemeen zeer uiteenlopend was. Het is overigens mogelijk dat de gelijkluidendheid toeneemt naarmate een content unit meer minnen krijgt, maar dit blijft voorlopig niet meer dan een vermoeden.

Conclusie is dat voorlopig niet aangenomen mag worden dat met de plussen en minnen een valide beeld van de sterke en de zwakke kanten van een tekst verkregen wordt, wat natuurlijk niet uitsluit dat een tekst op basis van alleen plussen en minnen verbeterd kan worden.

Tenzij nader onderzoek het tegengestelde aantoont kan de plus-en-min methode gezien worden als een nuttig onderdeel van de procedure die wordt gevolgd bij de totstandkoming van een (voorlichtende) tekst. Net als voor andere pretestmethoden geldt ook voor deze methode dat het nut ervan toeneemt naarmate de schrijver minder kennis van en/of inlevingsvermogen in zijn publiek heeft, de productie van een tekst duurder en het belang ervan groter is. Niet vergeten moet worden dat, vooral als de schrijver zelf de pretest uitvoert, zijn empathie voor de doelgroep aanmerkelijk kan stijgen, wat weer zijn vruchten kan afwerpen bij het schrijven van nieuwe voorlichtingsmateriaal.

De resultaten zijn in ieder geval voor de GGD Stadsgewest Breda aanleiding om in het vervolg regelmatig voorlichtingsmateriaal te gaan pretesten met behulp van de plus-en-min methode. Mijns inziens zou de taalbeheersing gebaat zijn bij meer onderzoek naar deze en andere pretestmethoden. Er bestaat al veel op dit gebied,⁸ maar onderzocht is er helaas nog weinig.

8 Dit werd mij duidelijk tijdens diverse gesprekken met medewerkers van marktonderzoeksbureaus over pretestmethoden. Ook worden de pretestmethoden beschreven in de Boer (1981) en Bertrand (1978).

[p. 270]

Bibliografie

Ahlschwede, M., Pre-testing a publication for low income homemakers. Raleigh, 1970

Ban. A. van den, Inleiding tot de voorlichtingskunde. Meppel/Amsterdam, 1982

Betrand, J., Communications pretesting. Media monograph no. 6, Chicago: Communications Labatory Community and Family Study Centre University of Chicago, 1978

[p. 271]

Boer, J. de, Oog voor de doelgroep. Deventer, 1981

CBS standaardonderwijsindeling SOI. Voorburg: Centraal bureau voor de statistiek, 1982

Drop, W., Voorlichtingskunde en Taalbeheersing. In: Tijdschrift voor Taalbeheersing 6 (1984) p. 137-143

Drop, W. en J. de Vries, Taalbeheersing, handboek voor taalhantering. Groningen 1977.

Looymans, P. en H. Palm, Taalbeheersingsonderzoek, Een methodologische inleiding. Groningen 1983

Looymans. P. en H. Palm, Empirisch taalbeheersingsonderzoek. Utrecht: Instituut de Vooys voor Nederlandse taal- en letterkunde, 1984

Renkema, J., Schrijfwijzer, Handboek voor duidelijk taalgebruik. 's Gravenhage 1982

Vroom, B., Plussen en minnen van een pretstmethode, Een verkennend onderzoek naar de plus-en-min methode. Breda: GGD Stadsgewest Breda, 1985

Woerkum, C. van, Pretesten in de schriftelijke voorlichting. In: Massacommunicatie 3 (1975) p. 183-207

Woerkum, C. van, Voorlichting en massacommunicatie, Het werkplan van de massamediale voorlichting. Diss. Wageningen, 1982

Wijvekate, M., Verklarende statistiek. Utrecht/Antwerpen, 1979