Tijdschrift voor Taalbeheersing. Jaargang 16

[p. 227]

De pretest als schakel in het tekstontwerpproces
M.D.T. de Jong en P.J. Schellens

Samenvatting

Een pretest is één van de instrumenten die in een tekstontwerpproces kunnen worden ingezet om de kwaliteit van het uiteindelijke produkt te optimaliseren. In het onderzoeksproject Pretesten¹ wordt gewerkt aan een verantwoorde standaard-opzet voor het pretesten van voorlichtingsbrochures. Eén van de vragen die in dat onderzoeksproject centraal staan, is die naar de waarde van een (probleemopsporende) pretest met een combinatie van twee methoden: de plus-en-minmethode en een halfgestructureerd interview. Deze vraag wordt beantwoord door bij een aantal brochures steeds de kwaliteit te vergelijken van de oorspronkelijke en een op grond van pretestesultaten gereviseerde versie. Beschreven worden twee deelonderzoeken, waarin twee (persuasieve) brochures over alcoholgebruik centraal staan. In beide gevallen heeft de pretest geleid tot een verbetering in de waardering door de doelgroep. In één geval is er bovendien sprake van een verbetering in de effectiviteit: de gereviseerde versie blijkt beter geschikt om de opvattingen en gedragsintenties van de doelgroep te beïnvloeden.

1 Het onderzoeksproject Pretesten, waarvan dit artikel de neerslag is, wordt uitgevoerd in opdracht van de Voorlichtingsraad.

1 Inleiding

Een pretest wordt over het algemeen gezien als een nuttige stap in een tekstontwerpproces. Over de verschillende manieren van pretesten is de afgelopen jaren dan ook al veel geschreven (in het Nederlandse taalgebied bijvoorbeeld: Jansen e.a., 1989; Kanters en Wieberdink, 1990; Vroom, 1994). Toch is op de keper beschouwd de empirische ondersteuning voor het pretesten tot nu toe uiterst beperkt gebleven. Het merendeel van de literatuur over pretesten bevat adviezen, die gebaseerd zijn op praktijkervaringen en het gezonde verstand, of die een vertaling zijn van meer algemene methodologische beginselen². Daarnaast zijn in de literatuur de nodige praktijkbeschrijvingen te vinden. Die beschrijvingen zijn bedoeld om te laten zien op welke manier een bepaalde pretest is opgezet en uitgevoerd, of om te tonen wat voor verrassende resultaten een pretest kan opleveren. Er is slechts een beperkt aantal studies waarin het pretesten object van onderzoek is. Die studies zijn zeer uiteenlopend in vraagstelling en opzet en over het algemeen beperkt van omvang. Van een coherent totaalbeeld is dus geen sprake. In 1991 zijn wij begonnen met een onderzoeksproject Pretesten, dat gezien kan worden als een poging om in deze lacune te voorzien. In opdracht van de Voorlichtingsraad wordt op basis van empirisch onderzoek een standaard-pretest voor overheidsbrochures ontwikkeld.

Eén van de hoofdvragen in het onderzoeksproject is die naar de validiteit van een pretest met een combinatie van twee methoden; de plus-en-minmethode en een halfgestructureerd interview. Voor deze combinatie van methoden is gekozen op grond van een uitgebreide literatuurstudie, waarin de beschikbare pretestmethoden zijn geïnventariseerd en is nagegaan wat er tot nu toe kan worden gezegd over de waarde van die methoden (De Jong & Schellens, 1993). Uit dat onderzoek komt de plus-en-minmethode als veelbelovende optie naar voren. In het kort komt die methode erop neer dat proefpersonen tijdens het lezen van een tekst plussen en minnen in de kantlijn zetten bij respectievelijk positief en negatief gewaardeerde passages, waarna in een individueel interview achteraf de redenen voor de plussen en minnen worden achterhaald.

De plus-en-minmethode heeft zowel inhoudelijke als praktische voordelen. De prak-

2 Hierbij is bijvoorbeeld te denken aan algemene richtlijnen voor interviews, groepsgesprekken en hardop-denkonderzoek.

[p. 228]

tische voordelen zijn de brede inzetbaarheid en het gemak waarmee een pretest met die methode kan worden opgezet en uitgevoerd. Een belangrijk inhoudelijk voordeel is dat de methode de mogelijkheid biedt om een grote hoeveelheid en een grote verscheidenheid aan lokale tekstproblemen op het spoor te komen, zonder dat het leesproces van de proefpersonen daardoor ernstig lijkt te worden verstoord. Ook de ongerichtheid van de methode kan als voordeel worden gezien: de proefpersonen kunnen zelf bepalen welke tekstproblemen zij aan de orde stellen, en zijn bij hun tekstbeoordeling dus niet beperkt door de evaluatievragen die de voorlichter of onderzoeker vooraf heeft kunnen bedenken. Daarmee lijkt de methode bij uitstek geschikt om onverwachte effecten in een tekst op het spoor te komen. Het belangrijkste nadeel van de plus-en-minmethode is dat de proefpersonen worden ingeschakeld als tekstbeoordelaars en niet als tekstgebruikers. Daardoor is het onduidelijk of een adequaat beeld wordt verkregen van de selectie-, begrips- en toepassingsproblemen in een tekst. Immers, het is de vraag in hoeverre proefpersonen zelf een correcte inschatting kunnen geven van de mate waarin zij in een reële gebruikssituatie met een tekst uit de voeten kunnen (zie bijvoorbeeld Baker, 1985; 1989).

Eén beperking van de plus-en-minmethode heeft ertoe geleid dat de methode in ons onderzoek steeds wordt gecombineerd met een halfgestructureerd interview: de plus-en-minmethode lijkt de aandacht van de proefpersonen vooral te richten op problemen die ‘verankerd’ kunnen worden in de tekst (De Jong, 1991). Maar er zijn ook tekstproblemen denkbaar waarbij die verankering niet of niet goed mogelijk is. Te denken is bijvoorbeeld aan structurele of globale tekstkenmerken of aan ontbrekende informatie in de brochure: het is bij dergelijke problemen lang niet altijd duidelijk waar een proefpersoon zijn plusje of minnetje moet zetten. Om die reden krijgen de proefpersonen in ons onderzoek ook steeds een aantal vragen over de brochure voorgelegd. De combinatie van de plus-en-minmethode en een halfgestructureerd interview is in de adviesliteratuur ook te vinden bij Vroom (1994).

In dit artikel rapporteren wij over twee deelonderzoeken naar de validiteit van de genoemde combinatie van pretestmethoden. Voordat wij dat doen, zullen wij in paragraaf 2 ingaan op de plaats van een pretest in het tekstontwerpproces, en in paragraaf 3 de opties bespreken die er zijn om de validiteit van pretestmethoden te onderzoeken.

2 De pretest en het tekstontwerpproces

Wij vatten de term ‘pretesten’ ruim op. Elke poging die een voorlichter of onderzoeker doet om op systematische wijze meer te weten te komen over de kwaliteit van zijn (bijna definitieve) schrijfprodukt in relatie tot de beoogde doelgroep, valt naar onze mening onder het begrip. Een beeld van het scala aan methoden dat binnen deze opvatting van pretesten valt, kan worden verkregen aan de hand van de indeling van Schriver (1989) in typen evaluatiemethoden: tekstgerichte methoden (hulpmiddelen voor een bureauanalyse), expertgerichte methoden (inschakeling van deskundigen) en doelgroepgerichte methoden (voorleggen van de tekst aan een steekproef uit de doelgroep). Een overzicht van concrete pretestmethoden wordt gegeven door De Jong & Schellens (1993).

Een pretest wordt ingezet op het moment dat er een voorlaatste versie van een brochure op tafel ligt. In veel gevallen zal het gaan om een geheel nieuw geschreven brochure. Maar ook de herdruk van een bestaande brochure (al dan niet met inhoudelijke of tekstuele wijzigingen) of de notie dat een bepaalde brochure ‘het niet goed doet’ bij de doelgroep, kunnen aanleiding geven tot het uitvoeren van een pretest.

Een pretest kan verschillende functies hebben in het tekstontwerpproces. Op grond

[p. 229]

van het type beslissing in het ontwerpproces dat de pretest moet ondersteunen, onderscheiden wij toetsing, probleemopsporing en keuzeverantwoording als mogelijke functies van een pretest (zie ook De Jong & Schellens, 1993, p. 13-17).

Het doel van een toetsende pretest is convergente uitspraken te doen over een tekst of over aspecten van een tekst. De centrale vraag van een toetsende pretest is in hoeverre de tekst voldoet aan de kwaliteitseisen die door de organisatie worden gesteld. Een dergelijke uitspraak is van belang als er bijvoorbeeld een beslissing moet worden genomen over het al dan niet verspreiden of (her)drukken van een brochure. Een pretest met deze functie vereist een kwantitatieve onderzoeksopzet. Er moet dus worden gewerkt met een betrekkelijk grote steekproef en een gestructureerde dataverzameling. De resultaten van een toetsende pretest laten zich uitdrukken in een cijfermatige indicatie over (aspecten van) de tekstkwaliteit, waarvan de interpretatie met behulp van statistische bewerkingen kan worden ondersteund.

Met een probleemopsporende pretest worden divergente uitspraken gedaan over een tekst: het gaat om het opsporen van de problemen die zich in de tekst voordoen. Onder problemen verstaan wij: discrepanties tussen werkelijke en optimale tekstkenmerken, gegeven de doelgroep en de brochuredoelstellingen. Een probleemopsporende pretest levert de input voor de finale revisie van een tekst. Een pretest met deze functie vereist een kwalitatieve onderzoeksopzet. Er kan gewerkt worden met een relatief kleine steekproef: bij de rijksoverheid wordt bijvoorbeeld een steekproefomvang van 15 tot 20 proefpersonen aangehouden (De Haas, 1993); in minder grootschalige ontwerpprocessen kan een probleemopsporende pretest met nog minder proefpersonen ook al zijn nut hebben. Maar het is van belang dat er bij elke proefpersoon een goed en gedetailleerd beeld ontstaat van de problemen die hij in de tekst signaleert. Het resultaat van een probleemopsporende pretest is een lijst met brochureproblemen, waarvan de herschrijver op inhoudelijke gronden moet besluiten of hij ze al dan niet honoreert in de revisie.

Een keuzeverantwoordende pretest is van belang als er in het ontwerpproces twee of meer alternatieve brochures of brochure-onderdelen zijn vervaardigd. Het gaat er dan om, de juiste keuze tussen deze alternatieven te maken. Dat kan door bij alle alternatieven een toetsende pretest uit te voeren, en de scores te vergelijken. Het kan ook door proefpersonen rechtstreeks een keuze te laten maken tussen de alternatieven. Een keuzeverantwoordende pretest kan zowel kwalitatief als kwantitatief worden opgezet. Een kwalitatieve opzet is mogelijk als het gaat om een inventarisatie van de relevante overwegingen die bij de keuze een rol moeten spelen; een kwantitatieve opzet is noodzakelijk als de proefpersonen uiteindelijk besluiten welke versie gekozen wordt.

De relatie tussen de pretest en de uiteindelijke tekstkwaliteit verschilt bij de drie pretestfuncties. Bij toetsende pretests wordt gestreefd naar een directe kwaliteitsgarantie van het eindprodukt. De bijdrage van probleemopsporende en keuzeverantwoordende pretests aan de kwaliteit van het eindprodukt is dat zij een deel van de beslissingen in het ontwerpproces op gefundeerde wijze ondersteunen. De uiteindelijke tekstkwaliteit moet in dat geval echter mede gegarandeerd worden door een adequaat voortraject in het tekstontwerpproces. Een inadequaat voortraject heeft bij een toetsende pretest tot gevolg dat de uiteindelijke tekst zal worden afgewezen, en dat het ontwerpproces eventueel opnieuw wordt gestart. Bij een keuzeverantwoordende pretest leidt het ertoe dat de versie die uiteindelijk wordt gekozen (‘de minst slechte versie’), nog verre van optimaal is. Bij een probleemopsporende pretest ligt de zaak minder eenduidig. Voor een deel zal een dergelijke pretest missers in het voortraject ongedaan kunnen maken. Maar voor het oplossen van fundamentele problemen met de opzet en de benadering van de tekst (als

[p. 230]

er, met andere woorden, eigenlijk een heel ander soort brochure geschreven had moeten worden) lijkt het instrument niet krachtig genoeg.

Voor de praktijk van de Nederlandse overheidsvoorlichting lijkt een probleemopsporende pretest het meest relevant. Een keuzeverantwoordende pretest vereist dat er verschillende versies van een tekst of tekstgedeelte worden geproduceerd. Dat gebeurt in de voorlichting - anders dan bijvoorbeeld in de reclame - niet veel. Een toetsende pretest heeft als belangrijkste nadelen: (1) dat het moeilijk is om geldige criteria vast te stellen aan de hand waarvan de pretestresultaten geïnterpreteerd kunnen worden, en (2) dat een dergelijke pretest doorgaans geen concrete aanwijzingen oplevert voor het verbeteren van ongunstig beoordeelde teksten. Een voorlichter die zijn toetsende pretestresultaten serieus neemt, herstart bij een ongunstig oordeel het ontwerpproces, of voert op dat moment alsnog een probleemopsporende pretest uit. Maar daarvoor ontbreekt in de voorlichtingspraktijk normaal gesproken de tijd.

In de praktijk wordt een probleemopsporende testfunctie vaak gecombineerd met een functie die hierboven niet is genoemd: pseudo-toetsing. De vraagstelling van een pseudo-toetsende pretest is - net als bij de toetsende pretest - convergent, maar de onderzoeksopzet is niet kwantitatief: er wordt gewerkt met een kleine steekproef (15 tot 20 proefpersonen) en/of met minder gestructureerde manieren van dataverzameling (open vragen). Een pseudo-toetsende pretest is een vrij zwak instrument in het ontwerpproces, dat onzes inziens alleen kan dienen om - als aanvulling op een probleemopsporende pretest - heel grove indicaties te krijgen van de brochurekwaliteit. Met andere woorden: om uit te sluiten dat de plank volledig wordt misgeslagen met de voorlichting.

3 Validiteitsonderzoek naar probleemopsporende pretestmethoden

Over de validiteit van een probleemopsporende pretestmethode kunnen op verschillende manieren uitspraken worden gedaan. De twee meest voor de hand liggende opties zijn onzes inziens: (1) onderzoek naar de congruente validiteit, en (2) onderzoek naar de predictieve validiteit. Bij de congruente validiteit gaat het om een vergelijking van de resultaten van concurrerende pretestmethoden. In het geval van de plus-en-minmethode kan bijvoorbeeld gedacht worden aan een vergelijking met de signalled stopping technique of met de hardop-leesmethode: alle drie deze methoden hebben een probleemopsporende testfunctie en zijn ongericht, dus de vraag lijkt gerechtvaardigd in hoeverre hun resultaten overeenkomen (zie De Jong & Schellens, 1993, p.39-50). Bij de predictieve validiteit gaat het om de vraag in hoeverre de problemen die in de pretest aan het licht komen, in werkelijkheid serieuze belemmeringen zijn voor de effectiviteit of de kwaliteit van de brochure.

Gezien de beperkte hoeveelheid onderzoek die tot nu toe is gewijd aan het pretesten, geven wij voorrang aan onderzoek naar de predictieve validiteit. Immers, alleen op die manier wordt een antwoord gegeven op de voor de voorlichtingspraktijk meest relevante vraag in hoeverre een pretest (in ons geval: met de plus-en-minmethode en een halfgestructureerd interview) een zinvolle stap is in het ontwerpproces van brochures. Onderzoek naar de congruente validiteit wordt vooral interessant, als eenmaal is vastgesteld dat de plus-en-minmethode een waardevol pretestinstrument kan zijn.

Overigens wordt het beeld dat in het onderzoeksproject ontstaat van de waarde van de plus-en-minmethode (en een halfgestructureerd interview) gecompleteerd met onderzoek waarin de congruente validiteit centraal staat. Zo zijn in het verlengde van het onderzoeksproject³ tot nu toe twee onderzoeken uitgevoerd waarin de resultaten van de

3 Deze onderzoeken zijn verricht in het kader van een scriptieproject dat in samenwerking met Leo Lentz (afdeling Taalbeheersing, Universiteit Utrecht) wordt uitgevoerd.

[p. 231]

plus-en-minmethode zijn vergeleken met die van andere methoden. Presburg (1993) vergelijkt de plus-en-minmethode met de in de voorlichtingspraktijk ook wel gebruikte signalled stopping technique, en concludeert dat de signalled stopping technique zoals die in de voorlichtingspraktijk wordt ingezet, vaak niet veel meer is dan een ‘vermomde’ plus-en-minmethode, en dat de plus-en-minmethode meer en betere feedback oplevert over een tekst. De Jong, Lentz & Zeelen (in voorbereiding) vergelijken de resultaten van de plus-en-minmethode met die van een evaluatie door professionele tekstschrijvers, en komen tot de conclusie dat beide methoden overwegend verschillende resultaten opleveren. Andere onderzoeken waarin de congruente validiteit van pretestmethoden centraal staat, zijn te vinden bij Dieli (1986) en Lentz & Pander Maat (1993).

De predictieve validiteit van de plus-en-minmethode kan ruwweg op twee manieren worden onderzocht. In de eerste plaats kan geprobeerd worden om rechtstreeks een uitspraak te doen over de waarde van de problemen die in een pretest met de betreffende methode worden opgespoord. In de tweede plaats kan gekeken worden naar effectiviteits- en kwaliteitsverschillen tussen oorspronkelijke en op grond van pretestresultaten gereviseerde versies van brochures. In het laatste geval vormt de revisie op grond van pretestresultaten dus een noodzakelijke tussenstap in het onderzoek. Wij zullen hieronder uitgebreider stilstaan bij de mogelijkheden en beperkingen van beide benaderingen.

In de literatuur wordt vooralsnog maar één manier beschreven om rechtstreeks een indicatie te krijgen van de waarde van pretestproblemen: door te werken met teksten waarin door de onderzoeker problemen zijn aangebracht, en te kijken in hoeverre de proefpersonen in staat zijn om die problemen te ontdekken. Deze benadering is veelvuldig toegepast in onderzoek met een geheel andere doelstelling, namelijk om zicht te krijgen op de ‘comprehension monitoring’ van lezers (zie bijvoorbeeld Baker, 1985; 1989). In de context van pretestmethoden is de werkwijze tot op heden alleen terug te vinden bij Schuurs, Van den Bergh & Verhoeven (1991): zij gaan na in hoeverre twintig door henzelf in een tekst aangebrachte problemen met verschillende varianten van de plusen-minmethode aan het licht komen. De vooronderstellingen van dergelijk onderzoek - de onderzoeker gaat er kennelijk van uit dat de door hem aangebrachte problemen werkelijke problemen zijn en dat de onderzochte tekst geen andere problemen bevat - doen onzes inziens echter geen recht aan het karakter van probleemopsporende pretests. Wie dergelijke vooronderstellingen aanvaardt, hecht zonder reden meer waarde aan het oordeel van deskundigen dan aan de resultaten van een pretest.

Alternatieven binnen de rechtstreekse benadering zijn evenwel denkbaar. Het bovengenoemde bezwaar wordt enigszins weggenomen als de rol van deskundigen wordt teruggebracht van een actieve (zelf aangeven wat de brochureproblemen zijn) naar een reactieve (evalueren van de problemen die in de pretest zijn opgespoord). Te denken is aan een onderzoeksopzet waarin de lijst met opgespoorde problemen wordt voorgelegd aan deskundigen, met de opdracht om bij elk probleem te scoren op het belang/werkelijkheidsgehalte ervan. Daarvoor is het wel nodig dat er deskundigen worden gevonden die aantoonbaar een reële inschatting kunnen geven van de leesvaardigheid, de opvattingen en de voorkeuren van de doelgroep.

De rol van deskundigen kan - nog steeds binnen de rechtstreekse benadering - geheel worden uitgeschakeld als er wordt gewerkt met een criteriumtoets. Een criteriumtoets aan de hand waarvan alle pretestresultaten geëvalueerd kunnen worden, lijkt bij een ongerichte probleemopsporende pretestmethode niet goed denkbaar. Maar het is wel mogelijk om op onderdelen een dergelijke toets te construeren, met name voor de begripsproblemen die in de pretest zijn ontdekt. Aan de andere kant moet gesteld wor-

[p. 232]

den dat een groot deel van de ontdekte pretestproblemen in dat geval buiten schot blijft: bij de drie persuasieve voorlichtingsbrochures die wij tot nu toe hebben gepretest, bedroeg het aantal begripsproblemen gemiddeld ongeveer 20 procent van het totaal (Schellens & De Jong, te verschijnen). Bovendien wordt in een dergelijk onderzoek voorbijgegaan aan de eventuele begripsproblemen die niet in de pretest boven tafel zijn gekomen.

Het lijkt dus moeilijk om rechtstreeks een adequaat beeld te verkrijgen van de waarde van pretestproblemen. En ook als er een geschikte manier wordt gevonden om het belang van deze problemen rechtstreeks te onderzoeken, dan kleeft aan deze benadering nog een praktisch bezwaar: tekstproblemen worden in deze optiek opgevat als absolute kenmerken; gezien de pretestfunctie in het tekstontwerpproces lijkt het vruchtbaarder en realistischer om problemen op te vatten als discrepanties tussen werkelijke en optimale brochurekenmerken. Immers, een serieus probleem waarvoor geen adequate oplossing mogelijk blijkt, levert geen enkele bijdrage aan de kwaliteit van het eindprodukt.

De tweede benadering betreft een evaluatieve vergelijking van oorspronkelijke en op grond van pretestresultaten gereviseerde tekstversies. Hierbij worden de met de pretest opgespoorde problemen opgelost, en wordt vervolgens nagegaan of de oplossingen door anderen als reële verbeteringen worden onderkend. Deze benadering is terug te vinden bij Swaney e.a. (1981), Micklos & Bishop (1982) en Vroom (1987), respectievelijk voor de hardop-leesmethode, de signalled stopping technique en de plus-en-minmethode. Op deze manier wordt tegemoetgekomen aan alle bovengenoemde bezwaren, maar in ruil daarvoor wordt wel een ander probleem in het onderzoek betrokken: de kwaliteit en de eigen inbreng van de herschrijver. De verschillen tussen de oorspronkelijke en een gereviseerde brochureversie zijn niet alleen afhankelijk van de mate waarin de brochureproblemen in de pretest zijn opgespoord, maar ook van de wijze waarop de herschrijver deze in de uiteindelijke brochureversie heeft weten op te lossen. Deze factor is in de zojuist genoemde onderzoeken niet of nauwelijks onder controle gehouden.

Wij hebben gekozen voor de tweede benadering. Daarbij proberen we om de stap van pretestresultaten naar een nieuwe, verbeterde brochureversie zo klein en controleerbaar mogelijk te maken. Een voor de hand liggende mogelijkheid om de invloed van de individuele herschrijver te beperken is het werken met verschillende herschrijvers. Het lijkt echter niet denkbeeldig dat op die manier een aantal sterk uiteenlopende ‘nieuwe versies’ van de brochure ontstaat (zie bijvoorbeeld Renskers, 1993), waardoor het beantwoorden van de centrale vraagstelling van het validiteitsonderzoek al gauw naar de achtergrond verdwijnt. Daarnaast is het de vraag of er op dit moment onder tekstschrijvers in de praktijk al voldoende ervaring is opgedaan met de specifieke schrijftaak ‘reviseren op grond van pretestresultaten’ om een dergelijke onderzoeksopzet te rechtvaardigen.

Daarom kiezen wij ervoor de revisie op grond van de pretestresultaten zelf uit te voeren. Vanzelfsprekend geldt daarbij de richtlijn dat alle revisie-ingrepen ondubbelzinnig en controleerbaar ingegeven moeten zijn door pretestresultaten. In de pretestrapporten (bijvoorbeeld De Jong & Schellens, 1992 en 1994^a) worden onze overwegingen bij het reviseren dan ook steeds geëxpliciteerd. In aanvulling daarop is in een deelonderzoek naar het reviseren op grond van pretestresultaten aan de hand van regelmatigheden in onze eigen revisie-overwegingen en -ingrepen een set revisierichtlijnen opgesteld (De Jong & Schellens, 1994^d; Schellens & De Jong, te verschijnen).

Met de bovenstaande overwegingen zijn en passant de contouren geschetst van het validiteitsonderzoek zoals wij dat uitvoeren. In de volgende paragrafen wordt een beschrijving gegeven van twee deelonderzoeken naar de predictieve validiteit van de plus-en-minmethode (gecombineerd met een halfgestructureerd interview).

[p. 233]

4 Twee validiteitsonderzoeken

De hoofdvraag van het validiteitsonderzoek luidt dus: Leidt revisie op grond van pretestresultaten (die verkregen zijn met een combinatie van de plus-en-minmethode en een halfgestructureerde interview) tot een verbetering in de waardering voor en de effectiviteit van brochures bij de doelgroep? Om deze vraag te beantwoorden, wordt in totaal bij negen brochures de volgende procedure doorlopen:

-	Begonnen wordt met een pretest van de brochure met de hierboven genoemde combinatie van pretestmethoden.
-	Vervolgens wordt de brochure door onszelf op grond van de pretestresultaten gereviseerd. Bij iedere revisiebeslissing worden in de pretestrapporten de relevante overwegingen genoemd.
-	Daarna vindt een split-runsessie plaats: proefpersonen krijgen oorspronkelijke en gereviseerde brochurefragmenten paarsgewijs voorgelegd, en moeten daartussen steeds op een vijfpuntsschaal een gemotiveerde keuze maken. Bij de opzet van dit onderzoek wordt ervoor gezorgd dat de grote lijn van de brochure herkenbaar blijft.
-	Tot slot wordt er een effectmeting uitgevoerd met twee onafhankelijke groepen proefpersonen. Groep 1 krijgt de oorspronkelijke brochureversie, groep 2 de gereviseerde. Beide groepen proefpersonen krijgen een vragenlijst die een afgeleide is van de (informatieve, persuasieve en/of instructieve) doelstellingen van de brochure.

Tot voor kort is deze procedure twee keer doorlopen, eenmaal met de deels informatieve, deels instructieve brochure Huursubsidie 1991-1992 en eenmaal met de meer persuasieve brochure Ik vrij veilig of ik vrij niet. In beide deelstudies werd een positief resultaat geboekt: zowel de waardering voor als de effectiviteit van de brochures bleek significant verbeterd. Omdat van deze deelstudies al elders verslag is gedaan (De Jong & Schellens, 1994^e-f), zullen wij ons in dit artikel beperken tot de twee meest recente deelonderzoeken van het project, naar twee verschillende brochures over alcohol, verwarrend genoeg met dezelfde naam: Do You Know? Do You Care? (De Jong & Schellens, 1992 en 1994^a-c).

In deze paragraaf wordt een korte beschrijving gegeven van beide brochures en van de pretests die met deze brochures zijn uitgevoerd. In de volgende paragrafen worden de opzet en de resultaten van de experimenten met beide brochures beschreven: in paragraaf5 de split-runsessies, in paragraaf 6 de effectmetingen.

Brochures

Beide brochures maken deel uit van de Postbus-51-campagne Do You Know? Do You Care?, maar zijn op verschillende momenten in die campagne in omloop gebracht. De doelgroep bestaat uit jongeren van 15 tot 25 jaar. De kern van de doelgroep wordt gevormd door ‘bierdrinkende jongens’. Doel van beide brochures is om op niet-betuttelende en niet-belerende wijze de risico's van overmatig alcoholgebruik over te brengen.

De eerste door ons geteste brochure (voor het gemak zullen wij in het vervolg spreken van Do You Know? Do You Care? 1) stamt uit de begintijd van de campagne (1990), en is een vouwblad met onder meer de volgende opvallende onderdelen:

-	een onderdeel waarin twee misverstanden over alcohol uit de weg worden geruimd (namelijk dat een glas pils minder alcohol bevat dan een glas sterke drank en dat er middeltjes bestaan om alcohol sneller uit het lichaam kwijt te raken);

[p. 234]

-	een onderdeel met ‘keiharde cijfers’ over de gevolgen van overmatig alcoholgebruik;
-	een onderdeel waarin de mening van drie popsterren - Eric Clapton, Phil Collins en Madonna - over alcohol wordt gegeven.

De tweede door ons geteste brochure (Do You Know? Do You Care? 2) stamt uit het najaar van 1993, en is een wat uitgebreider boekwerkje, waarvan de kern bestaat uit de beantwoording van ‘de tien meest gestelde vragen over alcohol’. Bijvoorbeeld:

-	Hoeveel alcohol zit er in één glas?
-	Hoe werkt alcohol in je lichaam?
-	Hoe voorkom je een kater?

Pretests

Beide brochures zijn door ons gepretest met de plus-en-minmethode en een halfgestructureerd interview. Bij de pretest van Do You Know? Do You Care? 1 werd een steekproef gebruikt van 30 lager opgeleide jongeren (uit de laagste klassen van het kmbo). Deze pretest resulteerde in 52 revisie-ingrepen. Bij de pretest van Do You Know? Do You Care? 2 werd gebruik gemaakt van een meer gemêleerde steekproef van 35 proefpersonen: zowel qua opleidingsniveau als qua leeftijd was er sprake van meer variatie. Deze pretest leidde tot 64 revisie-ingrepen.

5 Opzet en resultaten experiment 1: split-runsessie

Opzet

In de eerste plaats is bij beide brochures in een split-runsessie onderzocht in hoeverre de revisie op grond van pretestresultaten heeft geleid tot een verbetering in de waardering voor de tekst. In dit experiment moesten per brochure 40 proefpersonen - 20 lager opgeleide en 20 hoger opgeleide mannen van 15 tot 25 jaar - op een vijfpuntsschaal een gemotiveerde keuze maken tussen twee versies van brochurefragmenten. Bij Do You Know? Do You Care? 1 ging het om 30 fragmenten; bij Do You Know? Do You Care? 2 om 28. De belangrijkste uitkomst van een dergelijk experiment is de gemiddelde score bij ieder fragment. Op die manier wordt steeds feedback verkregen op een beperkt aantal revisieingrepen. Daarbij is de score 3 neutraal (er is geen waarderingsverschil tussen beide versies). Een score lager dan 3 wijst op een voorkeur voor de oorspronkelijke versie, een score hoger dan 3 op een voorkeur voor de gereviseerde versie. Om te bepalen of de gevonden scores significant zijn, zijn 95%-betrouwbaarheidsintervallen berekend: als deze intervallen geheel onder of geheel boven de neutrale score (3) liggen, is er sprake van respectievelijk een significante verslechtering of een significante verbetering.

Resultaten

De resultaten van een split-runsessie worden in de onderzoeksrapporten (De Jong & Schellens, 1994^b-c) per fragment gepresenteerd. In dit artikel moeten wij volstaan met een globale indruk van de resultaten, en wel op twee manieren: (1) de gemiddelde score van de proefpersonen over alle brochurefragmenten, en (2) een globaal overzicht van de scores per brochurefragment. Dat laatste gebeurt door de scores bij alle fragmenten in te delen in: significant positieve, niet-significant positieve, neutrale, niet-significant negatieve en significant negatieve scores. De resultaten zijn voor beide brochures weergegeven in de tabellen 1 en 2.

[p. 235]

Tabel 1: Overall-score split-runsessies (Gemiddelde score op een vijfpuntsschaal over alle fragmenten)

	gemiddelde score	95%-betrouwbaarheidsinterval
Do You Know? Do You Care? 1	3.17	3.09 ↔ 3.25*
Do You Know? Do You Care? 2	3.32	3.23 ↔ 3.41*

NB: 1 duidt op een voorkeur voor de oorspronkelijke versie; 5 op een voorkeur voor de gereviseerde versie.

Tabel 2: Overzicht van de split-runscores per brochurefragment

	significant positief	positief (n.s.)	neutraal	negatief (n.s.)	significant negatief
Do You Know? Do You Care? 1	9	10	1	7	3
Do You Know? Do You Care? 2	12	10	0	5	1

De belangrijkste bevinding in het eerste experiment is dat de revisie op grond van pretestresultaten bij beide brochures heeft geleid tot een significante verbetering in de waardering van de doelgroep. Toch moet daarbij worden opgemerkt dat de mate waarin de brochures zijn verbeterd, op het eerste gezicht niet indrukwekkend lijkt. Dat zou erop kunnen duiden dat onze revisie-ingrepen niet altijd geslaagd zijn geweest of dat de oorspronkelijke versies van beide brochures al behoorlijk goed waren. Aan de andere kant zijn er goede gronden om aan te nemen dat deze split-runresultaten een onderschatting zijn van de werkelijke verbetering in de waardering. Bij de interpretatie van de resultaten moeten de volgende punten in overweging worden genomen.

Het is om twee redenen niet realistisch om bij alle paarsgewijs vergeleken fragmenten een positieve split-runscore te verwachten. In de eerste plaats zijn wij bij de revisie van de brochures onmatig te werk gegaan: als er geen goede inhoudelijke gronden waren om het commentaar van proefpersonen op een fragment terzijde te leggen, hebben wij een revisie-ingreep uitgevoerd. Dat heeft enerzijds geleid tot een relatief groot aantal ingrepen per brochure (namelijk 52 en 64), maar heeft anderzijds tot gevolg gehad dat een aantal (vooral kleine) revisie-ingrepen valt in de categorie ‘baat het niet dan schaadt het niet’. Als proefpersonen in een split-runsessie minimale varianten krijgen voorgelegd, ligt een significante voorkeur voor één van beide niet voor de hand. In de tweede plaats zijn niet alle revisie-ingrepen rechtstreeks gerelateerd aan de waardering van de doelgroep voor de brochure. Als er bijvoorbeeld een begrips- of aanvaardingsprobleem is opgelost, zou dat in de eerste plaats moeten resulteren in een verbetering van de effectiviteit: de informatie komt beter over of de brochure is overtuigender. Daarnaast kan een dergelijke ingreep leiden tot een verbeterde waardering voor de brochure, maar dat hoeft niet het geval te zijn. Het is zelfs niet uitgesloten dat een split-runscore in dat geval negatief uitvalt. De split-runscores van de zojuist geschetste soorten ingrepen hebben een negatieve invloed op het totaalbeeld zoals dat in de tabellen 1 en 2 is geschetst.

Daarnaast was het aantal significante (positieve dan wel negatieve) split-runscores bij de lager opgeleide proefpersonen opvallend veel kleiner dan bij de hoger opgeleiden,

[p. 236]

namelijk 5:11 bij Do You Know? Do You Care? 1 en zelfs 4:17 bij Do You Know? Do You Care? 2. Het lijkt aannemelijk dat het vergelijken en evalueren van alternatieve tekstfragmenten lager opgeleide jongeren minder gemakkelijk afgaat. Een reactie die bij deze proefpersonen na afloop van het experiment nogal eens te horen was, luidde: ‘Maar er staat eigenlijk steeds bijna hetzelfde!’. De scores van de lager opgeleiden die moeite hadden met hun vergelijkings- en beoordelingstaak, kunnen de resultaten van de splitrunsessies in negatieve zin beïnvloeden.

Met dit alles is niet gezegd dat de split-runsessie een minderwaardig onderzoeksinstrument zou zijn. In tegendeel: als het gaat om een gedetailleerde vergelijking van de waardering voor twee brochureversies is er onzes inziens geen geschikter instrument voorhanden. Op grond van het eerste experiment mag worden geconcludeerd dat de revisie op grond van pretestresultaten bij beide brochures heeft geleid tot een aantal duidelijke verbeteringen, maar van een aantal ingrepen kon in dit experiment het nut niet worden aangetoond. Het overall-beeld is positief. De incidentele fragmenten waarin een significante verslechtering is opgetreden, verdienen aandacht in onderzoek naar het reviseren op grond van pretestresultaten. Wellicht kunnen op die manier enkele minder geslaagde revisiestrategieën worden geïdentificeerd.

6 Opzet en resultaten experiment 2: effectmeting

Opzet

Het tweede experiment gaat een stap verder dan de split-runsessies: in plaats van de waardering voor de brochures staat de effectiviteit van de brochures centraal. In dit experiment is geprobeerd om met twee onafhankelijke groepen proefpersonen verschillen in effecten vast te stellen tussen oorspronkelijke en gereviseerde brochureversies. Het ging daarbij met name om (1) de kennisbeïnvloeding, en (2) de beïnvloeding van de opvattingen en gedragsintenties. Dat laatste is te beschouwen als het hoofdeffect van de beide (in hoofdzaak persuasieve) brochures.

In dit onderzoek ging het om de onmiddellijke effecten van de brochure. Om praktische redenen was een meer op de lange termijn georiënteerde benadering niet mogelijk: als er langere tijd zou zitten tussen de blootstelling aan de brochure en de meting van de beïnvloeding, zouden storende variabelen (bijvoorbeeld: contact tussen proefpersonen onderling en kennisname van andere informatiebronnen, onder andere de op dat moment in omloop zijnde versie van Do You Know? Do You Care? 2) niet onder controle gehouden kunnen worden. Vooronderstelling in het onderzoek is dat de onmiddellijke effecten een voorwaarde zijn voor effecten op termijn, hoewel het duidelijk is dat voor een blijvend effect meer nodig is.

Bij beide brochures werd gewerkt met twee groepen van 40 proefpersonen. Om dicht bij de kern van de doelgroep te blijven, werden alleen mannelijke proefpersonen gebruikt. In de groepen waren lager en hoger opgeleide proefpersonen in gelijke mate vertegenwoordigd. Vanwege de relatief kleine steekproeven werd gewerkt met een vooren een natoets. Daarbij werd gekozen voor een gekruist design: de voortoets van de ene groep proefpersonen was de natoets van de andere.

Om de kennisbeïnvloeding te meten, werd de proefpersonen in voor- en natoets een aantal stellingen over alcohol en alcoholgebruik voorgelegd, waarvan zij steeds moesten aangeven of die juist of onjuist waren. Bij Do You Know? Do You Care? 2 ging het om veertien stellingen per toets; bij Do You Know? Do You Care? 1 konden slechts zeven stellingen per toets worden opgenomen. Het aantal goed beantwoorde vragen in voor- en natoets is genomen als maat voor de kennisbeïnvloeding.

[p. 237]

Om de beïnvloeding van de opvattingen en de gedragsintenties te meten, werden de proefpersonen in voor- en natoets achttien uitspraken over alcoholgebruik voorgelegd, waarbij zij steeds op een negenpuntsschaal moesten aangeven in hoeverre zij het ermee eens waren. Bij de vergelijking van voor- en natoets ging het om de totaalscore op de achttien schalen.

Resultaten

Tot zover de opzet van het tweede experiment, dat voor beide brochures in grote lijnen gelijk verliep. In de tabellen 3 en 4 worden de belangrijkste resultaten van Do You Know? Do You Care? 1 gegeven.

Tabel 3: Kennisbeïnvloeding Do You Know? Do You Care? 1 (Aantal correcte items, van de 7)

	versie 1	versie 2
voortoets	3.83	3.68
natoets	5.98	5.73
verschil voor- en natoets	2.15	2.05

Tabel 4: Beïnvloeding opvattingen en intenties Do You Know? Do You Care? 1 (Gemiddelde score op een negenpuntsschaal)

	versie 1	versie 2
voortoets	4.41	4.54
natoets	4.37	4.20
verschil voor- en natoets	.04	.34
NB: 1 is de meest gunstige score; 9 de meest ongunstige score.

De resultaten zijn getoetst met een ‘within subjects’ variantie-analyse, waarbij het opleidingsniveau van de proefpersonen als covariant is meegenomen. Wat betreft de kennisbeïnvloeding is er geen significant verschil waargenomen tussen de oorspronkelijke en de gereviseerde versie van de brochure (F=.08; p=.780). Wat betreft de beïnvloeding van opvattingen en gedragsintenties scoort de nieuwe brochureversie echter wèl significant beter dan de oorspronkelijke. De belangrijkste toetsingsresultaten daarvan staan in tabel 5. Uit deze tabel kan worden geconcludeerd dat er sprake is van een significant verschil tussen de scores in de voor- en de natoets (beïnvloeding), en - daar gaat het in dit onderzoek om - dat er een significant interactie-effect is met de brochureversie.

In de tabellen 6 en 7 staan de resultaten van de brochure Do You Know? Do You Care?2. Bij deze brochure zijn geen significante verschillen tussen beide brochureversies vast gesteld, zowel bij de kennisbeïnvloeding (F=.46; p=.499) als bij de beïnvloeding van opvattingen en gedragsintenties (F=.95; p=.334).

[p. 238]

Tabel 5: Resultaten variantie-analyse opvattingen en gedragsintenties

	SS	df	MS	F	p
between subjects:
binnen cellen	50697.23	75	675.96
regressie	4020.02	1	4020.02	5.95	.017
testversie	1638.40	1	1638.40	2.42	.124
within subjects:
binnen cellen	5501.85	76	72.39
beïnvloeding	476.10	1	476.10	6.58	.012*
beïnvloeding x versie	297.02	1	297.02	4.10	.046*

Tabel 6: Kennisbeïnvloeding Do You Know? Do You Care? 2 (Aantal correcte items, van de 14)

	versie 1	versie 2
voortoets	6.63	7.32
natoets	9.63	10.00
verschil voor- en natoets	3.00	2.68

Tabel 7: Beïnvloeding opvattingen en intenties Do You Know? Do You Care? 2 (Gemiddelde score op een negenpuntsschaal)

	versie 1	versie 2
voortoets	4.57	4.68
natoets	4.54	4.45
verschil voor- en natoets	.03	.33
NB: 1 is de meest gunstige score; 9 de meest ongunstige score.

In het geval van Do You Know? Do You Care? 1 mogen de resultaten van de effectmeting als positief worden beoordeeld. Immers, juist op de persuasieve hoofddoelstelling van de brochure is een significant verschil tussen beide versies geconstateerd. Dat er bij de kennisvragen geen significante verbetering is vastgesteld, is mogelijk te wijten aan de geringe hoeveelheid informatie in de brochure en - dientengevolge - het geringe aantal kennisvragen in de toets. Bovendien kan gedacht worden aan een plafond-effect.

In het geval van Do You Know? Do You Care 2 zijn de resultaten minder gunstig. Van overall-beïnvloedingsverschillen tussen beide brochureversies is geen sprake. Wat betreft de kennisbeïnvloeding kan gesteld worden dat de oorspronkelijke brochureversie kennelijk al behoorlijk goed was: immers, beide versies van de brochure leveren een

[p. 239]

duidelijke bijdrage aan de kennis van de proefpersonen. Wat betreft de beïnvloeding van opvattingen en gedragsintenties gaat deze verklaring niet op: er blijkt namelijk ook geen significant verschil te zijn tussen de voor- en de nameting (F=1.68, p=.199). De brochure is dus wellicht minder geschikt om de opvattingen en de gedragsintenties van de doelgroep te beïnvloeden.

Met deze constatering lijken wij te stuiten op de grenzen van een probleemopsporende pretest, zoals die eerder in dit artikel (in paragraaf 2) al zijn aangestipt. De pretest heeft in dit geval geleid tot een behoorlijk aantal ingrepen, die zich in de split-runsessie hebben gemanifesteerd als duidelijke verbeteringen. Toch is er geen verbetering opgetreden in de persuasieve kracht van de brochure, hoewel de brochure juist op dat punt allerminst optimaal blijkt. Een mogelijke verklaring daarvoor ligt in de globale opzet en benadering van de brochure: wellicht is een brochure die voornamelijk feitelijke informatie over het voetlicht brengt, niet voldoende om de opvattingen en gedragsintenties van de doelgroep ten aanzien van alcoholgebruik te beïnvloeden. In de pretest is op dit punt geen commentaar gekomen, en het lijkt ook niet realistisch om daarop feedback te verwachten. Immers, daarvoor is het nodig dat proefpersonen ‘over het globale tekstontwerp heen’ kijken naar de informatie die nodig is om een bepaald persuasief effect te bereiken bij de doelgroep. Zij moeten daarvoor ‘los komen’ van de concrete tekst die voor hen ligt, en tijdelijk op de stoel van de voorlichter gaan zitten.

Met andere woorden: als er in het voortraject van een brochure sprake is van een grote ontwerpvrijheid, moeten daarin gemotiveerde en gefundeerde keuzes worden gemaakt voor de globale brochure-opzet en -benadering. Er bestaat geen grond om uitsluitend te vertrouwen op de feedback die uit een probleemopsporende pretest komt. De waarde van een pretest lijkt zich voor een belangrijk deel te beperken tot tekstoptimalisatie binnen de eerder gekozen brochure-opzet en -benadering.

7 Conclusies

In beide validiteitsonderzoeken zijn in de split-runsessie positieve resultaten geboekt: de waardering van de doelgroep voor de brochures Do You Know? Do You Care? 1 en 2 blijkt door de revisie op grond van pretestresultaten toegenomen. Wij veronderstellen dat een toegenomen waardering ook een bijdrage kan leveren aan de effectiviteit van brochures. Zo kan de waardering bijdragen aan de bereidheid om van de brochure in zijn geheel kennis te nemen (een factor die in onze effectmetingen buiten beschouwing blijft, aangezien proefpersonen uitdrukkelijk gevraagd wordt om de brochure helemaal te lezen).

Daarnaast is in één van de twee onderzoeken aangetoond dat de revisie op grond van pretestresultaten kan bijdragen aan een meer directe effectiviteitsverbetering van een brochure: de gereviseerde versie van Do You Know? Do You Care? 1 blijkt de opvattingen en gedragsintenties van de doelgroep meer te beïnvloeden dan de oorspronkelijke versie. Weliswaar is in de door ons gehanteerde onderzoeksopzet alleen sprake van onmiddellijke effecten bij gedwongen blootstelling, maar door de beïnvloedingsverschillen is in ieder geval aannemelijk gemaakt dat het resultaat van een revisie op grond van pretestresultaten niet beperkt hoeft te blijven tot subtiele wijzigingen in een tekst.

Net als de twee eerdere validiteitsstudies in het onderzoeksproject Pretesten (De Jong & Schellens, 1994^e-f), bevestigen de twee deelonderzoeken die in dit artikel zijn beschreven, dus de algemene indruk dat een pretest met een combinatie van de plus-en-minmethode en een halfgestructureerd interview een nuttige stap is in een tekstontwerpproces.

[p. 240]

Daarbij moet nog worden opgemerkt dat de brochures die in deze onderzoeken zijn betrokken, niet te boek stonden als problematisch. De brochure Do You Know? Do You Care? 1 was geen concept-tekst, maar de definitieve versie van de brochure, die in die vorm daadwerkelijk in omloop is geweest. De brochure Do You Know? Do You Care? 2 was wel een concept-tekst, maar bij het schrijven van deze brochure is, naar verluidt, gebmik gemaakt van de pretestresultaten van Do You Know? Do You Care? 1.

Het uitblijven van significante effectiviteitsverschillen bij de brochure Do You Know? Do You Care? 2 leidt tot enkele kanttekeningen bij de rol van een pretest in het tekstontwerpproces. Een probleemopsporende pretest kan leiden tot effectiviteitsverbeteringen van brochures, maar opereert daarbij voor een belangrijk deel binnen de marges die gesteld worden door het globale tekstontwerp. Zijn er in de globale opzet en benadering van een brochure minder doeltreffende keuzes gemaakt, dan zal een probleemopsporende pretest die lang niet altijd aan het licht brengen. In hoeverre een pretest leidt tot aantoonbare effectiviteitsverbeteringen, is mede afhankelijk van de kwaliteit die de concepttekst, gegeven de marges van het globale tekstontwerp, al heeft.

Bibliografie

Baker, L. (1985). How do we know when we don't understand? Standards for evaluating text comprehension. In D.L. Forrest-Pressley, G.E. MacKinnon & T.G. Waller (Eds.), Metacognition, cognition, and human performance (pp 155-206). New York: Academic Press.

Baker, L. (1989). Metacognition, comprehension monitoring, and the adult reader. Educational psychology review, 1, 3-38.

Dieli, M. (1986). Designing successful documents: an investigation of document evaluation methods. Dissertatie Carnegie Mellon University. Pittsburgh (PA).

Haas, W.R.J. de (1993). Onderzoek bij voorlichtingscampagnes: geen eindafrekening maar sturingsmiddel. In: A.D. de Roon en R. Middel (red.), De wereld van Postbus 51. Voorlichtingscampagnes van de rijksoverheid (pp 63-76). Houten: Bohn Stafleu Van Loghum.

Jansen, c., e.a. (1989). Formulierenwijzer. Handboek formulieren redigeren. ‘s-Gravenhage: SDU.

Jong, M. de (1991). Waarde en beperkingen van de plus-en-minmethode. Communicatief, 4, 180-188.

Jong, M. de, Lentz, L. & Zeelen, I. (in voorbereiding). Kan de professional voorspellen wat er uit een pretest komt?

Jong, M.D.T. de, & Schellens, P.J. (1992). Pretest van de brochure Do You Know? Do You Care? Deelrapport 3 van het onderzoeksproject Pretesten. Vakgroep Toegepaste Taalkunde, Universiteit Twente. Enschede.

[p. 241]

Jong, M.D.T. de, & Schellens, P.J. (1993). Het pretesten van brochures. Een beschrijving en beoordeling van veertien methoden. Deelrapport 6 van het onderzoeksproject Pretesten. Vakgroep Toegepaste Taalkunde, Universiteit Twente. Enschede.

Jong, M.D.T. de, & Schellens, P.J. (1994^a). Pretest van de brochure ‘Do You Know? Do You Care? (nieuwe, uitgebreide editie)’. Deelrapport7 van het onderzoeksproject Pretesten. Vakgroep Toegepaste Taalkunde, Universiteit Twente. Enschede.

Jong, M.D.T. de, & Schellens, P.J. (1994^b). De brochure ‘Do You Know? Do You Care?’ voor en na revisie op grond van pretestresultaten. Deelrapport 8 van het onderzoeksproject Pretesten. Vakgroep Toegepaste Taalkunde, Universiteit Twente. Enschede.

Jong, M.D.T. de, & Schellens, P.J. (1994^c). De brochure Do You Know? ‘Do You Care? (nieuwe, uitgebreide editie)’ voor en na revisie op grond van pretestresultaten. Deelrapport 9 van het onderzoeksproject Pretesten. Vakgroep Toegepaste Taalkunde, Universiteit Twente. Enschede.

Jong, M.D.T. de, & Schellens, P.J. (1994^d). Revisie op grond van pretestresultaten. Deelrapport 11 van het onderzoeksproject Pretesten. Vakgroep Toegepaste Taalkunde, Universiteit Twente. Enschede.

Jong, M.D.T. de, & Schellens, P.J. (1994^e). Effects of pre-testing and revising brochures. In: P.P. König en H. Wiegers (Eds.), Satz - Text - Diskurs. Akten des 27. Linguistischen Kolloquiums, Münster 1992. Band 2 (pp 189-195). Tübingen: Max Niemeyer.

Jong, M.D.T. de, & Schellens, P.J. (1994^f). Towards a valid design for pretesting and revising leaflets. In: L. van Waes, E. Woudstra en P.J. van den Hoven (Eds.), Functional Communication Quality. Amsterdam/Atlanta: Rodopi.

Kanters, H.W., & Wieberdink, L.A.M. (1990). Pretesten van schriftelijk voorlichtingsmateriaal. Een handleiding voor de praktijk. Assen: Van Gorcum.

Lentz, L., & Pander Maat, H. (1993). Wat mankeert er aan die tekst? De evaluatie van voorlichtingsteksten over subsidieregelingen. Amsterdam: Thesis.

Micklos, D., & Bishop, W. (1982). The measurement of redundancy and its effects in science communication. Paper presented at the Annual Meeting of the Association for Education in Journalism and Mass Communication (July 25-28). Athens (OH).

Presburg, H. (1993). Pretesten met de signalled stopping technique? Doctoraalscriptie Vakgroep Nederlands, Universiteit Utrecht.

Renskers, A. (1993). Visie op revisie. Revisie aan de hand van pretestresultaten. Doctoraalscriptie Vakgroep Nederlands, Universiteit Utrecht.

Schellens, P.J., & Jong, M. de (te verschijnen). Revisie op basis van pretestresultaten. In: A. Maes, P. van Hauwermeiren en L. van Waes (Red.), Bundel VIOT-congres 1993.

Schriver, K.A. (1989). Evaluating text quality: the continuum from text-focused to reader-focused methods. IEEE Transactions on professional communication, 32, 238-255.

Schuurs, U., Bergh, H. van den, & Verhoeven, G. (1991). De invloed van pretest-instructies op de bruikbaarheid van de ontlokte oordelen. In: M.M.H. Bax & w. Vuijk (red.), Thema's in de taalbeheersing. VIOT-congres 1990, (pp 370-379). Dordrecht: ICG Publications.

Swaney, J.H., e.a. (1981). Editing for comprehension: improving the process through reading protocols. Technical report no. 14. Camegie-Mellon University. Pittsburgh (PA).

Vroom, B. (1987). Publieksonderzoek met behulp van de plus-en-minmethode. Tijdschrift voor Taalbeheersing, 9, 283-290.

Vroom, B. (1994). De tekst getest. Handleiding voor het pretesten van schriftelijk materiaal. Assen: van Gorcum.