Tijdschrift voor Taalbeheersing. Jaargang 16

[p. 254]

Boekbeoordeling

L. Lentz & H. Pander Maat, Wat mankeert er aan die tekst? De evaluatie van voorlichtingsteksten over subsidieregelingen. Amsterdam: Thesis Publishers, 1993. ISBN 90-5170-222-1. Prijs f 45,00.

Evaluatie van tekstkwaliteit is de laatste jaren een veelbesproken thema. In het boek van Lentz en Pander Maat staat de vraag centraal welke evaluatiemethoden gebruikt kunnen worden en wat ze opleveren. Zij beperken zich daarbij tot één tekstgenre, namelijk voorlichtingsteksten over subsidieregelingen. Die beperking vloeit voort uit het uitgangspunt dat een tekstevaluatie minstens gedeeltelijk moet berusten op genre- of functiespecifieke beoordelingscriteria.

Na het probleemstellende eerste hoofdstuk presenteren Lentz & Pander Maat in hoofdstuk 2 een classificatie van pretestmethoden. Ze hanteren daarbij verschillende dimensies. Methoden kunnen ingedeeld worden naar de informatiebron: de tekst zelf, de reacties van lezers of de reacties van verwerkers. Op een tweede dimensie maken ze onderscheid tussen evaluatie op basis van algemene en functiespecifieke kwaliteitscriteria. En als derde maken ze onderscheid naar de tekstkenmerken die bij de evaluatie worden betrokken: stijl, structuur, inhoud en vormgeving. Wat helaas ontbreekt in dit hoofdstuk is een invulling van de matrix waarbij de tientallen evaluatiemethoden die in de literatuur worden beschreven, hun plaats krijgen op de drie dimensies.

Omdat volgens Lentz & Pander Maat de kwaliteit van een tekst niet los gezien kan worden van de functies van de tekst, gaan ze in hoofdstuk 3 uitvoerig in op het proces van subsidieverlening zoals wij dat in Nederland kennen. Ze besteden daarin niet zozeer aandacht aan de ‘individuele’ subsidies, zoals huursubsidie of studiefinanciering, maar vooral aan subsidies voor bedrijven, bijvoorbeeld voor innovatieve activiteiten. In het hoofdstuk worden onder meer juridische, economische en politieke aspecten besproken en worden de zestien stappen uit het subsidieverleningsproces toegelicht. Een interessant detail is dat de auteurs in 33 evaluatierapporten over subsidieregelingen slechts éénmaal iets vonden over de voorlichting. En dat was nog geen evaluatie van de voorlichtingsacties, maar uitsluitend het gegeven dat die voorlichting er was geweest.

In het vierde hoofdstuk preciseren Lentz & Pander Maat de verschillende communicatieve functies van voorlichtingsteksten over subsidieregelingen. Onder een communicatieve functie verstaan zij een omschrijving van vier uitgangspunten voor de tekst: het (gewenste) communicatieve effect, het onderwerp, de doelgroep en het te realiseren beleidsdoel. De communicatieve functies zijn Lentz & Pander Maat op het spoor gekomen door te kijken naar de context (het proces van subsidieverlening) en naar bestaande voorlichtingsteksten. Zo komen ze tot vijf functies die als volgt worden samengevat (p.66): ‘Het [voorlichtingsmateriaal] moet de doelgroep attenderen op de regeling. Het moet bij potentiële aanvragers zelfselectie mogelijk maken. Het moet hun inzicht geven in de procedure. Soms zal het de aanvragers moeten motiveren een aanvraag in te dienen. En het zal ten slotte aanvragers moeten instrueren bij het schrijven van de aanvraag’.

In het vijfde hoofdstuk proberen Lentz & Pander Maat zich een oordeel te vormen over de wijze waarop de verschillende functies in voorlichtingsmateriaal worden geëffectueerd. Met andere woorden: welke tekstuele middelen worden gebruikt, welke complicaties doen zich daarbij voor en in welke opzichten mankeert er iets aan de teksten? De auteurs maken hier gebruik van twintig case studies die als evenzoveel afstudeeronderzoeken zijn uitgevoerd door Utrechtse studenten in de periode 1990-1992.

Het blijkt dat verschillende soorten teksten worden ingezet: het besluit over de regeling, een toelichting, een brochure (folder), een prioriteitenprogramma en dikwijls een aanvraagformulier. De auteurs beperken zich verder tot de brochures, waardoor de attentiefunctie nauwelijks aan de orde komt (de brochure komt immers alleen bij mensen die al geattendeerd zijn op de subsidieregeling). Enigszins als verrassing

[p. 255]

komt echter nog een nieuwe tekstfunctie naar voren: het oriënteren van de lezer, dit wil zeggen de lezer snel een indruk geven van de regeling en van de informatie die daarover in de tekst wordt gegeven.

De case studies brengen veel interessante bijzonderheden over de brochures aan het licht, mede omdat de auteurs zich niet beperken tot een droge opsomming van de inhoudselementen die ten behoeve van een bepaalde functie worden ingezet, maar dat ook illustreren met tal van voorbeelden. In dit hoofdstuk wisselen descriptieve analyse, reflectie en beoordeling elkaar af. Daarmee maken de auteurs inzichtelijk wat voor problemen er kunnen ontstaan en in hoeverre gebreken in het voorlichtingsmateriaal daar debet aan kunnen zijn.

De volgende stap is: de evaluatie van de brochures. Daartoe ontwikkelden Lentz & Pander Maat een checklist of tekstevaluatieschema. Het eerste deel daarvan richt zich op de functiespecifieke kwaliteitseisen. Het omvat een lijst van alle in hoofdstuk vier geïdentificeerde inhoudselementen. De invuller van de checklist moet aangeven waar die elementen te vinden zijn, moet controleren of bij elkaar horende elementen ook bij elkaar staan, moet per element een oordeel geven over stijl, inhoud en vorm, en moet tenslotte aangeven of er iets verbeterd moet worden. Het tweede deel van de checklist omvat controle op algemene kwaliteitseisen op het gebied van stijl, opbouw en vorm. Het gaat om eisen die in ieder taaladviesboek wel te vinden zijn, hoewel de selectie wel lijkt toegespitst op het genre; zo krijgen de vaktermen en de schema's en tabellen meer aandacht dan in de meeste adviesboeken.

Eerdere versies van het evaluatieschema zijn in enkele case studies getest. Er is aandacht besteed aan de hanteerbaarheid (duidelijkheid en tijdsbesteding), maar ook aan de vraag of het schema feedback oplevert die door een herschrijver gebruikt kan worden bij het reviseren van de tekst. Hoewel in een van de studies bleek dat medewerkers van subsidieverlenende instellingen het schema bruikbaar vonden voor de herziening van conceptteksten, worden ook gevallen vermeld van feedback die allerminst duidelijk maakt wat er met de tekst moet gebeuren. Onderzoek naar de betrouwbaarheid van het schema leverde teleurstellende resultaten op.

Als een soort toegift bespreken Lentz & Pander Maat nog een lezersgerichte evaluatiemethode (een variant op de hardopwerkmethode, waarbij proefpersonen hardop denkend een taak uitvoeren). Ook wordt verslag gedaan van enkele case studies waarin beoordelaars van subsidie-aanvragen hardopdenkend lazen en beoordeelden en vervolgens nog aanvullend werden geïnterviewd. De resultaten zijn vervolgens gerelateerd aan de voorlichtingsteksten. Daarbij bleek onder meer dat de beoordeling niet altijd conform de in de voorlichting geschetste criteria plaatsvond, maar ook dat op een aantal punten de gebrekkige instructies in de brochure leidden tot problemen bij het lezen en beoordelen van de aanvraag.

Tot zover een samenvatting van het boek. Het geven van een oordeel over het boek valt niet mee, omdat al met al niet heel duidelijk is wat nu precies de pretenties van de auteurs zijn (of moet ik zeggen: de functies van het boek?).

Wie - afgaande op het door de Universiteit Utrecht verspreide persbericht en op de flaptekst van het boek - hoopt te vernemen hoe het staat met de kwaliteit van ‘de’ Nederlandse voorlichtingsteksten over subsidieregelingen, komt bedrogen uit. Alleen in hoofdstuk 5 is daarover het een en ander te vinden, maar kwantitatieve gegevens ontbreken, en de problemen worden exemplarisch besproken. Het hoofdstuk is primair bedoeld om de inhoudselementen te identificeren die in voorlichtingsteksten vóórkomen. Ook elders wordt meer ingegaan op het ontwikkelen en toetsen van beoordelings instrumenten dan op de informatie die die instrumenten opleveren.

Ook op andere punten wordt de lezer soms op het verkeerde been gezet. Ik signaleerde al dat de vijf functies die in hoofdstuk 4 worden geïdentificeerd, in hoofdstuk 5 worden uitgebreid met de oriëntatiefunctie. Ik vraag me daarbij af of dit wel een functie is in dezelfde zin als die in hoofdstuk 4. Hier is in elk geval

[p. 256]

geen sprake van een specificatie van de doelgroep (anders dan ‘de lezers’, maar dat is een synoniem, geen specificatie), en ook niet van een beleidsdoel dat bereikt moet worden. Dat de lezer zich kan oriënteren is een ‘algemene voorwaarde’ voor het effect van de tekst en kan dus niet op één lijn gezet worden met de overige functies.

Na eerdere publikaties van Lentz & Pander Maat over het analyseren van tekstfuncties was ik vooral benieuwd naar de manier waarop de auteurs komen tot een identificatie van de verschillende tekstfuncties. Op dat punt ben ik nogal teleurgesteld. Niet omdat me de uitkomsten niet bevallen - die lijken me plausibel, en ze worden ook behoorlijk beargumenteerd - maar omdat de weg ernaar toe niet echt helder is. De auteurs gaan nogal diepgaand in op het subsidieverleningsproces, en het betreffende hoofdstuk is voor leken op dat gebied best interessant. Maar was zo'n bestuurskundige excursie echt nodig? En hoe ver moet de communicatie-onderzoeker daarin gaan? Hoeveel verstand moet men hebben van de context om een functionele analyse te kunnen uitvoeren? De auteurs gaan daar niet op in. Eveneens blijft duister hoe precies de interactie tussen contextgestuurde en tekstgestuurde analysemethoden verloopt die het uiteindelijke inzicht in de functies zou moeten opleveren. Zelfs de vraag welke tekstanalysemethodiek hier gehanteerd moet worden, blijft onbesproken. De communicatiekundige die in het voetspoor van Lentz & Pander Maat een functionele analyse wil maken van een ander tekstgenre, vindt al met al minder aanknopingspunten in het boek dan ik had gehoopt.

Interessant is de manier waarop de auteurs te werk gaan bij het construeren van de checklist, en met name de wijze waarop zij erin slagen om de functies van voorlichtingsmateriaal te koppelen aan criteria voor de inhoud, stijl, opbouw en vorm. Daarbij is de koppeling tussen functies en inhoudselementen het meest geslaagd. Over de consequenties van de functionele analyse voor stijl, opbouw en vorm hebben de auteurs niet veel, en zeker weinig nieuws te melden. Ze werken bovendien met vrij algemene categorieën zoals ‘concreet en motiverend beschreven’ (bij voorbeelden) of ‘gefragmenteerd’ (voor de kwaliteitseisen waaraan een project moet voldoen).

Terug naar de hoofdvraag van het boek: welke methoden staan ons ter beschikking voor de evaluatie van voorlichtingsteksten over subsidies? Er komen volgens de auteurs drie instrumenten in aanmerking: tekstgericht (beoordeling), lezersgericht (hardopwerkmethode) en verwerkersgericht (hardopwerkmethode). De tekstgerichte aanpak krijgt in het boek de meeste aandacht. De functionele analyse levert daarvoor een grondslag, de checklist vormt het eigenlijke beoordelingsinstrument. Maar hoewel de checklist hanteerbaar is, is het zeer de vraag of hij bruikbare revisie-aanwijzingen oplevert; bovendien blijkt de betrouwbaarheid onbevredigend.

Het boek bevat een schat aan interessante observaties en commentaren, stimulerende vragen en ideeën. Maar het uiteindelijke resultaat is geen kant en klaar instrument. Bovendien laat het boek veel vraagtekens open voor wie zou willen proberen zo'n instrument te ontwikkelen voor een ander tekstgenre.

Te hopen valt dat ook de auteurs deze publikatie beschouwen als een tussenprodukt en dat ze verder gaan met hun onderzoek. Mij doet het boek in elk geval uitzien naar dat vervolg.

M.F. Steehouder