Tijdschrift voor Taalbeheersing. Jaargang 25
(2003)– [tijdschrift] Tijdschrift voor Taalbeheersing–
Auteursrechtelijk beschermd
[pagina 273]
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Leo Lentz en Menno de Jong
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
1. InleidingIn welke termen denken leken over lezersproblemen? Wanneer zij moeite hebben met de interpretatie van een passage in een brochure, zien zij dat dan als een begripsprobleem? En beschouwen zij een betuttelende toon als een kwestie van stijl? Of zijn dat termen voor categorieën die wij als experts in tekstkwaliteit de afgelopen decennia hebben ontwikkeld om typen lezersproblemen aan te duiden, maar die niet aansluiten op de denkwereld van gewone lezers? In de literatuur zijn verschillende overzichten van categorieën gepresenteerd. De Jong en Schellens (2000) noemen in een recent overzicht bijvoorbeeld de volgende categorieën:
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
[pagina 274]
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Dit overzicht is gepresenteerd met de bedoeling tot een categorisering te komen van allerlei mogelijke problemen die lezers in teksten kunnen ervaren. Andere overzichten, zoals in Maes, Ummelen en Hoeken (1996) zijn bedoeld om oordelen van lezers over teksten te genereren. Ook daar vinden we een categorisering van dimensies:
Blijkbaar vallen opbouw en overzichtelijkheid hier onder een categorie van een hogere orde zoals begrijpelijkheid, terwijl het verwante structuur bij Schellens en De Jong een zelfstandige categorie is. Wat zijn zinvolle rubrieken voor tekstevaluatie? Hoe ordenen en benoemen we die? En hoe werken we ze uit in afzonderlijke items voor vragenlijsten die getest zijn op betrouwbaarheid?
Een antwoord op deze vragen is niet goed mogelijk zonder een grondige bezinning op de vraag hoe leken die niet elke dag met tekstevaluatie bezig zijn, zelf denken over problemen met teksten. Welke categorieën onderscheiden zij? Hoe ordenen en benoemen zij die? Met iedere vragenlijst, met elke schaal en met elk lijstje met aandachtspunten doen we immers een beroep op hun interpretatie van onze termen. Ruim twintig jaar geleden vroeg Cicourel (1982) in een klassiek geworden artikel al aandacht voor het probleem van de ecologische validiteit in allerlei onderzoeksmethoden waarvoor geldt dat zij | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
[pagina 275]
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
‘[...] presuppose something about the way people are able to analyze textual materials. For example, in responding to questions in a reading test, the respondent must utilize several sources of knowledge that the researcher used in interviews and surveys, therefore, presumes a theory of communication and comprehension that is seldom addressed [...].’ In het onderzoekGa naar eind1 waarover we hier rapporteren, staat dat perspectief van validiteit centraal. Ons gaat het daarbij met name om de begripsvaliditeit van de instrumenten die in evaluatieonderzoek gangbaar zijn: vragenlijsten die met behulp van schaaltjes de waardering van teksten meten of met open vragen een oordeel ontlokken over bijvoorbeeld de stijl of geloofwaardigheid van een document. Maar ook voor een evaluatiemethode als Focus is de vraag relevant, omdat proefpersonen met dat software-programma bij elk commentaar zelf een passende probleemcategorie moeten kiezen. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
2. Opzet van het onderzoekIn essentie hebben de geformuleerde onderzoeksvragen betrekking op de categorisering van problemen die de lezer zelf ervaart bij het lezen van een tekst. Deze gedachte leidt tot een mogelijke opzet waarbij elke proefpersoon zijn of haar eigen commentaren op een tekst in probleemtypen onderverdeelt. Een nadeel van die werkwijze is dat elke proefpersoon met specifieke eigen problemen komt. De ervaring leert ons dat in een pretest met bijvoorbeeld dertig proefpersonen hoogstens een vijftal problemen door meer dan tien proefpersonen gezamenlijk genoemd zou worden, en geen enkel probleem door meer dan twintig. Over de meeste problemen zou derhalve in zo'n opzet niet meer dan één uitspraak gedaan worden.
Wij kozen daarom voor een andere opzet, waarbij de lezersproblemen vooraf gegeven zijn en de proefpersonen dus een categorisering maken van andermans commentaren. We hebben twee groepen van 25 proefpersonen geconfronteerd met een deel van de feedback die in eerder evaluatieonderzoek verzameld was, verdeeld over telkens 40 kaartjes met op elk kaartje een nummer van de regel van de tekst en het probleem zoals lezers dat eerder verwoord hadden.
De proefpersonen lazen allereerst de tekst rustig door en namen vervolgens het eerste kaartje van de stapel en legden dat voor zich neer. Daarna pakten ze het tweede kaartje en stelden zichzelf de vraag of dat een vergelijkbaar soort probleem weergaf of dat het echt iets anders was. In het laatste geval legden ze het ernaast. Bij het derde kaartje gingen zij na of dat probleem beter bij het eerste of het tweede paste of dat het weer een nieuw soort probleem was. Zo vormden zij gaandeweg stapeltjes van lezersproblemen die naar hun idee bij elkaar hoorden. Tussentijds mochten ze zo vaak als ze wilden kaartjes veranderen van stapel. Ze mochten ook stapels samenvoegen en splitsen. Als alle kaartjes geordend waren, vroeg de proefleider of ze nog iets wilden veranderen. Zo nee, dan startte de tweede fase van de opdracht.
Er waren nu een aantal stapeltjes gevormd met lezersproblemen. Voor elk stapeltje werden de volgende vragen gesteld: | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
[pagina 276]
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Op deze manier werden de proefpersonen in feite gestuurd om in eigen termen een semantische analyse te maken van de categorieën die ze zojuist zelf gecreëerd hadden. Aldus ontstond voor elke proefpersoon een dataset met in groepjes geordende kaartjes, en voor elke categorie een term plus een karakterisering van de kenmerkende essentie. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
2.1 Het materiaal.In twee sessies is gewerkt met verschillend materiaal. De eerste keer is gewerkt met een persuasieve tekst (Kijk uit voor je huid), waarop feedback was verkregen met behulp van het softwareprogramma Focus. De tweede keer is gewerkt met een meer informatieve en instructieve tekst (Je eerste baan), waarop feedback was verzameld met de plus-en-minmethode. De spreiding over de genres is nagestreefd teneinde te voorkomen dat we uitsluitend met categorieën te maken zouden krijgen die sterk aan een bepaald domein gebonden zouden zijn. De eerste tekst komt uit de gezondheidsvoorlichting en waarschuwt voor huidkanker als gevolg van zonnebrand. De tweede tekst is afkomstig van de Belastingdienst en geeft informatie aan jongeren die voor het eerst een baan krijgen en daardoor in fiscaal vaarwater terechtkomen.
Beide teksten zijn in eerder onderzoek met verschillende methoden geëvalueerd. De belastingtekst is onderworpen aan de plus-en-minmethode in het promotieonderzoek van De Jong (1998). De andere tekst is in eerder Utrechts onderzoekGa naar eind2 geëvalueerd met behulp van het softwareprogramma FocusGa naar eind3. Proefpersonen die met Focus werkten, kregen de tekst op scherm aangeboden en konden in een aparte kolom hun commentaar noteren.
De pretest met Focus leverde 148 verschillende problemen op; de plus-en-minmethode leverde 157 problemen op. Omdat het niet realistisch is proefpersonen ongeveer 150 kaartjes voor te leggen, is voor beide teksten een selectie van veertig commentaren gemaakt. Daarbij zijn de volgende criteria gehanteerd.
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
[pagina 277]
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
De laatste twee criteria verdienen enige toelichting. Het vijfde criterium is gekozen om te vermijden dat proefpersonen langdurig op zoek zouden gaan naar de passage waar het commentaar betrekking op heeft. Dit leidt echter tot het gevaar dat op die manier de meer globale reacties buiten de categorisering blijven. En in het laatste criterium schuilt een groot gevaar van circulariteit. Wie alleen problemen met geloofwaardigheid en begrip selecteert, moet niet verbaasd opkijken als veel proefpersonen de kaartjes keurig in die beide categorieën sorteren, ofschoon menigeen een geheel eigen categorisering zal kiezen. Hier is onzes inziens echter sprake van een dilemma: wie geen aandacht schenkt aan spreiding van commentaren, loopt het gevaar van een toevallige eenzijdige selectie; en wie wel vooraf de commentaren wil spreiden over een brede waaier aan probleemtypen loopt het gevaar van een cirkelgang. Wij hebben in dit onderzoek voor beide opties gekozen: de feedback op de gezondheidstekst is mede geselecteerd op het criterium van spreiding volgens de categorieën van Focus; de feedback op de belastingtekst is vooral geselecteerd op grond van het derde criterium - reacties die door minimaal twee respondenten zijn geformuleerd, zonder rekening te houden met spreiding. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
2.2 Proefpersonen en afname.Aan elk van beide sessies namen 25 proefpersonen deel. Alle proefpersonen waren hoger opgeleid (vwo-, hbo- of universitair niveau), maar hadden geen speciale expertise op het gebied van tekstschrijven. De leeftijd van de proefpersonen varieerde van 22 tot 66 jaar. In totaal namen 22 mannen en 28 vrouwen aan de sessies deel.
We hebben de procedure bij de afname hierboven al kort geschetst:
Dit gebeurde in een rustige één-op-één situatie bij de proefleiders thuis, bij proefpersonen thuis en soms ook op een rustig moment op het werk van de proefpersoon. Elk kaartje was voorzien van een nummer. De proefleider noteerde de nummers waaruit de stapeltjes uiteindelijk bestonden op een scoreformulier en noteerde daar tevens de antwoorden op de vragen. Gemiddeld duurde de afname ongeveer een uur per proefpersoon. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
2.3 De analyse.Van elk genummerd kaartje is in een tabel aangegeven hoe vaak het samengevoegd is met elk van de overige 39 kaartjes. Aldus ontstaat voor elk kaartje een rangorde met de meest frequente combinaties. In tabel 1 ziet u als voorbeeld vier rangordes met de hoogste frequenties voor de kaartjes 9, 24, 25 en 6. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
[pagina 278]
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Tabel 1. Rangordes van combinaties van vier kaartjes met tussen haakjes de frequentie waarmee die combinatie is gemaakt door proefpersonen (N=25)
Kaartje 9 is dus 23 keer gecombineerd met kaartje 25 en is 19 keer met kaartje 24 gecombineerd. In de volgende kolommen zien we dat die beide kaartjes ook weer vaak met elkaar zijn gecombineerd. Aldus ontstaat in deze tabel een beeld waarin de kaartjes 9, 24, 25 en 6 een kerngroep vormen. Het kaartje met nummer 14 wordt daar niet meer toe gerekend, omdat het verval in de frequentie tussen kaartje 6 (minimaal 17 keer gecombineerd in deze groep) en kaartje 14 (maximaal 9 keer) precies op deze grens intreedt. Een kerngroep van combinaties is vastgesteld telkens wanneer zo'n verval zichtbaar werd. Soms was echter geen plotseling verval zichtbaar omdat de frequenties geleidelijk terugliepen; in die gevallen is afhankelijk van de hoogste frequentie een streep getrokken ergens tussen een frequentie van 6 tot 10.
Nadat zulke kerngroepen waren gevormd, is vervolgens nagegaan welke proefpersonen die combinatie in een stapeltje gemaakt hadden. In het bovenstaande voorbeeld zijn dus de gegevens verzameld van alle proefpersonen die de combinatie 9, 24, 25 en 6 gemaakt hebben. Van die proefpersonen zijn alle namen genoteerd die aan de combinatie zijn gegeven en de omschrijvingen die daarvoor zijn geformuleerd. Bovendien is genoteerd welk kaartje als beste vertegenwoordiger van die categorie genoemd is. Aldus ontstond voor elke kerngroep een reeks benamingen en omschrijvingen. De analyse van die gegevens leidde tot de resultaten die in het vervolg van dit artikel gerapporteerd worden. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
3. ResultatenHoeveel groepjes creëerden de proefpersonen? De gemiddelden verschilden in de beide settings. De kaartjes met reacties op de belastingtekst werden gemiddeld in 5.4 categorieën verdeeld, terwijl de feedback op de gezondheidstekst in gemiddeld 8 stapeltjes werd verdeeld. Het kleinst aantal categorieën was 3 (door vier proefpersonen) en het grootste aantal was 11 (door twee proefpersonen). De meeste proefpersonen maakten tussen de vijf en negen groepjes.
Wat zijn dat voor groepjes? Hieronder vatten we voor de beide settings de resultaten samen per categorie. Niet elke categorie was echter even duidelijk. Sommige probleemcategorieën vertoonden duidelijk minder samenhang dan andere. We beginnen met de vijf categorieën waarover grote duidelijkheid bestond. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
[pagina 279]
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
3.1 Overbodige Informatie.In de teksten over huidkanker en belasting zaten de volgende kaartjes die tot de kerngroep gerekend werden.
Er waren in totaal 26 proefpersonen die de kern van deze categorie in een groep bij elkaar brachten. Zij gaven er de volgende namen aan:
De eerste naam krijgt de voorkeur van een meerderheid van achttien proefpersonen. In de definities van de proefpersonen komen twee elementen vaak terug: het herhalen van informatie en het geven van informatie die niet ter zake doet, niet relevant is, niet van toepassing is, of onnodig is. Wij komen tot de volgende omschrijving: Er is sprake van overbodige informatie als een passage voor de lezer niet ter zake doet of onnodig wordt herhaald. Overigens waren er negen proefpersonen die bovenstaande kerngroep gevormd hadden, maar toch niet bij de nadere analyse betrokken zijn. Bij nader inzien bleek dat zij de bovenstaande groep hadden samengevoegd met de onderstaande groep, en aldus een ruimere overkoepelende categorie hadden gevormd. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
3.2 Ontbrekende informatie.Ook de tweede categorie kwam als een duidelijke groep naar voren. Hiervoor werden kaartjes samengevoegd met de volgende commentaren van lezers.
Er waren in totaal 31 proefpersonen die de kerngroep van deze categorie gevormd hadden. Zij gaven daarvoor de volgende benamingen: | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
[pagina 280]
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
In de omschrijvingen kwamen de woorden ‘ontbreken’ en ‘onvolledig’ erg vaak terug. Bovendien gaven proefpersonen vaak het gevolg van die onvolledigheid aan: lezers begrijpen de tekst niet goed meer, omdat er iets ontbreekt. Daarom luidt voor deze categorie de omschrijving: Er is sprake van ontbrekende informatie als de lezer meer informatie nodig heeft om de tekst goed te begrijpen. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
3.3 Geloofwaardigheid.De derde categorie kwam als een iets minder duidelijke groep uit de data naar voren. We vinden in deze categorie de volgende commentaren als kerngroep.
Er waren 19 proefpersonen die de kern van deze categorie in één stapeltje vormden. De terminologie voor deze groep lezerreacties was niet erg eenduidig. We kwamen de volgende benamingen tegen:
De term ‘geloofwaardigheid’ is slechts vier keer genoemd door alle vijftig proefpersonen, hetgeen betekent dat we hier allerminst met een voor de handliggende benaming te maken hebben. De alternatieve namen werden echter nog minder vaak genoemd. Sommige proefpersonen kozen namen waarmee ook voorgaande categorieën meegenomen werden, zoals bijvoorbeeld ‘inhoud’. In de omschrijvingen vonden we eveneens een grote verscheidenheid. Maar er waren wel gemeenschappelijke elementen, zoals: een inhoudelijk oordeel over de tekst, de lezer gaat in discussie met standpunten in de tekst, betwijfelt of de tekst inhoudelijk juist is, de lezer gelooft niet wat er in de tekst beweerd wordt, vraagt zich af of de tekst wel klopt. Wij maken een onderscheid tussen twee aspecten in deze omschrijvingen: | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
[pagina 281]
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
de twijfel over de waarheid van een feitelijke mededeling en het betwisten van een standpunt in de tekst over een kwestie. Daarmee komen we tot de volgende omschrijving: Er is sprake van een probleem met de geloofwaardigheid van de tekst als de lezer betwijfelt of de tekst inhoudelijk klopt of als de lezer het niet eens is met standpunten in de tekst. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
3.4 Formulering.De voorgaande categorieën hebben alle met de inhoud van de tekst te maken. In de volgende stapeltjes die proefpersonen maakten, gaat het meer om tekstkenmerken. De volgende commentaren hadden met name betrekking op formuleringskwesties.
Deze groepering van lezersfeedback is door 36 van de vijftig lezers aangebracht, hetgeen een hoge score is. Zij gaven zeer uiteenlopende benamingen aan deze groep:
De term ‘doelgroep’ wekt misschien enige verbazing, maar de omschrijving hierbij luidde: ‘de wijze waarop in de richting van de doelgroep wordt geschreven’. De term ‘formulering’ werd het meest gekozen, gevolgd door ‘stijl’. In de omschrijvingen komt duidelijk naar voren dat het niet om de inhoud van de tekst gaat, maar om nuances in de woordkeus of in de zinsbouw, waarbij overigens woordkeus veel vaker genoemd wordt. Een proefpersoon gaf als omschrijving: ‘de manier waarop zinnen en woorden zijn geschreven’. Veel proefpersonen gaven in hun formulering een stilistisch verfraaiingsperspectief aan en wezen tegelijkertijd op een aspect van duidelijkheid: ‘Door de keuze van een ander woord wordt de tekst duidelijker of mooier.’ Dat aspect van verduidelijking verklaart waarom sommige kaartjes niet alleen bij deze categorie terechtkwamen, maar ook in een ander groepje functioneerden dat meer betrekking had op het begrip van de tekst. Dit roept de vraag op of verduidelijking een onderdeel moet zijn van de omschrijving. Wij kiezen ervoor die beide aspecten mee te nemen in de omschrijving: | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
[pagina 282]
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Er is sprake van een formuleringsprobleem als de lezer moeite heeft met bepaalde woorden in de tekst of met de manier waarop de zin is geschreven, bijvoorbeeld omdat iets te ingewikkeld of juist te kinderlijk gezegd wordt of omdat de stijl lelijk gevonden wordt. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
3.5. Structuur.In de vijfde categorie brachten de proefpersonen de volgende kaartjes met lezerreacties in één groep bij elkaar.
Er zijn 31 proefpersonen die deze groep gevormd hebben. Zij geven daarvoor redelijk eenduidige termen:
Opvallend is dat in de feedback op de belastingtekst het woord ‘structuur’ zelf al twee keer voorkomt in de probleemomschrijving. Deze term is door onze proefpersonen het meest genoemd en lijkt daarmee de beste kandidaat om de categorie mee aan te duiden. In de omschrijvingen komen telkens de woorden indeling, opbouw, volgorde en structuur weer terug, soms ook vergezeld van vormgeving en lay-out. Wij kiezen op grond van de gepresenteerde formuleringen voor de volgende omschrijving: Er is sprake van een structuurprobleem wanneer de volgorde van de informatie in de tekst niet goed is, waardoor de lezer geen helder beeld krijgt van de opbouw van de tekst en het overzicht verliest. Tot zover de vijf categorieën waarvoor de proefpersonen duidelijk herkenbare groepen gevormd hadden. Een zesde categorie staat in evaluatieonderzoek vaak centraal, maar is in onze data minder duidelijk zichtbaar naar voren gekomen. Het gaat hier om een type problemen dat wij doorgaans met de term ‘begripsproblemen’ aanduiden. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
3.6 Onduidelijkheid.In de analyse van de data die verkregen zijn met de reacties op de gezondheidstekst is wel een herkenbare categorie zichtbaar geworden die op begripsproblemen betrekking lijkt te hebben, maar in het onderzoek met de belastingtekst is een dergelijke groep niet duidelijk naar voren gekomen. Het gaat om de volgende reacties. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
[pagina 283]
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Deze groepering van reacties is dus slechts door één van beide groepen gemaakt, en wel door 17 van de 25 proefpersonen. Zij gaven aan deze categorie de volgende namen:
Op grond van deze resultaten lijkt duidelijk sprake te zijn van een categorie die betrekking heeft op problemen met het vormen van een mentale representatie van een deel van de tekst. Maar hoe komt het dan dat bij de feedback op de belastingtekst deze categorie niet naar voren is gekomen? Een eerste verklaring zou kunnen zijn dat in de kaartjes onvol-doende reacties verwoord werden die op deze categorie duiden. Daar is echter geen sprake van. Die kaartjes waren er in voldoende mate, maar ze zijn op een andere manier gegroepeerd. Een deel van die kaartjes kwam terecht in de categorie ‘ontbrekende informatie’. Sommige proefpersonen gaven die categorie de naam ‘vragen’ of ‘vraagstellingen’. Het ging om bijvoorbeeld onderstaande reacties.
Anderen brachten die kaartjes onder in de categorie ‘formulering’. Een gebrekkige formulering kan immers een begripsprobleem tot gevolg hebben, zoals misschien het geval is bij de reactie De eerste zin is te ingewikkeld. Deze tweede verklaring lijkt onaannemelijk omdat de kern van de groep ‘formulering’ in de belastinggroep eerder bestaat uit kritiek op een te kinderachtige stijl. Een nadere analyse van de feedback (op de belastingtekst) die door de proefpersonen is ondergebracht bij ‘ontbrekende informatie’ leidde tot twee sterk verwante clusters van kaartjes die beide betrekking lijken te hebben op dezelfde categorie. Hieronder geven we de kerngroepen van die beide stapeltjes weer. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
[pagina 284]
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Een mogelijke verklaring voor de ordening van deze reacties in twee groepen is dat in de linkerkolom vragen geformuleerd zijn, die vooral klinken als een roep van de lezer om meer informatie, terwijl in de rechterkolom meer de stem van een beschouwende criticus doorklinkt die een diagnose formuleert van een mankement in de tekst. Uiteraard waren er ook proefpersonen (6) die dit onderscheid niet maakten. In de keuzes voor benamingen voor beide subgroepen of voor de overkoepelende groep komt ‘begrip’ niet één keer voor. Wel komen we de term ‘onduidelijk(heid)’ negen keer tegen. Wanneer we de kaartjes op een rij zetten die door deze negen proefpersonen als beste vertegenwoordiger van de groep ‘onduidelijkheid’ worden genoemd, ontstaat het volgende overzicht.
Dit overzicht wijst niet onmiddellijk in de richting van een verborgen groep begripsproblemen, alhoewel die wel vertegenwoordigd zijn. De laatste drie lezerreacties zijn echter van een andere orde, en de eerste reactie heeft toch meer betrekking op een wens om meer informatie dan op een echt begripsprobleem.
In de omschrijvingen die proefpersonen geven voor de term ‘onduidelijkheid’ komen we de volgende definities tegen:
En voor ‘begrip’ komen we (in de data van de gezondheidstekst) de volgende omschrijvingen tegen: | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
[pagina 285]
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Uit deze omschrijvingen komt een duidelijk onderscheid naar voren met de categorie ‘ontbrekende informatie’. Het gaat hier immers om informatie die wel in de tekst te vinden is, maar die niet goed begrepen wordt. In de laatst geciteerde omschrijving wordt een relatie zichtbaar met ‘formulering’, omdat uiteraard een gebrekkige formulering daar de oorzaak van kan zijn.
Wij concluderen dat er toch wel reden is om een categorie begripsproblemen te onderscheiden, die we echter op grond van de data liever met de term ‘onduidelijkheid’ aanduiden. Deze term is immers door respectievelijk zeven en negen proefpersonen naar voren gebracht en in de eerste groep is er ook daadwerkelijk een als zodanig herkenbare categorie gevormd van lezerreacties. De resultaten van de tweede groep leiden echter tot voorzichtigheid, omdat de term mogelijkerwijs door proefpersonen als overlappend wordt ervaren met de categorie ‘ontbrekende informatie’. In de omschrijving van de term zou dit onderscheid dan ook duidelijk geformuleerd moeten worden, bijvoorbeeld op de volgende manier. Er is sprake van onduidelijkheid wanneer de tekst ergens wel informatie over geeft, maar als die passage vragen oproept, omdat de lezer de inhoud ervan niet goed begrijpt. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
3.7 Leestekens en spelling.In de gezondheidstekst waren in het eerdere evaluatieonderzoek bewust een aantal fouten aangebracht in de spelling en interpunctie. Dit was gedaan met het doel om na te gaan of hoger en lager opgeleide proefpersonen hier verschillend op zouden reageren (zie Lentz en De Jong, 2000). Op een aantal kaartjes waren lezerreacties zichtbaar die hierop betrekking hadden. Deze kaartjes zijn door sommige proefpersonen in twee groepen ondergebracht en door andere in één gezamenlijke groep. Het gaat om de volgende reacties.
Het is de vraag of dit een zinvolle categorie is, omdat we in evaluatieonderzoek immers geen lezers inschakelen teneinde na te gaan of de tekst goed gespeld is. In principe leggen we een incorrect gespelde tekst niet aan lezers voor. Toch weten we uit ervaring dat lezers vaak de behoefte hebben commentaar te leveren op komma's en punten, en op de spelling | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
[pagina 286]
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
van woorden. Ook onder leken bevindt zich menige meester Pennewip, die het niet kan laten zijn deskundigheid op dit punt tentoon te stellen.
Hoe noemen de proefpersonen deze categorie? Wij kregen de volgende benamingen:
In de omschrijvingen werden deze termen vaak herhaald, maar er was ook vaak sprake van ‘punten en komma's’ en één creatieve proefpersoon schonk ons het prachtige ‘taalelastiekjes’. Wie in evaluatieonderzoek deze categorie aan proeflezers aan wil bieden, zou volgens ons het best interpunctie en spelling samen kunnen nemen onder de naam Leestekens en Spelling. Daarbij past de volgende omschrijving. Er is sprake van een probleem met de leestekens als die op een verkeerde plaats in de tekst staan of als ze ontbreken. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
4. Conclusie en discussieLeken die niet beroepsmatig met taal en tekst bezig zijn, kunnen in evaluatieonderzoek geconfronteerd worden met de volgende categorieën en de daarbij passende omschrijvingen. Er is sprake van:
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
[pagina 287]
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Twijfel is mogelijk over de groep ‘onduidelijkheid’, omdat die in één van de beide sessies niet als zodanig duidelijk naar voren kwam, hetgeen verklaard kan worden door de overlap met ‘ontbrekende informatie’ en in mindere mate met de categorie ‘formuleringsprobleem’. Bovendien is twijfel mogelijk over de zinvolheid van een categorie die op spelling en leestekens is gericht, omdat dat een type reacties is waar we in evaluatieonderzoek niet direct behoefte aan hebben.
Uit bovenstaand overzicht moet niet geconcludeerd worden dat elke proefpersoon deze categorieën spontaan creëerde tijdens het sorteren van kaartjes met lezerreacties. Het overzicht is tot stand gekomen door een analyse van de meest sterke verbanden tussen de verschillende kaartjes. Dat er ook volkomen andersoortige categorieën zijn genoemd, blijkt uit onderstaand overzicht.
Sommige proefpersonen sorteerden volgens een dimensie van relevantie van het commentaar met als polen belangrijk - onbelangrijk. Anderen sorteerden op een dimensie als inhoud - tekst - vorm. En nog weer anderen kozen inhoudelijke rubrieken die uit het thema van de tekst voortkwamen; zij bedachten groepen met titels als arbeidsproces en persoonlijke gevolgen. Misschien had voor die proefpersonen de instructie duidelijker geformuleerd moeten worden.
Het onderzoek levert een grootste gemene deler op voor de categorisering van problemen. Toch is het duidelijk dat ook met deze categorieën lezers soms zullen twijfelen in welke rubriek ze een probleem moeten indelen. Bijvoorbeeld omdat zij een ander indelingssysteem hanteren, of omdat zij voor andere labels zouden kiezen. Het onderzoek bevestigt echter in grote lijnen de bruikbaarheid van de lijst met probleemcategorieën, zoals die aan het begin van dit artikel gepresenteerd is, en waar we in Focus al jaren mee werken. Het helpt ons daarnaast om de probleemomschrijvingen en -afbakeningen meer op de kennis van leken af te stemmen en daarmee de ecologische validiteit van ons instrumentarium te vergroten.
Meer onderzoek is nodig: (1) naar de mate waarin mensen met de hier gepresenteerde categorieën uit de voeten kunnen en de problemen die ze daarbij ervaren; (2) naar de precieze afbakening tussen probleemcategorieën; (3) naar de mate waarin de resultaten afhankelijk zijn van het gekozen teksttype (brochure), omdat denkbaar is dat bij een handleiding of een website een gedetailleerder arsenaal aan probleemtypen nodig is, dat specifiek gericht is op problemen met de toepassing van die informatie; (4) naar de mate waarin de resultaten afhankelijk zijn van het opleidingsniveau van de lezers, dat in dit onderzoek relatief hoog was. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
[pagina 288]
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Bibliografie
|
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||