Onze Taal. Jaargang 43
(1974)– [tijdschrift] Onze Taal–
Auteursrechtelijk beschermd
[pagina 65]
| |||||||||||||||||||
[Nummer 11] | |||||||||||||||||||
Moeilijkheid meten‘Was de troonrede 1974 moeilijker dan welke vorige dan ook? Ik weet het niet. Het zou te veel tijd kosten dat precies uit te zoeken. Trouwens, hebben we goede meetinstrumenten?’ Aldus vragen van J. Veering in het hoofdartikel Onze Taal sept.-okt. 1974, Knelpunten van procedurele aard.
Er bestaan twee soorten instrumenten om leesbaarheid te meten: leesbaarheidstesten en leesbaarheidsformules. De leesbaarheidstesten berusten op overweging dat naarmate een tekst leesbaar is de lezer meer vragen over die tekst zal kunnen beantwoorden, nadat hij hem éénmaal gelezen heeft. Het meten van leesbaarheid door middel van testen heeft echter verschillende beperkingen. De onderzoeker moet een betrouwbare toets maken bij iedere tekst waarvan hij wil weten of hij leesbaar is. Bovendien weet hij pas of de tekst leesbaar is nadat de proefpersoon de toets gemaakt heeft. Hij kan wel proberen een standaardtekst te kiezen en daarbij een toets te construeren, maar dan moet hij van iedere andere tekst bepalen hoeveel maal moeilijker deze is dan zijn standaardtekst. Een leesbaarheidstest heeft dus in principe geen voorspellende waarde. Hij doet slechts uitspraak over een bepaalde tekst, en slechts met betrekking tot de proefpersonen die de toets gemaakt hebben, nadat zij hem gemaakt hebben. Bovendien wordt stilzwijgend aangenomen dat leesbegrip of begrijpelijkheid van een tekst hetzelfde is als de leesbaarheid ervan. Al vrij snel in de ontwikkeling van het leesbaarheidsonderzoek ontstond het voorspellende instrument: de leesbaarheidsformule. Met een leesbaarheidsformule is de gebruiker (schrijver, leraar, bibliotheekpersoneel en dergelijke) in staat om van een willekeurige tekst vast te stellen of hij voor zijn lezers al dan niet leesbaar is, zonder dat hij die lezers, of andere proefpersonen, daarover hoeft te raadplegen. Het ontwikkelen en het gebruiken van leesbaarheidsformules heeft in Amerika een hoge vlucht genomen. Ook in Nederland kreeg de leesbaarheidsformule bekendheid, vooral die van Rudolf Flesch. In 1960 werd deze formule voor het Nederlands bewerkt door W.H. Douma en in 1963 door R.H.M. Brouwer. Een leesbaarheidsformule is een wiskundige vergelijking van de vorm: y = α x1 + β x2 + ...... + γ xn + c. Hierin is y = de te schatten leesbaarheid van een tekst, x1, x2, ......xn = de uit de tekst te bepalen factoren die leesbaarheid beïnvloeden, zoals gemiddelde zinslengte in woorden, gemiddelde woordlengte in lettergrepen. α, β, ......γ, c = bepaalde constante getallen die het gewicht van iedere factor in de formule aangeven. Ondanks het succes van de leesbaarheidsformules zijn er toch verschillende pogingen gedaan de leesbaarheidstest een grotere mate van toepasbaarheid te geven. Uit een van deze pogingen kwam de cloze procedure voort. | |||||||||||||||||||
Cloze test, cloze eenheid, cloze scoreDe cloze procedure is in 1953 door de Amerikaan Wilson L. Taylor ontwikkeld. Het begrip cloze (waarom hij cloze met een z schrijft, zegt hij nergens) heeft Taylor afgeleid van closure, een begrip uit de gestalt psychologie, dat betrekking heeft op het menselijk vermogen, patronen waarvan delen zijn weggelaten toch als volledige patronen te zien. Een mens kan bijvoorbeeld driekwart cirkel in zijn gedachten aanvullen tot een hele cirkel. Dat ver- | |||||||||||||||||||
[pagina 66]
| |||||||||||||||||||
mogen heeft een mens ook als het taalpatronen betreft. Iedere Nederlander kan de zin: Een kip kakelt en een ...... blaft volledig maken; hij zal het woord hond op de open plaats in vullen. Naarmate het patroon bekender of dwingender is, is het gemakkelijker het onbekende deel aan te vullen. Een cloze test is het invullen van een aantal woorden die willekeurig uit een tekst zijn weggelaten, zonder dat de proefpersoon de tekst eerst gelezen heeft. Ieder goed ingevuld woord levert een cloze eenheid op. Alleen ingevulde woorden die op spelling na identiek zijn aan de weggelaten woorden leveren een cloze eenheid op, dus synoniemen en dergelijke worden niet als cloze eenheden gerekend. Het aantal cloze eenheden dat een proefpersoon invult is de cloze score. De cloze score wordt meestal uitgedrukt in het percentage goed ingevulde woorden van het totaal aantal in te vullen woorden. | |||||||||||||||||||
Cloze passageDe cloze passage is de tekst waaruit de woorden zijn weggelaten die door de proefpersoon moeten worden ingevuld. De woorden worden willekeurig weggelaten. Dat wil zeggen dat er geen rekening mag worden gehouden met de woordsoort, of de functie van een woord in de zin. De willekeurige weglating gebeurt meestal door ieder n-de woord (bijvoorbeeld ieder 5-de) weg te laten, te beginnen bij een willekeurig woord van de eerste n woorden. De cloze procedure is dus iets anders dan de meer bekende schooltoets, waarbij delen van zinnen worden weggelaten, zo dat ze pas goed ingevuld kunnen worden als de leerling het onderwerp van de tekst beheerst, bijvoorbeeld: Schooltoets: KAREL V IS GEBOREN TE ......, EN LEEFDE VAN ...... TOT ....... Cloze procedure: KAREL V IS ...... TE GENT, EN ...... VAN 1500 TOT ....... (Bij de cloze procedure is ieder 4-de woord weggelaten te beginnen bij het 4-de woord.) De cloze procedure heeft dan ook niet de bedoeling de kennis te meten die de proefpersoon heeft van het onderwerp van de tekst, noch de taalbeheersing die de proefpersoon heeft, maar heeft uitsluitend de bedoeling de leesbaarheid van de tekst te meten en uit te drukken in een aantal cloze eenheden. Behalve dat de woorden van een cloze passage willekeurig moeten worden weggelaten, moet het ook niet mogelijk zijn aan de grootte van de open plaats te zien hoe lang het weggelaten woord ongeveer is. De open plaatsen in de tekst zijn dan ook van een standaard lengte (al dan niet onderstreept), dus evenveel wit voor het woordje te als voor het woord aanmatiging. Verder mag per open plaats maar één woord worden weggelaten, en er mag dus ook maar één woord worden ingevuld. De lengte van de cloze passage is variabel, maar moet bij weglating van ieder 5-de woord (standaard in Engelse cloze passages) minstens ± 250 woorden lang zijn. Het weglatingspercentage is dus ongeveer 20. In hoeverre dit weglatingspercentage de cloze test beïnvloedt is voor het Nederlands nog onvoldoende onderzocht. Al naar gelang de afstand tussen de weglatingen groter wordt, wordt de cloze test makkelijker en zal de cloze score toenemen. | |||||||||||||||||||
InvullenVoorbeeld van een cloze passageGa naar voetnoot1) van 250 woorden. Ieder vijfde woord is weggelaten vanaf het eerste. De in te vullen woorden staan op blz. 72 in dit nummer.
........................ mannen zaten aan de ........................ te vissen. De vis ........................ niet erg en een ........................ hen zei: ‘We moesten ........................ maar een bootje huren ........................ verderop op de plas ........................ geluk eens te gaan .........................’ Een eindje verderop is ........................ botenverhuurderij. Ik ga er ........................ even naar toe en ........................ dan met een boot ........................ om jullie op te .........................’ Een poosje later kwam ........................ roeiend terug en de ........................ twee stapten ook in ........................ zojuist gehuurde boot. En ........................ hoor, na verloop van ........................ hadden zij een flink ........................ vis gevangen. Ze keken ........................ laat het was en ........................ bleek dat ze drie ........................ later leefden. Dat betekende ........................ ze dertig gulden zouden ........................ betalen aan de botenverhuurder: ........................ roeiboot kostte nl. tien ........................ per uur. Een van ........................ mannen zei: ‘Dat is ........................ tien gulden per persoon......................... jullie mij elk tien ........................, dan ga ik betalen.’ ........................ roeiden terug en degene ........................ het geld in ontvangst ........................ genomen ging de verhuurderij ......................... ‘Probeer maar om wat ........................ te verkopen’ riepen de ........................ hem na. ‘Ik zal ........................ deze grote snoek te .........................’ En dat lukte. De ........................ kocht de snoek voor ........................ gulden. Hij krijgt dus ........................ de drie bankbiljetjes van ........................ gulden vijf guldens terug. ........................ man was echter niet ......................... Hij stak twee guldens ........................ een aparte zak en ........................ met drie guldens in ........................ hand naar de anderen. ‘........................ is gelukt,’ riep hij ........................ uit. ‘Ik heb drie ........................ ontvangen voor de snoek.’ | |||||||||||||||||||
Cloze procedure als leesbaarheidsindicatorDe cloze procedure is in eerste instantie ontwikkeld om de relatieve leesbaarheid van teksten te bepalen. Dat wil zeggen dat met de hulp van de cloze procedure van een hoeveelheid teksten kan worden bepaald de volgorde naar leesbaarheid voor een bepaalde proefpersoon of voor een groep proefpersonen. Men kan dus de uitspraak doen dat voor een aantal proefpersonen de ene tekst moeilijker of makkelijker is dan de andere. Als er sprake is van één proefpersoon dan is zijn verzameling cloze scores het criterium waarmee de volgorde van leesbaarheid kan worden bepaald: naarmate de cloze score hoger is, is de tekst leesbaarder. De betrouwbaarheid van de uitslag hangt in theorie af van een drietal fac- | |||||||||||||||||||
[pagina 67]
| |||||||||||||||||||
toren. In de eerste plaats van de hoeveelheid cloze passages van de betreffende teksten. Als de teksten bijvoorbeeld ieder ± 5000 woorden lang zijn, zou een volledige cloze test van de teksten te veel tijd vergen (er geldt voor de cloze test in principe geen tijdslimiet). Er zal dan volstaan moeten worden met enkele passages van ± 250 woorden (bijvoorbeeld drie, vijf, of tien) per tekst. Hoe meer passages des te nauwkeuriger de cloze score van die tekst. In de tweede plaats zou de cloze score van een tekst wel eens kunnen afhangen van de gebruikte cloze passage. Er zijn namelijk bij weglating van ieder 5-de woord vijf verschillende cloze passages van hetzelfde tekstgedeelte te maken. De score van elk van de cloze passages zou wel eens kunnen verschillen. Uit onderzoek van Taylor en anderen blijkt dat de cloze scores van verschillende cloze passages van hetzelfde tekstgedeelte elkaar nauwelijks ontlopen. In de derde plaats zouden de scores per tekst kunnen afhangen van de ‘luimen’ van de proefpersoon. Een toets is namelijk altijd een momentopname, die dan ook van moment tot moment kan verschillen. Uit onderzoek blijkt dat de cloze scores ook in die zin erg stabiel zijn. Wil men echter een meer algemene uitspraak over de leesbaarheid van een aantal teksten doen dan is het natuurlijk beter te werken met een groep van proefpersonen. Het is dan gebruikelijk om als cloze score van een tekst het rekenkundig gemiddelde van de cloze scores van de verschillende proefpersonen op die tekst te nemen. Andere centrummaten (modus, mediaan) zijn ook mogelijk maar leveren doorgaans dezelfde volgorde op. | |||||||||||||||||||
Cloze procedure als begrijpelijkheidsindicatorEen ‘knelpunt van procedurele aard’ is dat de cloze scores met betrekking tot leesbaarheid niet gestandaardiseerd zijn. Dat wil zeggen dat aan cloze scores met betrekking tot leesbaarheid geen waarden-schaal is toegevoegd. Als een proefpersoon bijvoorbeeld een cloze score van 48% heeft gehaald, kan daarmee geen uitspraak gedaan worden over de absolute leesbaarheid van de betreffende tekst. Met andere woorden er kan niet gezegd worden of die tekst voor hem nu leesbaar is of niet, noch in welke mate die tekst voor hem leesbaar is. Er kan slechts gezegd worden dat de tekst leesbaarder is dan een tekst waarop hij 20% zou hebben gescoord. Het probleem is hierin gelegen dat er nog geen geaccepteerde vergelijkingscriteria voor leesbaarheid zijn, zodanig dat de cloze procedure daarop geijkt kan worden. Leesbaarheidsformules en hun interpretatieschalen voldoen in dit opzicht niet, omdat de cloze procedure nauwkeuriger wordt geacht. Uit onderzoek is echter gebleken dat de cloze procedure behalve leesbaarheid ook begrijpelijkheid van een tekst kan meten. Daartoe moet de cloze test afgenomen worden nadat de proefpersoon de onverminkte tekst gelezen heeft. Verschillende onderzoekers hebben de cloze scores van van te voren gelezen teksten vergeleken met de scores van meerkeuzevragentoetsen naar de begrijpelijkheid van die teksten. Uit dit onderzoek bleek dat bij een meerkeuzevragenscore van 75% een cloze score van 41% hoorde, en dat bij een meerkeuzevragenscore van 90% een cloze score van 61% hoorde. Een meerkeuzevragenscore van 75% is een criterium voor begrijpen op instructie-niveau (instructional level). Dat wil zeggen dat een leerling die onder begeleiding van een docent werkt 75% van de meerkeuzevragen goed beantwoord moet hebben, wil er sprake zijn van begrijpen van die tekst. Een score van 90% betekent dat de tekst begrepen wordt op onafhankelijk niveau (independent level), wat wil zeggen dat een leerling die zonder begeleiding werkt 90% van de meerkeuzevragen goed beantwoord moet hebben, wil er sprake zijn van begrijpen van die tekst. Als men nu wil weten of een tekst voor een bepaalde proefpersoon al dan niet leesbaar is, dan moet eerst het begrip leesbaar aan het begrip begrijpelijk gekoppeld worden. Dat wil zeggen dat men de tekst niet leesbaar acht als hij niet begrijpelijk moet worden geacht. Voor begrijpelijkheid op instructie-niveau is dan een cloze score van minstens 41% vereist en voor begrijpelijkheid op onafhankelijk niveau is dan een cloze score van 61% vereist. Een tekst is dus leesbaar als een proefpersoon, al naar gelang het van toepassing zijnde begrijpelijkheidscriterium, 41% of 61% cloze score haalt. Deze ijking op meerkeuzevragentoetsen geeft de cloze procedure meteen een nieuwe toepassingsmogelijkheid, namelijk het vervangen van meerkeuzevragentoetsen naar de begrijpelijkheid van teksten. Vooral in het onderwijs is deze toepassingsmogelijkheid van groot belang. Immers het opzetten van betrouwbare meerkeuzevragentoetsen is een voor een individueel docent haast ondoenbare zaak, omdat het bedenken van meerkeuzevragen veel tijd vergt, en daarmee bovendien nog niet gezegd is dat de bedachte vragen wel goed zijn. Dat vereist toetsing van de vragen. Het maken van één of meer cloze passages van de betreffende tekst vraagt maar een fractie van die tijd, en is voor ieder docent zonder meer uitvoerbaar. Als een leraar dus wil weten of zijn leerlingen een bepaalde tekst begrepen hebben (wat niet altijd wil zeggen dat ze die tekst dan ook kennen) hoeft hij slechts een aantal cloze tests af te nemen en na te gaan wie van de leerlingen een score heeft van 41% of meer. Zij hebben de tekst begrepen, de anderen (zeer waarschijnlijk) niet. Het is natuurlijk onnodig te zeggen dat de cloze procedure ook bij andere vakken dan bij Nederlands kan worden gebruikt. | |||||||||||||||||||
Voorbeeld van een cloze testStel dat we willen nagaan of de troonrede van 1973 leesbaarder is dan die van 1974. Dan gaan we als volgt te werk. De troonrede is 2125 woorden lang. Om een nauwkeurig resultaat te krijgen nemen we 5 passages, elk van ± 250 woorden (de zin waarin het 250-ste woord staat nemen we helemaal). We laten ieder 5-de woord weg, te beginnen bij een door de dobbelsteen aangewezen eerste woord (de zes telt niet mee) en we laten 50 woorden weg (dat rekent makkelijk). We typen de passages zo dat we voor elk weggelaten woord evenveel ruimte open laten (bijvoorbeeld 15 spaties). We maken nu evenveel cloze passages van troonrede 1973 (T1) als van troonrede 1974 (T2). Liefst ook ongeveer van dezelfde plaatsen. We kiezen 25 proefpersonen die we een nummer geven en die we duidelijk instructies geven over wat ze moeten doen: ‘Op de open plaats moet je naar beste vermogen | |||||||||||||||||||
[pagina 68]
| |||||||||||||||||||
het woord invullen, wat je denkt dat weggelaten is. Op iedere open plaats mag je maar één woord invullen. De open plaatsen zijn voor ieder in te vullen woord gelijk. Vergeet niet je nummer op ieder blad te zetten.’ Na de test bepalen we van iedere cloze passage de cloze score (percentage goed ingevulde open plaatsen). De T1-score is de gemiddelde score van proefpersoon op alle cloze passages over T1, idem van T2. De gegevens kunnen we in een tabel zetten:
Dan nemen wij ons statistiekboek ter hand en zoeken een geschikte statistische toets, die we op de gegevens van de tabel loslaten. De uitspraak die we nu kunnen doen geldt in ieder geval voor de 25 proefpersonen. Als we deze nu zo gekozen hadden dat ze een representatieve steekproef van het Nederlandse volk waren, of een welomschreven deel daarvan, dan had onze uitspraak dienovereenkomstige geldigheid. Ditzelfde geldt ook voor de troonredes. Als we een representatief aantal troonredes van vóór 1960 hadden vergeleken met een soortgelijk aantal van na 1960 dan hadden we een uitspraak kunnen doen over de invloed van een toegevoegd taalkundige op de leesbaarheid van troonredes.
Voorbeeld van een cloze passage uit de troonrede 1974. De passage is 254 woorden lang. Ieder 5-de woord is weggelaten, vanaf het 3-de. In totaal zijn 50 woorden weggelaten. (Zie ná het invullen blz. 72 van dit nummer.)
De scherp ........................ prijzen van grondstoffen en ........................ hebben in de wereld ........................ gevaar opgeroepen van economische ........................ en grote werkeloosheid. Internationale ........................ gericht op behoud van ........................ is thans geboden. In ........................ land heeft de ongekende ........................ het voorgenomen beleid tot ........................ van inflatie en werkeloosheid ......................... Al heeft Nederland de ........................ naar verhouding goed doorstaan, ........................ uitvoering van het wetgevend ........................ van het kabinet is ........................ wel door vertraagd. Met ........................ plannen die de regering ........................ ontvouwt beoogt zij de ........................ bestedingen te vergroten, de ........................ terug te dringen en ........................ uitvoering van haar program ........................ te geven. De rijksbegroting ........................ voor het eerst geplaatst ........................ het perspectief van beleidsafspraken ........................ een vierjarige periode. De ........................ uitgangspunten van het kabinet ........................ tot uitdrukking in een ........................ verhoging van de uitgaven ........................ welzijn en onderwijs, ontwikkelingshulp ........................ sociale voorzieningen, subsidies voor ........................, openbaar vervoer en stadsvernieuwing. ........................ ontwikkeling naar een samenleving ........................ minder ongelijkheid, zoals dit ........................ ........................die voor ogen heeft ........................ hierin gestalte. De begroting ........................ doet de uitgaven van ........................ en gemeenten aanzienlijk stijgen ........................ schept ruimte voor een ........................ van het vrij besteedbaar ......................... Om deze inkomstenverbetering te ........................ zonder de inflatie aan ........................ wakkeren, is gekozen voor ........................ verlichting van lasten in ........................ sfeer van belastingen en ........................ premies. De regering acht ........................ verlichting temeer gewenst nu ........................ aardgasprijzen uit een oogpunt ........................ een verantwoord energiebeleid moeten ........................ verhoogd. De overheidsbijdrage aan ........................ Ouderdomsfonds wordt met ruim ........................ mln. extra vergroot, waardoor ........................ premiestijging bij de AOW zal verminderen. | |||||||||||||||||||
Literatuur
|
|