Spektator. Jaargang 1
(1971-1972)– [tijdschrift] Spektator. Tijdschrift voor Neerlandistiek– Auteursrechtelijk beschermd
[pagina 341]
| |||||||||||||||
Fritz Zondervan & Piet van Caldenborgh
| |||||||||||||||
InleidingHet ligt voor de hand dat het leesbaarheidsonderzoek leesbaarheid tot onderzoeksobject heeft, maar de moeilijkheid is dat ook een onderzoeker niet precies kan zeggen wat leesbaarheid is. Niet-onderzoekers hebben er zo hun eigen ideeën over. Zo kan iemand denken dat leesbaarheid te maken heeft met de snelheid waarmee men een tekst kan lezen. Een ander noemt een tekst leesbaar als hij die tekst na één keer lezen heeft begrepen. Weer een ander vindt een tekst leesbaar naar mate meer mensen die tekst kunnen lezen en begrijpen. Deze ‘kenmerken’ van leesbaarheid lopen nogal uiteen, maar ze hebben desondanks allemaal wel iets met leesbaarheid te maken.
Als men echter leesbaarheidsonderzoek wil doen, dan zal men toch duidelijk voor ogen moeten hebben wat leesbaarheid als onderzoeksobject betekent. Men zal het begrip leesbaarheid moeten definiëren. Men zou leesbaarheid kunnen definiëren aan het object-construct, het begrip-zoals-bedoeld. Zo'n definitie is bij voorbeeld de definitie van Dale en Chall: ‘Leesbaarheid in de ruimste zin van het woord is de som van de interakties van al die elementen in een bepaald drukwerk, die van invloed zijn op de mate, waarin een groep lezers het begrijpt, het leest met een optimale snelheid, en het interessant vindt.’Ga naar eind(2). Een dergelijke definitie is voor empirisch onderzoek onhanteerbaar. De onderzoeker zal zijn toevlucht moeten nemen tot de empirische variabele, het begrip zoals bepaald. De empirische variabele nu is een operationele definitie van het object-construct. | |||||||||||||||
[pagina 342]
| |||||||||||||||
Iets dergelijks geldt bijvoorbeeld ook voor een begrip als intelligentie. Het is moeilijk te zeggen wat intelligentie is. Men weet alleen globaal wat doorgaans onder intelligentie verstaan wordt. Het is moeilijk het objectconstruct intelligentie bevredigend te definiëren. De empirische variabele intelligentie is echter operationeel te definiëren als: intelligentie is, wat door de Stanford-Binet test gemeten wordt. Deze test-definitie is een betrekkelijk willekeurige operationele definitie van het object-construct intelligentie. In dergelijke operationele definities van intelligentie verschilt alleen de gebruikte tekst. Al deze testen hebben een met behulp van factoranalyse vast te stellen gemeenschappelijk deel dat tot het object-construct intelligentie behoort, de ‘algemene factor g.’Ga naar eind(3).
Bij leesbaarheid kunnen wij stellen dat de empirische variabele leesbaarhied is: wat door bij voorbeeld de cloze procedure gemeten wordt. Ook deze definitie is betrekkelijk willekeurig. We kunnen namelijk de empirische variabele leesbaarheid met verschillende criteria operationeel definiëren. Het object-construct en de bijbehorende empirische variabele dekken elkaar slechts partieel. Deze partiële dekking is een factor die de betrouwbaarheid van leesbaarheidsformules mede beïnvloedt.
Binnen het leesbaarheidsonderzoek wordt leesbaarheid, als object-construct beschouwd als drager van drie meetbare attributen. Legibility, dit is de typografische leesbaarheid; interest-value, de mate waarin een tekst belangstelling opwekt (dus niet: de mate waarin een tekst belangrijk is); ease of understanding, wat overeenkomt met leesgemak en begrijpelijkheid van een tekst. Vooral het derde attribuut is onderzocht. Dit onderzoek dat meestal in leesbaarheidsformules resulteert, kreeg de meeste bekendheid. Hierdoor heeft de term readability (=leesbaarheid) naast de object-construct betekenis de specifieke betekenis van ease of understanding, de attribuutsbetekenis gekregen. | |||||||||||||||
Correlatie en regressieIn het leesbaarheidsonderzoek ligt vooral de nadruk op het ontwikkelen van leesbaarheidsformules. Er wordt een instrument geconstrueerd dat op intersubjektieve wijze de waarde van de ease of understanding van een tekst vastlegt en voorspelt. Alvorens over de problematiek van leesbaarheidsformules als instrument te spreken, zullen we ons met de constructie ervan bezighouden. De statistische methoden die aan deze procedure ten grondslag liggen, zijn correlatie- en regressierekening. | |||||||||||||||
[pagina 343]
| |||||||||||||||
Correlatie- en regressierekening analyseren relaties tussen variabelen. De variabelen en hun relaties worden in eerste instantie bestudeerd door de wetenschap waarbinnen ze relevant zijn. Deze wetenschap (i.d.g. taalbeheersing) moet onderzoeken òf er verband bestaat tussen bepaalde variabelen, en van welke aard dat verband is. Men zou dit de kwalitatieve onderzoeksfase kunnen noemen. Met behulp van de statistiek kunnen gegevens uit de kwalitatieve fase geïnterpreteerd worden. Er kan worden getoetst of de gestelde relaties inderdaad aanwezig zijn en de mate ervan kan berekend worden. De statistische fase is dan de kwantitatieve onderzoeksfase.
De mate van samenhang tussen twee of meer variabelen wordt uitgedrukt in een correlatiecoëfficiënt. Een correlatiecoëfficiënt is een getal tussen - 1 en + 1 met de eigenschap dat naarmate de samenhang tussen de variabelen groter wordt, dit getal nadert naar de absolute waarde van 1. De relatie zelf tussen twee of meer variabelen wordt voorgesteld door een multipele regressievergelijking, waarvan de mathematische vorm afhangt van de gestelde relatie tussen de betrokken variabelen. Binnen het leesbaarheidsonderzoek is deze relatie steeds lineair. Een regressievergelijking is dan van de vorm:
Leesbaarheidsformules hebben deze vorm. X1, X2,...Xn zijn de verklarende variabelen, Y is de te voorspellen criteriumwaarde. Voor een uiteenzetting van correlatie en een afleiding van de produkt-moment-correlatiecoëfficiënt en voor een uiteenzetting van enkelvoudige lineaire regressie verwijzen wij naar Piet van Caldenborgh & Fritz Zondervan. Leesbaarheid deel IGa naar eind(4). | |||||||||||||||
VariabelenHet leesbaarheidsonderzoek begint dus met een kwalitatief onderzoek naar het object-construct leesbaarheid. Nadat een onderzoeker het objectconstruct bepaald heeft, maakt hij onderscheid tussen de mogelijke attributen van het object-construct en definieert met een criterium de empirische variabele. Op enige uitzonderingen na hebben leesbaarheidsformules de ease of understanding proberen te operationaliseren. Dit betekent dat het onderzoek dat in leesbaarheidsformules resulteert, zich beperkt tot de ease of understanding, één attribuut dus van leesbaarheid als object-construct. In feite is de ease of understanding het object-construct geworden. Men heeft dus ook weer te maken met de empirische variabele ease of understanding. In het leesbaarheidsonderzoek wordt de waarde van de empirische variabele ease of understanding door middel van leesbaar- | |||||||||||||||
[pagina 344]
| |||||||||||||||
heidsformules voorspeld. Dus niet de waarde van de empirische variabele leesbaarheid. Deze waarde zou voorspeld kunnen worden door een formule, waarin legibility, interest-value en ease of understanding de betrokken variabelen zijn. Een dergelijk onderzoek is bij ons weten nog niet gedaan.
Het is van belang te weten in hoeverre een leesbaarheidsformule iets zegt over leesbaarheid van een tekst als object-construct. Van volledige dekking van de zojuist genoemde begrippen kan geen sprake zijn, wat uit onderstaand schema moge blijken.
De begrippen (1) tot en met (5) worden in de praktijk van het leesbaarheidsonderzoek zelden onderscheiden, zodat een niet-onderzoeker gemakkelijk voorbij gaat aan de partiële dekking van de begrippen (1) en (7), als hij zich afvraagt hoe betrouwbaar een leesbaarheidsformule ‘de leesbaarheid’ meet. Een onderzoeker echter toetst zijn formule aan zijn gebruikt criterium en aan andere criteria. Bij de bepaling van zijn criterium zorgt hij ervoor dat hij (3) zo dicht mogelijk nadert. Bovendien weet hij dat (3) slechts één attribuut is van leesbaarheid als object-construct. Voor een onderzoeker is de betrouwbaarheid van een leesbaarheidsformule met betrekking tot leesbaarheid als objectconstruct niet onmiddellijk relevant. | |||||||||||||||
FactorenAls het onderzoeksobject is afgebakend tot de empirische variabele ease of understanding, moet men de variabelen opsporen, die op een of andere manier in relatie staan met ease of understanding. Men beschouwt dan de ease of understanding als afhankelijk van die variabelen, die factoren genoemd worden. Binnen het leesbaarheidsonderzoek zijn de factoren in eerste instantie binnen de tekst gezocht. Ze zijn voornamelijk stilistisch van aard, dat wil zeggen dat zij betrekking hebben op stijlkenmerken, zoals woordfrequentie, woordlengte, woorddiversiteit, zinslengte, woordmoeilijkheid enz. De eerste uitgebreide inventarisatie van factoren die in relatie staan met leesbaarheid als empirische variabele werd uitgevoerd door Gray en Leary in 1935Ga naar eind(5). Op grond van meningen van deskundigen kwamen zij tot 289. verschillende | |||||||||||||||
[pagina 345]
| |||||||||||||||
factoren, waarvan er 82 betrekking hadden op de ease of understanding. Natuurlijk zijn niet alle factoren even belangrijk. Men kan zich voorstellen dat bij voorbeeld het aantal woorden dat met een i begint, niet zo'n grote invloed op de ease of understanding uitoefent als bij voorbeeld de gemiddelde zinslengte. Ook kan men zich voorstellen dat twee of meer verschillende factoren door een bovenliggende factor vervangen zou kunnen worden. Gray en Leary reduceerden zo de 82 tot 44 belangrijke factoren.
Een veel gebruikte methode in het factorenonderzoek is de statistische methode die factoranalyse heet. Dit is een op correlatierekening gebaseerde methode, die met behulp van matrixrekening factoren opspoort, of een gegeven aantal factoren reduceert. Stolurow en Newman reduceren zo de 44 overgebleven factoren van Gray en Leary tot 23Ga naar eind(6). Binnen het leesbaarheidsonderzoek werkt men meestal met maximaal acht verklarende factoren in een leesbaarheidsformule. Leesbaarheidsformules met meer factoren zijn theoretisch nauwkeuriger, maar ze zijn als instrument onhanteerbaar. De bekende formules van Flesch en van Dale-Chall hebben slechts twee verklarende factoren. Ook de meest recente formules van Fry en van McLaughlin respectievelijk uit 1968 en 1969 kennen respectievelijk twee en een factorenGa naar eind(7). Bij de constructie van leesbaarheidsformules zal de onderzoeker er rekening mee houden dat de analyst reliability van de gebruiker afneemt naarmate het aantal factoren stijgt. Vandaar de voorkeur voor formules met een klein aantal verklarende variabelen. | |||||||||||||||
CriteriumDe vastgestelde factoren beïnvloeden de empirische variabele ease of understanding. De factoren moeten kwantificeerbaar zijn. In een tekst moet men bij voorbeeld kunnen tellen hoeveel één-lettergrepige woorden gebruikt zijn. Nu is het bij de constructie van een leesbaarheidsformule noodzakelijk om behalve de X-waarden (de waarden van de factoren), ook de bijbehorende Y-waarden te weten. Bij een formule die slechts twee factoren heeft, bij voorbeeld gemiddelde woordlengte in lettergrepen en gemiddelde zinslengte in woorden, moet men behalve de waarden van deze factoren per tekst ook de waarde van de ease of understanding van die tekst te weten zien te komen. Dit lijkt veel op een vicieuze cirkel: om de ease of understanding te meten, moet men hem eerst meten. De oplossing ligt hierin dat men om een instrument te construeren waarmee men de ease of understanding kan voorspellen, eerst de ease of understanding operationeel definieert met behulp van een criterium. | |||||||||||||||
[pagina 346]
| |||||||||||||||
Waaraan moet nu zo'n criterium voldoen? Hiertoe beschouwen we bij voorbeeld de volgende functies:
Dit betekent de ease of understanding (E) is een functie van de factoren woordlengte (wl) en zinslengte (zl). De empirische variabele leessnelheid (L) is een functie van dezelfde factoren. Het is waarschijnlijk dat woorden zinslengte de leessnelheid anders beïnvloeden dan ze de ease of understanding beïnvloeden, wat inhoudt dat g en f verschillende functies zijn. Ease of understanding (E) is ook een functie van leessnelheid (L). Leessnelheid (L) is alleen dan een goed criterium voor ease of understanding (E) als het quotiënt van ΔE en ΔL constant is. Dat wil zeggen dat bij lineaire regressie toename van E een lineaire toename van L tot gevolg heeft. Hieraan moet een goed criterium dan ook voldoen. In de praktijk is L meetbaar en E niet. Het is dus onmogelijk bij voorbaat na te gaan of de functie F lineair is, en daarmee het quotiënt constant is. De bruikbaarheid van een gekozen criterium wordt dan ook pas achteraf getoetst door validiteitsbepalingen. | |||||||||||||||
BetrouwbaarheidIn het leesbaarheidsonderzoek kan men drie aspecten van betrouwbaarheid onderscheiden. Ten eerste de betrouwbaarheid bij het onderzoek; ten tweede de betrouwbaarheid in gebruik; ten derde validiteit. De betrouwbaarheid bij het onderzoek heeft vooral betrekking op de betrouwbaarheid van de formule als statistische interpretatie van het gegeven materiaal. Een probleem van statistische aard is dat een regressielijn zelf, als empirische variabele, weer een beandering is van de werkelijke lineaire relatie als object-construct. Met andere woorden de lijn-zoals-bepaald is een benadering van de lijn-zoals-bedoeld. Dit probleem wordt statistisch opgelost door betrouwbaarheidsintervallen voor de regressiecoëfficiënten en voor de constante term.
De betrouwbaarheid bij het onderzoek heeft ook betrekking op de betrouwbaarheid van de onderzoeker: analyst reliability, bestaande uit consistentie, stabiliteit en intersubjectieve overeenstemming. Consistentie betekent in dit verband dat de onderzoeker in een gegeven situatie consequent handelt. Stabiliteit betekent hier de betrouwbaarheid van de oordelen van de onderzoeker bij een onafhankelijke herhaling van de procedure. Intersubjectieve overeenstemming betekent hier dat verschillende onderzoekers af- | |||||||||||||||
[pagina 347]
| |||||||||||||||
hankelijk van elkaar tot een zelfde uitspraak komen. In het leesbaarheidsonderzoek is deze vorm van betrouwbaarheid vooral van belang als de onderzoeker beoordeling door deskundigen als criterium voor de empirische variabele ease of understanding gebruikt.
Een ander belangrijk deel van de betrouwbaarheid bij onderzoek is gelegen in de keuze van het te onderzoeken tekstmateriaal. Als een onderzoeker zijn keuze al dan niet bewust beperkt tot een bepaald genre, bij voorbeeld tot schoolboeken of tot wetenschappelijke tijdschriftartikelen, dan kan het best zijn dat zijn formule ook alleen maar in dat genre een goede voorspeller is. Vaak wordt zo'n keuze met opzet beperkt tot een bepaald genre tekst en de formule kan dan ook alleen maar voor dat bepaalde genre gebruikt worden. Niet alleen het genre maar ook het aantal van de te onderzoeken teksten beinvloedt de betrouwbaarheid van een leesbaarheidsformule.
De betrouwbaarheid in het gebruik van leesbaarheidsformules valt en staat met de instructies die de onderzoeker aan zijn formule toevoegt. Het instrument bestaat namelijk uit de formule, een handleiding en een interpretatieschaal. De handleiding moet allereerst goede operationele definities bevatten van alle betrokken empirische variabelen, zoals factoren en de daarmee samenhangende grootheden. Bovendien moet in de handleiding aangegeven zijn hoe, hoeveel en hoe groot steekproeven moeten worden genomen uit het tekstmateriaal waarvan de leesmoeilijkheid moet worden bepaald. Het al of niet nemen van steekproeven dient duidelijk te zijn aangegeven. De handleiding bevat eveneens een interpretatieschaal, waarop de uitkomsten moeten worden afgelezen. De betrouwbaarheid in gebruik hangt natuurlijk ook af van de analyst reliability van de gebruiker. In bovenstaand schema zijn twee aspecten van betrouwbaarheid bij leesbaarheidsonderzoek dat in leesbaarheidsformules resulteert, weergegeven: de betrouwbaarheid bij het onderzoek en de betrouwbaarheid in gebruik. Het derde aspect, validiteit, behandelen we hierna afzonderlijk. | |||||||||||||||
[pagina 348]
| |||||||||||||||
ValiditeitValiditeitsonderzoek, zowel het theoretisch als het empirisch, maakt deel uit van het betrouwbaarheidsonderzoek van een leesbaarheidsformule. Het moet een antwoord geven op de vraag: in hoeverre meet een formule datgene waarvoor hij ontwikkeld is? Bij empirisch validiteitsonderzoek worden meetresultaten met elkaar vergeleken. De mate van samenhang tussen twee series metingen wordt uitgedrukt in een correlatiecoëfficiënt: de validiteits-coëfficiënt.
Men kan zich afvragen in hoeverre men met een gegeven formule inderdaad de ease of understanding van een willekeurige tekst meet. Om hier een antwoord op te vinden, is het noodzakelijk dat er empirisch onderzoek wordt gedaan. Men noemt dit onderzoek de bepaling van de predictive validity. Men gaat hierbij als volgt te werk. Van een aantal teksten bepaalt men met behulp van de gegeven formule de ease of understanding. Dit resulteert in een serie formule-uitkomsten. Daarna bepaalt men met behulp van het criterium dat gebruikt is voor de constructie van die formule, van dezelfde teksten opnieuw de ease of understanding. Ook dit resulteert in een serie uitkomsten. De correlatiecoëfficiënt van deze twee series getallen is in dit geval de predictive validity coefficient. Deze coëfficiënt kan men beschouwen als een maat voor de voorspellende waarde van de gegeven leesbaarheidsformule.
Als men zich afvraagt in hoeverre twee verschillende leesbaarheidsformules met elkaar overeenstemmen, dan moet men de formule-uitkomsten met elkaar vergelijken. Men noemt dit congruent validity of vergelijkende validiteit. Men bepaalt van een aantal teksten de ease of understanding met behulp van de ene formule, wat resulteert in een serie formule-uitkomsten. Daarna bepaalt men met behulp van de andere formule de ease of understanding van dezelfde teksten, wat eveneens in een serie formuleuitkomsten resulteert. De correlatiecoëfficiënt van deze twee series getallen is nu een maat voor overeenkomst tussen twee formules, uitgedrukt in de vergelijkende-validiteitscoëfficiënt, ook wel genoemd de intercorrelatiecoëfficiënt.
Als men zich afvraagt in hoeverre het oorspronkelijk criterium overeenstemt met andere criteria voor ease of understanding, kan men dat op twee manieren testen. Beide worden cross validity genoemd. In de eerste plaats kan men van een aantal teksten met behulp van het oorspronkelijk criterium de ease of understanding bepalen en deze serie uitkomsten correleren met de uitkomsten die verkregen zijn door bepaling van de ease of understanding van dezelfde teksten met behulp van een ander criterium. In de tweede plaats kan men van een aantal teksten met behulp van de leesbaarheids- | |||||||||||||||
[pagina 349]
| |||||||||||||||
formule de ease of understanding bepalen en deze uitkomsten correleren met die welke verkregen zijn door de ease of understanding van dezelfde teksten te bepalen met een ander criterium. Deze cross validity-coëfficiënten zijn een maat voor de waarde van het oorspronkelijk criterium en als zodanig natuurlijk van belang voor de voorspellende waarde van de formule.
Men kan zich afvragen of en hoe het oorspronkelijk criterium reageert op de verandering van de waarden van de in een gegeven formule voorkomende factoren. Dit kan men bij voorbeeld bereiken door de gemeten teksten te herschrijven. Men bepaalt met behulp van het oorspronkelijk criterium de case of understanding van een aantal teksten. Daarna wordt één factor (of meer) door herschrijving gevarieerd en de ease of understanding opnieuw bepaald met het oorspronkelijk criterium. De correlatiecoëfficiënt van de zo ontstane series getallen geeft een maat voor de bruikbaarheid van de gevarieerde factor(en). In plaats van het oorspronkelijk criterium kan men in beide metingen met een ander dan het oorspronkelijk criterium gebruiken. Men noemt deze validiteitsbepalingen bepalingen van de experimental validity.
True or intrinsic validity wordt bepaald met de multipele correlatiecoëfficiënt die men berekenen kan, als men het oorspronkelijk criterium correleert met de factoren van de gegeven formule.
De hier onderscheiden validiteiten zijn empirische validiteiten. De te berekenen validiteitscoëfficiënten geven de mate van overeenkomst aan tussen twee meetbare variabelen. De empirische validiteit bepaalt de waarde van het instrument, zijnde de voorspeller van het criterium, dat de operationele definitie is van de empirische variabele. Hiernaast staat de theoretische validiteit die de waarde bepaalt van de empirische variabele met betrekking tot zijn object-construct. Het object-construct is niet kwantificeerbaar. Men noemt deze validiteit construct validity. Uit vergelijkende validiteit bij voorbeeld kan wel blijken dat verschillende formules hoog met elkaar correleren, zonder dat dit evenwel een garantie is dat zij werkelijk de ease of understanding-zoals-bedoeld meten. Dit komt in eerste instantie doordat ease of understanding als object-construct niet volledig gedekt wordt door ease of understanding als empirische variabele. Geen van de mogelijke operationele definities van de empirische variabele (criteria) kan het object-construct volledig dekken, omdat het begrip ‘ondermijdelijkerwijze een surplus-betekenis [heeft] ten opzichte van ieder empirisch criterium’Ga naar eind(8). | |||||||||||||||
[pagina 350]
| |||||||||||||||
Schema van validiteitsbepalingen
Theoretische validiteitsbepaling kan dus alleen indirect plaats vinden, omdat het object-construct niet kwanitficeerbaar is. In het leesbaarheidsonderzoek is ons geen construct validity bepaling bekend. Wel kunnen we de empirische validiteiten beschouwen als bijdragen tot bepaling van de construct validity. De voor de hand liggende uitspraak dat leesbaarheids-formules ‘de leesbaarheid’ van een tekst meten, moge door dit artikel tot een zinledige uitspraak zijn geworden. | |||||||||||||||
[pagina 351]
| |||||||||||||||
Aanbevolen literatuur
|
|