Tijdschrift voor Taalbeheersing. Jaargang 12

[p. 190]

Een bijdrage aan de begripsvalidering van alternatieve cloze-toetsen
R.S.H. Krom en W. Kleinegris

Samenvatting

Nagegaan is of een hier geïntroduceerde variant van de standaard cloze-toets, als meetinstrument van de leesvaardigheid, meer dan slechts lokaal tekstbegrip in de meting betrekt.

Daartoe zijn naast de reguliere versie van deze alternatieve cloze-toets twee gepermuteerde toetsversies geconstrueerd, waarin de globale context van iedere deletie verstoord werd. De lokale context bleef onaangetast.

Op de reguliere toetsversie bleken de scores van leerlingen in groep 7 van het basisonderwijs gemiddeld hoger te zijn dan op de beide gepermuteerde versies. Dit resultaat wordt opgevat als een aanwijzing dat bij het beantwoorden van items in alternatieve cloze-toetsen van meer informatie gebruik gemaakt wordt dan uitsluitend de informatie in de onmiddellijke omgeving van de deleties.¹

1 Het onderzoek dat hier beschreven wordt, is uitgevoerd in het kader van de doctoraal-stage van de tweede auteur op het Instituut voor Toetsontwikkeling onder supervisie van de eerste auteur en Dr. L.T.W. Verhoeven. Methodologische ondersteuning werd verleend door Drs. P. de Jong.

1 Inleiding

De cloze-toets werd door Wilson L. Taylor geïntroduceerd als een instrument om de leesbaarheid van geschreven teksten te bepalen (Taylor, 1953). Een cloze-toets is een tekst waaruit door de constructeur van de toets, volgens een aantal voorschriften, woorden zijn weggelaten. Deze woorden moeten door proefpersonen weer in de tekst geplaatst worden. Anders gezegd: een cloze-toets is een verminkte tekst die lezers moeten trachten te restaureren. De mate waarin lezers daarin succesvol zijn, geeft de leesbaarheid van de tekst aan.

Al snel na zijn introductie schreef men aan de cloze-toets nieuwe toepassingsmogelijkheden toe. Taylor zelf achtte de cloze-toets eveneens goed bruikbaar om de leesvaardigheid te meten (Taylor, 1956). Maat voor het leesvaardigheidsniveau van een proefpersoon is de individuele cloze-score van de proefpersoon: het aantal correct gerestaureerde ‘open plaatsen’ in een cloze-toets. Later bleek de toets bovendien geschikt om de algemene taalvaardigheid te meten, althans iets te meten ‘very closely related to what is usually called language ability’ (Harris, 1985).

Sinds Taylors publicaties in de vijftiger jaren is de cloze-toets een frequent onderwerp geweest van onderzoek waarin de validiteit van de cloze-toets, als meetinstrument voor met name de lees- en taalvaardigheid, is onderzocht. Doorgaans betrof het correlationeel onderzoek waarin de scores van leerlingen op cloze-toetsen werden gerelateerd aan hun scores op ‘klassieke’ lees- en/of taalvaardigheidstoetsen. Daarnaast is de cloze-toets in factor-analytische studies onderzocht. Over het algemeen werd de validiteit bevredigend bevonden (zie voor overzichten: Van Hauwermeiren, 1975a; Robinson, 1981; Soudek en Soudek, 1983 en Wesdorp, 1981, p. 141 e.v.). Het is dan ook niet verwonderlijk dat er tot op de dag van vandaag veelvuldig van de cloze-toets gebruik wordt gemaakt. Om de leesbaarheid van teksten te bepalen (Bormuth, 1966,1969; Van Hauwermeiren, 1975b; Staphorsius en Krom, 1985a; Zondervan, et al., 1976). Om de leesvaardigheid te meten (Aamoutse en Buitenhuis, 1984; Boland, 1988; Hinofotis en Snow, 1980; Staphorsius en

[p. 191]

Krom, 1990). Om de algemene taalvaardigheid te meten (Jochems en Montens, 1987; Wijnstra, 1977).

Toch is er ook kritiek op de cloze-procedure, zoals men het geheel van constructie, afname en scoring van de toets wel noemt. Niet zozeer op het gebruik van de cloze-toets voor het bepalen van de leesbaarheid, als wel op het gebruik ervan als instrument om de vaardigheid in het (begrijpend) lezen van teksten te meten. Robinson (1981) komt - na een overzicht van de cloze-literatuur te hebben gegeven - nog tot het behoedzaam geformuleerde:

‘It can be concluded that cloze is a valid and reliable measure of readablity and a valid and reliable indicant of reading ability’.

Shanahan, et al. (1982) echter, lijken te wijzen op een ernstige beperking van de waarde van de cloze-procedure als leesvaardigheidsmaat: voor het begrijpen van teksten is het leggen van betekenisrelaties tussen zinnen, het integreren van informatie ‘over’ zinsgrenzen heen, een noodzakelijke voorwaarde, Shanahan, et al. nu betwijfelen of de clozeprocedure wel aangrijpt op dit niveau. Zij vragen zich af of het wellicht niet zo is, dat het correct invullen van een ‘open plaats’ of deletie in een tekst kan geschieden op grond van informatie in uitsluitend de onmiddellijke omgeving van deze deletie, door Shanahan, et al. gedefinieerd als de zin waarin de deletie voorkomt. Is het voldoende om de zin waarin de deletie staat te begrijpen of is voor het correct beantwoorden van een cloze-item bovendien begrip van grotere delen van de tekst vereist? Als het eerste het geval zou zijn, dan zou de cloze-toets een belangrijk aspect van de leesvaardigheid niet meten, hetgeen afbreuk zou doen aan de begripsvaliditeit van deze procedure als maat voor de leesvaardigheid.

Om antwoord op bovenstaande vraag te krijgen, zetten Shanahan, et al. onderzoek op waarin zij de scores op twee cloze-toetsversies vergeleken. Beide toetsversies hadden dezelfde tekst als basis, hadden ook dezelfde deleties. Echter, in een van de versies werd de zinsvolgorde aselect bepaald, zodat een toetsversie ontstond waarin de zinnen ‘door elkaar gehusseld’ waren. Als er voor het correct beantwoorden van een cloze-item meer informatie nodig is dan gevonden kan worden in de zin waarin de deletie voorkomt, dan zullen scores op een cloze-toets waarin de volgorde van de zinnen aselect tot stand kwam systematisch lager zijn dan scores op een cloze-toets waarin de oorspronkelijke zinsvolgorde gehandhaafd bleef, omdat in de ‘aselecte’ toetsversie het integreren van betekeniselementen over zinsgrenzen heen zo goed als onmogelijk wordt.

Shanahan, et al. vonden geen significante verschillen tussen prestaties op cloze-toetsen met een normale zinsvolgorde en die op toetsen met aselecte zinsvolgorden en concludeerden daaruit dat er bij het invullen van een ‘open plaats’ in een gedeleerde tekst niet noodzakelijk gebruik gemaakt hoeft te worden van intersentential information, dat - integendeel - informatie binnen de zin waaruit gedeleerd wordt daarvoor voldoende is. Cloze- toetsen zouden met andere woorden een relevant aspect van de leesvaardigheid niet meten.

Het onderzoek van Shanahan, et al. is gerepliceerd op de afdeling Basis - en Speciaal Onderwijs van het Instituut voor Toetsontwikkeling (Cito). In het replicatie-onderzoek (Staphorsius en Krom, 1985b) werd tegemoet gekomen aan een aantal punten van kritiek op de methode van onderzoek van Shanahan, et al. (zie Cziko, 1983; Henk, 1982). Bovendien is er door middel van een voormeting en een randomized blocking-procedure voor gezorgd dat de groepen die de cloze-toetsen met een normale zinsvolgorde maakten en de groepen die de cloze-toetsen met aselecte zinsvolgorden maakten vergelijkbaar

[p. 192]

waren wat betreft de leesvaardigheid van de leerlingen die ze bevatten. Staphorsius en Krom vonden in tegenstelling tot Shanahan, et al. wel significante verschillen tussen de scores op beide toetsversies. Scoreverschillen die, omdat daarvoor gecontroleerd werd, niet toe te schrijven zijn aan leesvaardigheidsverschillen tussen de groepen leerlingen die de ene versie maakten en de groepen leerlingen die de andere versie maakten. Uit dit replicatie-onderzoek bleek dus niet dat cloze-opgaven altijd te beantwoorden zijn aan de hand van de onmiddellijke of lokale (zins-)context alleen.

Analyse van de items in cloze-toetsen die tot stand komen door middel van het door Taylor geïntroduceerde constructieprincipe, het mechanisch deleren van ieder n^e woord uit een tekst, leert het volgende. In elke cloze-toets, op deze manier geconstrueerd, komen items voor die te beantwoorden zijn op basis van begrip van de lokale context èn items voor beantwoording waarvan ook informatie nodig is uit andere delen van de tekst dan de zin waarin de deletie staat (de zogenoemde globale context).²

In zoverre het leggen van relaties tussen betekeniselementen uit tekstdelen groter dan een zin een wezenlijk bestanddeel van de leesvaardigheid vormt, bepaalt de verhouding tussen beide typen items in een cloze-toets dus de mate waarin de cloze-toets een ‘compleet’ meetinstrument voor de leesvaardigheid genoemd kan worden. Het kan dan ook als een nadeel gezien worden dat men bij de constructie van cloze-toetsen langs mechanische weg deze verhouding niet onder controle heeft. Het beschikbaar hebben van een cloze-toetsenbestand van een zekere omvang kan hier eventueel een oplossing bieden.

Binnen het Cito-project ‘Begrijpend lezen’ zijn, naast een groot aantal standaard cloze- toetsen (Staphorsius en Krom, 1990; p. 31), cloze-toetsen ontwikkeld die volgens een ander principe geconstrueerd werden. De items in deze toetsen kwamen tot stand door het deleren van specifieke woorden of woordgroepen uit jeugdteksten. Deze woord(groep)en werden zo gekozen dat leerlingen voor het correct herstellen van de deleties - anders dan door raden; het gaat om meerkeuze-items - noodzakelijkerwijs betekeniselementen uit verschillende delen van de tekst onderling moeten verbinden. Informatie uit alleen de lokale context van de deletie is in geen enkel geval voldoende voor correct herstel.

Door het constructieprincipe van de alternatieve cloze-toetsen zou de aanleiding tot de kritiek van Shanahan, et al. op de (standaard) cloze-toets dus weggenomen worden, wat de begripsvaliditeit van het instrument in belangrijke mate ten goede zou komen. In het hier beschreven onderzoek werd dit validiteitsaspect, onder gebruikmaking van een onderzoeksmodel als van Shanahan, et al. (1982), respectievelijk Staphorsius en Krom (1985b), aan een tweetal representanten van de alternatieve cloze-toetsvorm onderzocht.

2 Daarnaast bevat bijna elke cloze-toets enkele items die, omdat in de tekst de noodzakelijke gegevens ontbreken, niet dan door raden te beantwoorden zijn. Bijvoorbeeld:
‘Het is __ uur. Evie gaat naar bed.’

2 Onderzoeksopzet

2.1 Proefpersonen

Aan het onderzoek namen 385 leerlingen deel uit 16 zevende groepen van een tiental basisscholen uit Arnhem, 's-Gravenhage en de regio Midden-Brabant.

2.2 Toetsmateriaal

Om in een voormeting de leesvaardigheid van de leerlingen te kunnen bepalen is gebruik gemaakt van de toets Begrijpend lezen E5 van het Cito. Dit instrument bestaat uit zes korte teksten waarover in totaal 25 meerkeuzevragen worden gesteld. Iedere vraag is een

[p. 193]

operationalisatie van een van drie doelstellingen: het identificeren van expliciet in een tekst gegeven informatie, het afleiden van informatie uit een of meer zinnen in een tekst en het onderscheiden van hoofd- en bijzaken in een tekst (Van Deventer, et al., 1982). De toets is landelijk genormeerd op tijdstip ‘eind leerjaar 5’ (de huidige groep 7) en bedoeld voor afname in de onderwijsperiode waarin ook het onderzoek dat hier beschreven wordt plaatsvond.

Uit de verzameling alternatieve cloze-toetsen die op het Cito binnen het project ‘Begrijpend lezen’ ontwikkeld is, werden twee toetsen geselecteerd. Omdat de gehele verzameling in eerder onderzoek reeds is voorgelegd aan een ‘landelijke’ steekproef van leerlingen uit de hoogste groepen van het basisonderwijs, waren van alle toetsen psychometrische gegevens aanwezig. Op basis van deze gegevens konden twee toetsen gekozen worden met een gemiddelde p-waarde ruim boven .50 in groep 7. De toetsen zijn gebaseerd op twee authentieke jeugdteksten; de ene toets is gebaseerd op een tekst over het bezoek van een jongen en een meisje aan de luchthaven Schiphol (tekst 1) en de andere op een tekst over de aardigheid van het schrijven van een verhaal over de riddertijd (tekst 2).

Beide toetsen bevatten zeven items met ieder vijf antwoordmogelijkheden. Ieder item bestaat uit een tekstfragment dat één zin bevat, waaruit een woord of woordgroep is weggelaten. De leerlingen moeten dit woord of deze woordgroep herkennen temidden van een viertal onjuiste antwoordaltematieven. De items zijn zo geconstrueerd dat voor het maken van een juiste keuze uit de antwoordmogelijkheden - afgezien uiteraard van succesvol raden - het begrijpen van informatie verspreid over het gehele fragment noodzakelijk is. U treft een van de items aan in bijlage 1.

Met deze ‘normale’ toetsversie (versie A) als uitgangspunt werd een tweede toetsversie geconstrueerd. Deze kwam tot stand door de zinsvolgorde van de normale toetsversie te randomiseren: alle zinnen, met uitzondering van de zinnen-met-deletie, kregen een door het toeval bepaalde plaats in de toets. De zinnen-met-deletie bleven buiten de randomisatie-procedure en behielden hun positie (versie B). Zie voor de tegenhanger van het in bijlage 1 afgeheelde item in versie B: bijlage 2.

Er werd een derde toetsversie geconstrueerd door in de zinnen van de reguliere versie, met uitzondering weer van de zinnen-metdeletie, ieder woord te vervangen door een grammatikaal overeenkomstig maar semantisch verschillend woord. De betekenis van de zinnen veranderde daardoor drastisch en er ontstond een ‘tekst’ zonder enige cohesie; in feite een verzameling losse zinnen, met als het ware daarin ingebed de zinnen-metdeletie (versie C). Ook Shanahan, et al. (1982) betrokken een dergelijke versie in hun onderzoek. Dit om het, meer nog dan in de ‘aselecte’ of ‘random’ versie, waarschijnlijk te maken.

‘that subjects could not use information across sentence boundaries (...), as the only context available was misleading at best.’

De tegenhanger in toetsversie C van het in bijlage 1 afgebeelde item uit de normale versie treft u aan in bijlage 3.

Er ontstonden zo zes verschillende cloze-toetsen (twee teksten x drie toetsversies).

2.3 Werkwijze

De leerlingen maakten allereerst de toets Begrijpend lezen E5. Op basis van hun scores op dit instrument werden de leerlingen binnen ieder van de 16 deelnemende groepen geordend van een hoog naar een laag leesvaardigheidsniveau. Per drie opeenvolgende

[p. 194]

leerlingen in elk van deze rangorden werden de cloze-toetsversies (A, B en C) aselect toegewezen. Op deze manier ontstonden drie groepen leerlingen - één voor elk van de drie cloze-toetsversies - met een vergelijkbare leesvaardigheid. (In ‘Resultaten’ komen we hierop terug.) De leerlingen die in het vervolg van het onderzoek cloze-toetsversie A voorgelegd zouden krijgen vormden groep A, de leerlingen die versie B zouden krijgen vormden groep B en de leerlingen die versie C zouden krijgen vormden groep C.

Wanneer in het vervolg van het onderzoek verschillen tussen de scores op de drie clozetoetsversies worden aangetroffen, zijn deze niet toe te schrijven aan leesvaardigheidsverschillen tussen de onderzoeksgroepen, omdat met behulp van de zojuist beschreven toewijzingsprocedure gecontroleerd is voor de variabele ‘leesvaardigheid’.

Twee à drie weken later werden de cloze-toetsen afgenomen. Alle leerlingen kregen twee van de zes toetsen voorgelegd; een toets gebaseerd op tekst 1 en een toets gebaseerd op tekst 2. Iedere leerling maakte beide toetsen in één versie, de versie die hem of haar na afname van de toets Begrijpend lezen E5 aselect is toegewezen. Om volgorde-effecten tegen te gaan, maakte de helft van de leerlingen eerst de toets gebaseerd op tekst 1 en de andere helft eerst de toets gebaseerd op tekst 2.

De leerlingen werd gevraagd uit het rijtje met de vijf ‘antwoorden’ dat bij iedere open plek in de verhaaltjes gegeven wordt, het antwoord te kiezen dat op die plaats past. Er werd verteld dat sommige leerlingen toetsboekjes hadden gekregen ‘waarin bovendien iets mis is met de verhaaltjes zelf’. De instructie werd besloten met de raadgeving om steeds na een open plek nog een stukje verder te lezen. Ook in dat gedeelte van de context van een item kon zich namelijk relevante informatie bevinden.

3 Resultaten

Onze procedure voor het toewijzen van cloze-toetsversies aan leerlingen zou er toe hebben moeten leiden dat de verschillende toetsversies gemaakt zijn door groepen leerlingen met een overeenkomstig leesvaardigheidsniveau. Uit Tabel 1 blijkt dat we er met behulp van de gehanteerde toewijzingsprocedure in geslaagd zijn drie onderzoeksgroepen te vormen met een nagenoeg gelijke gemiddelde leesvaardigheid, terwijl ook de spreiding van de scores binnen de groepen in hoge mate overeenkomt.

	groep A	groep B	groep C
gemiddelde score E5	17.67	17.78	17.65
s.d.	4.76	4.71	4.81
n	129	128	128

Tabel 1: Gemiddelde scores en standaard deviaties van de drie onderzoeksgroepen op Begrijpend lezen E5

In Tabel 2 treft u de gemiddelden en standaard deviaties aan van de scores op de cloze- toetsversies A, B en C, gesommeerd over de beide teksten.

[p. 195]

	versie A	versie B	versie C
aantal items	14	14	14
gemiddelde score	8.82	5.48	6.57
s.d.	2.75	2.21	2.25

Tabel 2: Gemiddelde scores en standaard deviaties op de drie cloze-toetsversies

Uit Tabel 2 blijkt dat de gemiddelde score op versie A hoger is dan die op de twee andere versies. De leerlingen scoren hoger op de cloze-toetsen met een normale zinsvolgorde (versie A) dan op de cloze-toetsen waarin de zinsvolgorde gerandomiseerd werd (versie B) en ook hoger dan op de cloze-toetsen waarin de zinnen die de deleties bevatten zijn ingebed in een verzameling zinnen zonder onderlinge samenhang (versie C). De gemiddelde score op versie C is hoger dan die op versie B.

Een samenvatting van de variantie-analyse uitgevoerd op de toetsscores voor de beide teksten afzonderlijk vindt u in Tabel 3.

variantiebron	SS	df	MS	F	tail prob.
versie	405.617	2	202.808	68.29	.000
tekst	.260	1	.260	.17	.678
tekst x versie	108.862	2	54.431	36.25	.000

Tabel 3: Resultaat variantie-analyse

Uit tabel 3 wordt duidelijk dat de verschillen tussen de scores op de drie cloze-toetsversies significant zijn. De (globale) context waarin de items van alternatieve cloze-toetsen aan leerlingen worden aangeboden (in een reguliere tekst, in een ‘gerandomiseerde’ tekst, in een verzameling zinnen zonder verband) is van invloed op de scores die de leerlingen op deze items behalen.

Een tekst-effect wordt niet gevonden.

Uit Tabel 3 blijkt ook een significant interactie-effect ‘tekst x versie’. In Figuur 1 wordt dit interactie-effect grafisch weergegeven. Deze figuur laat zien dat, terwijl de leerlingen op de normale toetsversie van tekst 1 hoger scoren dan op de normale toetsversie van tekst 2, de scores op de versies B en C van tekst 1 lager zijn dan de scores op deze beide versies van tekst 2.

4 Discussie

Uit de prestaties van de leerlingen op de zes cloze-toetsen die in het hier beschreven onderzoek werden afgenomen, bleek dat gemiddeld de hoogste scores behaald werden op de toetsen waarin een normale zinsvolgorde gehandhaafd bleef. Verstoring van de globale context van de zinnen-met-deletie, zoals heeft plaats gehad in de toetsversies B en C, is van invloed op de hoogte van de scores. Wanneer leerlingen voor wat betreft betekenisvolle informatie slechts de beschikking hebben over de lokale context van de deleties, daalt het percentage juist gekozen antwoordaltematieven van gemiddeld 63% in de

[p. 196]

normale versie naar gemiddeld 39% in de ‘random’ versie en naar gemiddeld 47% in de ‘losse zinnen’ versie. In een variantie-analyse bleken deze gemiddelden significant te verschillen.

Figuur 1: Het interactie-effect ‘tekst x versie’

Bij het antwoorden van een item in alternatieve cloze-toetsen speelt het begrijpen en integreren van informatie verspreid over het gehele tekstfragment waarvan de deletie deel uitmaakt dus kennelijk een belangrijke rol. De alternatieve cloze-toetsen blijken van de leerlingen meer te vragen dan uitsluitend begrip van de lokale context van de deleties. In die zin kunnen deze alternatieve cloze-toetsen complete meetinstrumenten voor de leesvaardigheid genoemd worden en lijkt de vraag naar dit aspect van de begripsvaliditeit van de toetsen positief beantwoord te kunnen worden.

In dit onderzoek bleek voorts de gemiddelde cloze-score van de leerlingen die versie B - de ‘random’ versie - maakten, lager te zijn dan de gemiddelde score van de groep leerlingen die werd toegewezen aan versie C - de versie waarin de zinnen die deleties bevatten zijn ingebed in een verzameling losse zinnen. Dit scoreverschil kan verklaard worden vanuit een van de constructieprincipes die ten grondslag liggen aan de items van de alternatieve cloze-toetsen.

[p. 197]

De onjuiste antwoordaltematieven in ieder van deze meerkeuze-items zijn zo geconstrueerd dat zij refereren aan betekeniselementen in de tekst. Door randomisatie van de zinsvolgorde, de procedure dus waardoor versie B tot stand kwam, worden deze betekeniselementen op een willekeurige manier verspreid over de toets. Ze kunnen hierdoor een misleidende rol gaan spelen bij de beantwoording van andere items.

Als illustratie kan het item in bijlage 2 dienen. Hoe verhaspeld het gedeelte van de ‘tekst’ rond de zin-met-deletie ook moge zijn, duidelijk wordt dat het onderwerp iets met de luchtvaart van doen heeft. Het enige antwoordaltematief echter dat expliciet naar de luchtvaart verwijst, is het (onjuiste) alternatief 1. Van de leerlingen die versie B maakten, koos dan ook ongeveer de helft dit alternatief.

In versie C is de situatie geheel anders. De zinnen waarin de deleties staan zijn hier ingebed in een verzameling zinnen die tezamen, in welke volgorde dan ook, geen coherente tekst vormen. Deze verzameling zinnen bevat ook geen betekeniselementen die op enigerlei wijze gerelateerd zijn aan de antwoordaltematieven van de items. Misleiding van het type dat de leerlingen in versie B ‘parten speelt’, zal in versie C dus niet plaatsvinden.

De in dit onderzoek uitgevoerde variantie-analyse toonde een significant interactie-effect ‘tekst x versie’ aan. De gemiddelde score op de normale toetsversie (versie A) van tekst 1 is hoger dan die op de normale versie van tekst 2, terwijl de gemiddelde scores op de versies B en C van tekst 1 lager zijn dan die op de versies B en C van tekst 2 (zie Figuur 1).

Dat leerlingen in groep 7 hoger scoren op de alternatieve cloze-toets met als basis de tekst over de luchthaven Schiphol (tekst 1) dan op de toets gemaakt van ‘Een verhaal schrijven over de riddertijd’ (tekst 2) was al gevonden in eerder (‘landelijk’) onderzoek. De in het huidige onderzoek aangetroffen verschillen tussen de scores op versie A van tekst 1 en die op versie A van tekst 2 zijn daar een bevestiging van.

De hogere scores op de toetsversies B en C van tekst 2, in vergelijking met de scores op deze versies van tekst 1, kunnen verklaard worden vanuit de aard en omvang van een viertal zinnen-met-deletie in de toetsversies met tekst 2 als basis. Deze zinnen zijn toevalligerwijs alle vier van het type ‘nevenschikking met dubbele punt als verbindingsmiddel’³ en hebben een gemiddelde lengte van 37 woorden. De overige zinnen-met- deletie, in de toetsversies van tekst 1 en tekst 2, zijn gemiddeld 6 woorden lang. Vergeleken met die zinnen bevatten de vier omvangrijke zinnen-met-deletie een surplus aan inhoudelijke informatie. Ze hebben als het ware een zekere ‘globaliteit’ van zich zelf. Het permuteren van de globale context van deze zinnen heeft daardoor een geringer verstorend effect dan het permuteren van de globale context van de overige zinnen-met- deletie. Met de geobserveerde verschillen tussen de gemiddelde scores op de gepermuteerde versies van tekst 2, waarin zich het viertal ‘globale’ zinnen exclusief bevindt, en die op de gepermuteerde versies van tekst 1 tot gevolg. Het gevonden hoofdeffect is kennelijk robuust genoeg om zich desondanks te manifesteren.

3 Een voorbeeld: ‘Ook merk je uit de geschiedenis, dat het verleden: jij had nu waarschijnlijk heel anders over democratie of seks of wat dan ook gedacht, als indertijd Willem van Oranje en zijn makkers de Spaanse overheersing niet de voet hadden dwarsgezet’.

[p. 198]

Bibliografie

Aarnoutse, C.A.J. & A.F. Buitenhuis, Invultest en Zoektest. Berkhout, Nijmegen, 1984

Boland Th., Cloze-toets voor begrijpend lezen. Berkhout, Nijmegen, 1988

Bormuth, J.R., Readability: A new approach. In: Reading Research Quarterly 1, 1966, p.79

Bormuth, J.R., Development of readability analysis. Final report Project no. 7-0052. Chicago, I11., 1969

Cziko, G.A., Another response to Shanahan, Kamil and Tobin: Further reasons to keep the cloze case open. In: Reading Research Quarterly 18, 1983, p.361

Deventer, M.M. van, R.J.M. Reijnaert & G. Staphorsius, Verantwoording Toetsen Begrijpend lezen leerjaar 3, 4 en 5 basisonderwijs. Cito, Arnhem, 1982

Harris, D.P., Some forerunners of the cloze-procedure. In: Modern Language Journal 69, 1985, p.367

Hauwermeiren, P. van, Het leesbaarheidsonderzoek. Tjeenk Willink, Groningen, 1975 (a)

Hauwermeiren, P. van, Leesbaarheidsformules voor informatieve Nederlandse teksten. In: Spektator 4, 1975 (b), p.499

Henk, W.A., A response to Shanahan, Kamil and Tobin: The case is not yet clozed. In: Reading Research Quarterly 17, 1982, p.591

Hinofotis, F.B. & B.G. Snow, An alternative cloze testing procedure: Multiple Choice format. In: J.W. Oller and K. Perkins, Research in language testing. Newbury House, Rowley, Mass., 1980

Jochems, W & F. Montens, De multiple-choice cloze-toets als algemene taalvaardigheidstoets. In:

Tijdschrift voor Onderwijsresearch 12, 1987, p.133

Robinson, C.G., Cloze-procedure: A review. In: Educational Research 23, 1981, p.128

Shanahan, T., M.L. Kamil & A.W. Tobin, Cloze as a measure of intersentential comprehension.

In: Reading Research Quarterly 17, 1982, p.229

Soudek, M. & L.I. Soudek, Cloze after thirty years: New uses in language teaching. In: ELT Journal 37, 1983, p.355

Staphorsius, G. & R.S.H. Krom, Predictie van leesbaarheid. In: Tijdschrift voor Taalbeheersing 7, 1985 (a), p.192

Staphorsius, G. & R.S.H. Krom, Over de reikwijdte van de cloze-procedure. Cito, Arnhem, 1985 (b)

Staphorsius, G. & R.S.H. Krom. Cloze-toetsen leesvaardigheid. Een serie toetsen voor het voortgezet leesonderwijs. Cito, Arnhem, 1990

Taylor, W.L., Cloze-procedure: A tool for measuring readability. In: Journalism Quarterly 30, 1953, p.415

Taylor, W.L., Recent developments in the use of the cloze-procedure. In: Journalism Quarterly 33, 1956, p.42

Wesdorp, H., Evaluatietechnieken voor het moedertaalonderwijs. SVO, ‘s-Gravenhage, 1981

Wijnstra, J.M., Het gebruik van de cloze procedure als maat voor schriftelijke taalbeheersing. In: Tijdschrift voor Onderwijsresearch 2, 1977, p.262

Zondervan, F., P. van Steen & G. Gunneweg, De leesbaarheid van basisschoolteksten; objectieve ordeningscriteria voor instructieve teksten. In: De Nieuwe Taalgids 69, 1976, p.426

[p. 199]

Bijlage 1

Tien miljoen passagiers reizen ieder jaar via de luchthaven Schiphol. Al die passagiers hebben het druk met papieren en koffers en groeten en het moest dus wel iets heel bijzonders zijn, waardoor ze op die dag in de vertrekhal ineens allemaal één kant uitkeken. Felle lampen werden aangestoken, microfoons bungelden aan lange hengels en een cameraman met een groot filmtoestel liep al filmend met een jongen en een meisje, die druk met elkaar praatten.

‘Zeker een paar jonge filmsterren uit Amerika.’

‘Ik geloof dat ik ze al eens op de televisie heb gezien!’

‘Was dat niet in die film met die bruine beer... of was het die serie met die witte hond?’ Rob en Wilma zouden stilletjes hebben gelachen, als ze gehoord hadden, wat ______.

Want ze kwamen helemaal niet uit Amerika, ze hadden nooit eerder in een film gespeeld en ze zouden ze nu doodgewoon op school hebben gezeten - Rob één klas hoger dan zijn zusje - als Rob niet zo dol op vliegtuigen was geweest.

1	de piloten deden
2	hun vriendjes deden
3	in Amerika gebeurd was
4	over ze gezegd werd
5	ze allemaal konden krijgen

Bijlage 2

Tien miljoen passagiers reizen ieder jaar via de luchthaven Schiphol. In de aankomsthal werden zij door de filmploeg en meneer Rieper van de luchthaven Schiphol verwelkomd.

Alles werd toen beter, groter, moderner. De vliegerij was toen nog heel nieuw.

‘Het was erg lastig totdat de gemeente Amsterdam in 1926 het beheer overnam.’

Hoe Duitse vliegtuigen op 10 mei 1940, toen Nederland in de Tweede Wereldoorlog werd betrokken, de luchthaven bombardeerden.

Rob en Wilma zouden stilletjes hebben gelachen, als ze gehoord hadden, wat ______.

Als ze nou maar geen domme vragen zou stellen met die microfoon in de buurt! Er stond na de oorlog geen steen meer op de andere. Wat een goede vraag, dacht hij.

1	de piloten deden
2	hun vriendjes deden
3	in Amerika gebeurd was
4	over ze gezegd werd
5	ze allemaal konden krijgen

Bijlage 3

Duizenden leerlingen slaagden vorig jaar voor hun eindexamen. Al die dokters hebben het druk met onderzoeken, vragen stellen en opereren en het moest dus wel iets heel bijzonders zijn, waarvoor ze die middag in de koffiekamer allemaal zaten te vergaderen.

‘Motoren begonnen te draaien, deuren klapten dicht en de poort van het grote gebouw ging langzaam open en de wagens kwamen naar buiten rijden op korte afstand van elkaar.’

‘Vast die blaffende honden van de buren.’

[p. 200]

‘Hij denkt dat hij ze al eens in het zwembad heeft gezien.’

‘Ging het met de schroevedraaier uit Papa's kist, of moest je het aan de fietsenmaker op de hoek vragen?’

Rob en Wilma zouden stilletjes hebben gelachen, als ze gehoord hadden wat ______.

Want ze gingen helemaal niet naar Amsterdam, ze waren ook nooit eerder op de Dam geweest en ze zouden nu doodgewoon thuis zijn geweest - Piet waarschijnlijk op zolder en zijn zus in haar kamertje - als Piet niet zo dol op de grachten was geweest.

1	de piloten deden
2	hun vriendjes deden
3	in Amerika gebeurd was
4	over ze gezegd werd
5	ze allemaal konden krijgen