Tijdschrift voor Taalbeheersing. Jaargang 12

[p. 93]

De validiteit van meerkeuze-instrumenten voor het meten van schrijfvaardigheid
E. van Schooten en K. de Glopper

Samenvatting

Het onderhavige artikel beschrijft een literatuurstudie naar de validiteit van meerkeuze-instrumenten voor het meten van schrijfvaardigheid. Uit de literatuurstudie komt naar voren dat de inhouds- validiteit van meerkeuze-instrumenten overwegend kritisch beoordeeld wordt; het beeld van de criteriumvaliditeit en de constructvaliditeit is echter positiever.

1 Inleiding

In dit artikel doen wij verslag van een literatuurstudie naar de validiteit van meerkeuze- instrumenten voor het meten van schrijfvaardigheid. Deze literatuurstudie is uitgevoerd in het kader van een onderzoek naar de validiteit van verschillende methoden voor het meten van schrijfvaardigheid¹. De vraagstelling van de literatuurstudie luidde: Welke aanwijzingen zijn er voor de validiteit van gesloten schrijfvaardigheidsinstrumenten? Deze vraag is voor het bovenbedoelde onderzoek van belang, daar er naast andere schrijfvaardigheidsinstrumenten, zoals open opdrachten en interlineaire toetsen, ook een meerkeuze-instrument geconstrueerd zal worden (Van Schooten, 1988).

1 Dit onderzoek is uitgevoerd met subsidie van het Instituut voor Onderzoek van het Onderwijs (SVO).

2 Validiteit

Er kunnen op verschillende manieren gegevens verzameld worden om de validiteit van een instrument te evalueren. Op welke manieren men naar aanwijzingen moet zoeken voor de validiteit van een instrument, hangt af van het doel waarvoor men het wil gebruiken. Een gangbare indeling (Standards, 1985) voor het verschillende feitenmateriaal dat men ter ondersteuning van de validiteit van een instrument kan verzamelen, is die in: (a) aanwijzingen met betrekking tot de inhoud van een instrument; (b) aanwijzingen met betrekking tot een criterium, en (c) aanwijzingen met betrekking tot de theorie op grond waarvan het instrument is geconstrueerd.

Hoewel men eigenlijk niet over verschillende sóórten validiteit kan spreken, worden de drie bovengenoemde categorieën aanwijzingen ook wel aangeduid als de ‘inhoudsva- liditeit’, de ‘criteriumvaliditeit’ en de ‘constructvaliditeit’ van een instrument (Allen & Yen, 1979; Cook & Campbell, 1979; Meerling, 1981). Ter vermijding van omslachtige formuleringen zullen wij in dit artikel deze laatste drie termen hanteren.

De inhoudsvaliditeit van een instrument wordt bepaald door een subjectief oordeel over de inhoud. Beoordeling van de inhoudsvaliditeit kan het best door experts op het betreffende vakgebied plaatsvinden. Er zijn twee soorten inhoudsvaliditeit: face-validiteit en logische validiteit. Face-validiteit is de mate waarin een instrument op het eerste gezicht lijkt te meten wat het behoort te meten. Deze validiteit beperkt zich dus tot de intuïtie van de beoordelaar. Logische validiteit is de mate waarin een instrument het te meten domein bestrijkt. Bij het beoordelen van de logische validiteit gaat het niet om een intuïtief oordeel

[p. 94]

van een beoordelaar, maar om een oordeel gebaseerd op een systematische controle of alle relevante aspecten van een te meten begrip in een instrument aan de orde komen.

De criteriumvaliditeit van een instrument is de mate waarin de scores op het instrument correleren met een relevant criterium. Criteriumvaliditeit is bij voorbeeld actueel in situaties waarin op basis van scores op een instrument voorspellingen gedaan worden over gedragingen in toekomstige (test-)situaties (bij voorbeeld bij personeelsselectie of bij selectie in het onderwijs).

De constructvaliditeit van een instrument is de mate waarin het instrument het theoretische begrip meet dat het beoogt te meten. Er kan op verschillende manieren onderzoek worden gedaan naar de constructvaliditeit van een instrument. Men kan de constructvaliditeit ten eerste onderzoeken door het op basis van theorie voorspellen en toetsen van groepsverschillen (‘known-group’-validiteit). Een tweede methode om de constructvaliditeit te evalueren is het op grond van theorie voorspellen en toetsen van veranderingen (b.v. veranderingen in vaardigheden o.i.v. onderwijs). Een derde methode is het achterhalen van de cognitieve processen die een rol spelen bij het beantwoorden van de vragen. Een vierde methode is het onderzoeken van de interne structuur van de metingen die met het instrument van het construct verkregen zijn. Een vijfde methode is het op grond van theorie voorspellen van een patroon van correlaties tussen het te meten construct en andere constructen. Men onderscheidt bij dit soort onderzoek convergente en divergente validiteit. De convergente validiteit wordt ondersteund als het te evalueren instrument als voorspeld blijkt samen te hangen met theoretisch verwante variabelen. De divergente validiteit van een instrument wordt ondersteund door aan te tonen dat het instrument niet samenhangt met theoretisch niet verwante variabelen.

3 Schrijfvaardigheid

Bij onderzoek naar de validiteit van instrumenten voor het meten van schrijfvaardigheid dient de vraag naar de definitie van het meten construct zich natuurlijk aan. Wat bedoelen we eigenlijk als we de term ‘schrijfvaardigheid’ gebruiken? In de literatuur over meerkeuze-instrumenten voor het meten van schrijfvaardigheid wordt opmerkelijk weinig aandacht besteed aan begripsanalyse. Het ontbreken van theoretische reflectie lijkt zeker geen gevolg van eenstemmigheid over de inhoud van het bedoelde begrip; van unanimiteit is namelijk geen sprake: de wijze waarop schrijfvaardigheid in meerkeuze-instrumenten geoperationaliseerd wordt, loopt namelijk sterk uiteen.

In het onderstaande zullen we in globale zin aangeven wat wij onder het begrip ‘schrijfvaardigheid’ verstaan. De betekenis van dit begrip verhelderen we met behulp van een ‘karteringszin’. Zo'n zin is een hulpmiddel voor nadere specificatie: door een begrip in een zinsverband te plaatsen, krijgt het een context (De Groot & Medendorp 1986). De zin luidt aldus:

Aan een persoon, P, wordt toegekend een samenstel van onderliggende eigenschappen, E, die te zamen een schrijfvaardigheid, SV, constitueren, die P in staat stelt om in een bepaalde levensperiode, L, in een bepaalde taal, TL, in schrijfsituaties van het type S bepaalde teksten, T, te produceren, die, gemeten langs bepaalde wegen, W, en aan bepaalde criteria, C, gelden als prestaties van een bepaalde hoogte. (De Glopper, 1988, p. 8)

Over deze karteringszin valt in het kort het volgende op te merken. De begripsterm P onderstreept dat schrijfvaardigheid, SV, een vermogen is dat aan personen of individuen

[p. 95]

toegeschreven wordt. De begripsterm L is nodig om beweringen over SV in de tijd te kunnen situeren en zo onderscheid te kunnen maken tussen ‘vaardigheid in aanleg’, ‘potentiële vaardigheid’ en ‘actuele vaardigheid’ (De Groot & Medendorp, 1986). In verband met de begripsterm L is verder van belang dat het actuele vermogen relatief stabiel is en door leren te beïnvloeden. De begripsterm TL vestigt de aandacht op de taal waarin geschreven wordt. Iemand kan alleen in een taal die hij (tot op zekere hoogte) beheerst, blijk geven van zijn schrijfvaardigheid. In al het onderzoek naar meerkeuze-instrumenten voor het meten van de schrijfvaardigheid is TL beperkt tot één of andere nationale standaardtaal. De begripsterm S is relevant, omdat situatiekenmerken kunnen covariëren met de aard en de moeilijkheid van de schrijftaak. Relevante kenmerken lijken het doel, het publiek, de tekstsoort en het door de opdracht uitgelokte cognitieve proces. De begripsterm T verwijst naar de produkten die uit schrijfactiviteiten resulteren: teksten. Overeenkomstig de definitie van De Beaugrande & Dressler (1981), maar met uitsluiting van gesproken varianten, verstaan we onder een tekst een reeks taaluitingen in schrift die voldoet aan eisen betreffende samenhang, intentionaliteit, aanvaardbaarheid, informatiewaarde, situationaliteit en intertekstualiteit. De begripsterm W heeft in het kader van dit artikel een bijzondere status. Hoewel de weg waarlangs gemeten wordt strikt genomen niet thuishoort in een begripsdefinitie, is de term van belang omdat zij de aandacht vestigt op de verschillende operationalisatie-vormen: meerkeuze-toetsen, schrijfopdrachten of andere methoden zoals bij voorbeeld interlineaire toetsen. De criteria C die bij de beoordeling van schrijfprodukten aangelegd kunnen worden zijn te vangen onder de noemers inhoud, organisatie, stijl en conventies.

De aard van de onderliggende eigenschappen E kan afgeleid worden uit de schrijfprocesmodellen van Hayes & Flower (1980) en Bereiter & Scardamalia (1987). In deze modellen worden verschillende componenten onderscheiden. In het lange termijngeheugen van de schrijver ligt volgens de verschillende modellen kennis over het onderwerp, over het publiek en over tekstschema's opgeslagen. Tot de taakomgeving rekenen Hayes & Flower alle externe invloeden op het schrijfproces. Zij onderscheiden daarin twee componenten: de schrijfopdracht of -taak en de reeds geproduceerde tekst. Ook Bereiter & Scardamalia geven mentale representaties van de schrijfopdracht en van de tot dusver geproduceerde tekst een plaats in hun modellen van het schrijfproces. Het eigenlijke schrijfproces bestaat volgens Hayes & Flower en Scardamalia & Bereiter uit deelprocessen die betrekking hebben op verschillende niveaus: het stellen van doelen voor en het plannen van de schrijftaak, het genereren, selecteren en organiseren van de inhoud, het formuleren of omzetten van gedachteninhouden in taal en het coderen of omzetten in schrift. In de verschillende modellen is ook plaats ingeruimd voor activiteiten die te maken hebben met het lezen, evalueren en herzien van eerder geproduceerde tekst.

Uit de beschouwing van schrijfprocesmodellen wordt duidelijk dat schrijfvaardigheid niet als één ondeelbare grootheid gezien kan worden. Er is sprake van een complex van kennis en vaardigheden, dat betrekking heeft op:

1	de planning van, de controle over en de evaluatie van de schrijftaak;
2	het genereren en selecteren van inhoud;
3	het organiseren van inhoud;
4	het formuleren of omzetten van gedachteninhouden in taal;
5	het in schrift coderen (spellen en interpungeren).

Bij de onderstaande bespreking van de validiteit van meerkeuze-instrumenten zullen we op deze indeling in vijf domeinen terugkomen.

[p. 96]

4 Literatuurverzameling

Naar literatuur over de validiteit van gesloten schrijfvaardigheidsinstrumenten is op verschillende manieren gezocht. Ten eerste is er met behulp van de computer gezocht in het ERIC-bestand (Educational Resources Information Center) dat bij de Stichting Centrum voor Onderwijsonderzoek is ondergebracht. Er is gezocht naar publicaties die zijn gepubliceerd in de periode van 1966 tot 1987. Daarnaast zijn de jaargangen 1980 tot en met 1986 van de tijdschriften ‘Levende Talen’ en ‘Tijdschrift voor Taalbeheersing’ op relevante publikaties bekeken. Het zoekprofiel waarmee gezocht is in het ERIC-bestand leverde 45 bronnen op, waarvan er 36 voor de onderhavige literatuurstudie zijn gebruikt. Verder is er één relevante publicatie in ‘Levende Talen’ gevonden en gebruikt.

De resultaten van de literatuurstudie worden beschreven per soort validiteit, in dezelfde volgorde als hierboven is aangehouden. We bespreken dus eerst de inhoudsvaliditeit van de meerkeuze-instrumenten voor het meten van schrijfvaardigheid.

5 Resultaten

5.1 Inhoudsvaliditeit

De inhoudsvaliditeit is, zoals gezegd, onder te verdelen in face-validiteit en logische validiteit. Vele auteurs spreken zich negatief uit over de face-validiteit van meerkeuze- instrumenten voor schrijfvaardigheid. Het belangrijkste bezwaar dat uit de literatuur naar voren komt, is dat bij dit soort instrumenten de proefpersonen niet schrijven. Verschillende auteurs menen dat er daardoor alleen receptieve en geen produktieve vaardigheden met meerkeuzevragen gemeten kunnen worden (Eley, 1955; Braddock e.a., 1963; McColly, 1970; Bonset, 1974; Wesdorp, 1974; Cooper & Odell, 1977; Bamberg, 1982; Arrasmith, Sheehan & Applebaum, 1984). Hiermee wordt bedoeld dat alleen de vaardigheid in het herkennen van fouten en het corrigeren van gegeven tekst gemeten wordt, en niet de vaardigheid in het produceren van tekst.

Een ander punt dat naar voren wordt gebracht, is dat meerkeuze-instrumenten zich alleen lenen voor vragen waarbij het gaat om een duidelijke tweedeling in goede en foute antwoorden. Vaardigheden als het produceren van een goede stijl of het goed structureren van een tekst, waarbij niet zozeer van ‘goed’ of ‘fout’ maar eerder van graduele verschillen sprake is, zouden niet in meerkeuzevorm gesteld kunnen worden (Matalene, 1982; Stiggins, 1982).

Met betrekking tot de logische validiteit (de mate waarin het te meten domein bestreken wordt) is er ook kritiek op meerkeuze-instrumenten om schrijfvaardigheid te meten. Vele auteurs menen dat deze instrumenten teveel de nadruk leggen op het zinsniveau en te weinig de complexere vaardigheden meten die voor het schrijven van belang zijn. Met andere woorden, dat deze instrumenten teveel nadruk leggen op spelling en grammatica en te weinig op organisatie, creativiteit, het verzinnen van de inhoud, stijl, publiekgerichtheid, enz. (Braddock e.a., 1963; Bonset & Griffioen, 1972; Breland, 1977; Stiggins, 1981; Veal & Hudson, 1981; Bamberg, 1982; Breland & Jones, 1982; Matalene, 1982; Carlson & Camp, 1985; Benton & Kiewra, 1986).

Er worden echter ook positieve oordelen over de inhoudsvaliditeit van gesloten schrijfvaardigheidsinstrumenten geveld. Cooper (1984:9) stelt dat schrijven, en vooral schools schrijven, juist veel ‘editorial proofing’ en ‘revision’ vereist en dat meerkeuze-instrumenten daarom juist wel valide zijn. Ook menen enkele auteurs (Noyes, 1963;

[p. 97]

Diederich, 1974) dat de vaardigheden gemeten met meerkeuze-instrumenten en directe schrijfvaardigheidsmetingen, hoewel niet identiek, toch zo verwant zijn dat schrijfvaardigheid wel met meerkeuze-instrumenten gemeten kan worden.

Een nadere indruk van de inhoudsvaliditeit van meerkeuze-instrumenten kan verkregen worden door de inhoud van zulke instrumenten te vergelijken met de zes kennis- en vaardigheidsdomeinen die wij hierboven aangeduid hebben. Uit 10 empirische studies naar de criterium- en/of construcvaliditeit van meerkeuze-instrumenten voor schrijfvaardigheid hadden wij informatie over de inhoud van subtests. Deze informatie hebben wij in de onderstaande tabel op de rij gezet. Uit tabel 1 kan opgemaakt worden dat de inhoud van de toetsen vooral betrekking heeft op het derde, het vierde en het vijfde domein. Van de in totaal 58 subtests zijn er 7 (nrs. 7 t/m 10) op het organiseren, 20 (nrs. 11 t/m 15) op het formuleren en 20 (nrs. 16 t/m 18) op het coderen gericht.

Subtetst:	Studie:
	1	3	5	7	9	10
1 doel- en publiekgerichtheid			x
2 hoofdgedachte tekst aangeven				x	x	x
3 zin kiezen als ill.generalisatie			x		x
4 logica en evaluatie		x	x	x
5 antoniemen			x
6 analogieën			x
7 aangeven alinea's					x
8 volgorde zinnen	x		x
9 zin in alinea plaatsen	x
10 beste volgzin kiezen				x
11 stijl	x		x
12 herformuleren gegeven zin	x
13 woordkennis			x
14 woordkeus/idioom	x	x	x
15 grammatica	x		x	x		x
16 interpunctie	x	x	x			x
17 hoofdletters		x				x
18 spelling	x	x				x

Subtetst:	Studie:
	12	13	14	18	Ns
1 doel- en publiekgerichtheid					1
2 hoofdgedachte tekst aangeven					3
3 zin kiezen als ill.generalisatie					2
4 logica en evaluatie					3
5 antoniemen					1
6 analogieën					1
7 aangeven alinea's					1
8 volgorde zinnen		x	x		4
9 zin in alinea plaatsen					1
10 beste volgzin kiezen					1
11 stijl		x			3
12 herformuleren gegeven zin					1
13 woordkennis		x			2
14 woordkeus/idioom	x		x	x	6
15 grammatica	x	x	x	x	8
16 interpunctie	x	x	x	x	7
17 hoofdletters	x	x	x	x	6
18 spelling	x	x	x	x	7

Tabel 1: De verdeling van verschillende subtests over meerkeuze-instrumenten (N = aantal subtests) (Voor studies behorend bij de nrs.: zie tabel 2.)

Dit overzicht bevestigt de kritische geluiden uit de literatuur. Concluderend kan gesteld worden dat de inhoudsvaliditeit van gesloten schrijfvaardigheidsinstrumenten te wensen overlaat.

5.2 Criteriumvaliditeit

In het in de literatuur gevonden onderzoek naar de criteriumvaliditeit van gesloten schrijfvaardigheidsinstrumenten worden twee verschillende criteria gebruikt, te weten: scores van proefpersonen op één of meer schrijfopdrachten en lerarenoordelen over de schrijfvaardigheid van de proefpersonen. De studies die het eerstgenoemde criterium hanteren, vormen de meerderheid en worden hieronder als eerste besproken.

[p. 98]

5.2.1 Schrijfopdrachten als criterium

De waarde van onderzoek naar de criteriumvaliditeit van meerkeuze-instrumenten om schrijfvaardigheid te meten, hangt af van de deugdelijkheid van het gebruikte criterium. Deze hangt af van de betrouwbaarheid en validiteit van het instrument waarmee het criterium bepaald is. De betrouwbaarheid en de validiteit van opstelbeoordeling met behulp van beoordelaars, hangen af van de volgende factoren: (a) het aantal schrijfopdrachten per leerling, (b) het aantal communicatieve stijlen waarin deze opdrachten geschreven moeten worden, en (c) het aantal gebruikte beoordelaars per schrijfopdracht. Coffman (1966: 154) berekende op grond van de uitkomsten van het onderzoek van Godshalk, Swineford & Coffman (1966) met behulp van de Spearman-Brown formule dat, om een validiteitscoëfficiënt en een scorebetrouwbaarheid van ongeveer .80 elk te krijgen, er vier opdrachten per proefpersoon, elk beoordeeld door drie beoordelaars nodig zijn. Eenzelfde resultaat kan bereikt worden met drie schrijfopdrachten en vijf beoordelaars, of met vijf schrijfopdrachten en twee beoordelaars. Voor één opdracht beoordeeld door één beoordelaar berekende Coffman een validiteitscoëfficiënt van .46.

Als we stellen dat een deugdelijk criterium minstens een validiteitscoëfficiënt van .70 moet hebben, blijkt uit de berekeningen van Coffman dat er dan minstens drie opdrachten, elk beoordeeld door twee beoordelaars nodig zijn, of twee opdrachten elk beoordeeld door drie beoordelaars. Bij de behandeling van de criteriumvaliditeit van de meerkeuze-instrumenten zal daarom vooral gekeken worden naar studies waarbij het criterium aldus of beter geoperationaliseerd is.

De studies 1 t/m 7, die criteria hanteren die aan bovenstaande normen voldoen, zijn in Tabel 2 met een ster aangegeven. Het betreft de studies van Godshalk, Swineford & Coffman (1966) (vijf opdrachten, vier stijlen, vijf beoordelaars), Wesdorp (1974) (vijf opdrachten, vier stijlen, vijf beoordelaars), Clemson (1978) (vier opdrachten, vier stijlen, twee beoordelaars), Huntley, Schmeiser & Stiggins (1979) (drie opdrachten, een onbekend aantal stijlen, twee beoordelaars), Moss, Cole & Khampalikit (1982) (twee opdrachten, twee stijlen, vier beoordelaars) en Weiss & Jackson (1983) (vier opdrachten, vier stijlen en twee beoordelaars).

Tabel 2 bevat per studie een overzicht van de leeftijd van de proefpersonen, de steek- proefgrootte (N) en de correlatie tussen het meerkeuze-instrument en het criterium (Rxy). Achter de geobserveerde correlatie tussen het meerkeuze-instrument en het criterium staat de voor attenuatie georrigeerde correlatie (Rxy'), mits deze uit de in de studies gepresenteerde gegevens te berekenen viel.

Met betrekking tot de criteriumvaliditeit van de meerkeuze-instrumenten zijn drie vragen van belang:

(a)	In welke mate hangen de totale instrumenten en de criteria samen?
(b)	Is de criteriumvaliditeit van de meerkeuze-instrumenten afhankelijk van de leeftijd van de proefpersonen?
(c)	Welke subtests uit de meerkeuze-instrumenten bezitten de beste criteriumvaliditeit?

In de ster-studies² bedraagt de mediane geobserveerde correlatie tussen de meerkeuze- instrumenten en de criteria .69; de mediane proportie verklaarde variantie bedraagt derhalve .48. De voor attenuatie gecorrigeerde correlatie ligt bij deze studies meermaals rond .90; de mediane waarde ervan bedraagt .82.

Bij de overige studies bedraagt de mediane geobserveerde correlatie .55. Het is aannemelijk dat deze correlatie lager is vanwege de geringere validiteit van de voor deze

2 De studie van Weiss & Jackson blijft hier buiten beschouwing, omdat in deze studie de correlatie tussen het totale meerkeuze-instrument en het criterium niet gegeven wordt.

[p. 99]

studies gebruikte criteria. De mediane voor attenuatie gecorrigeerde correlatie bedraagt bij deze studies.76.

Onderzoek		Leeftijd	N	Rxy	Rxy'
1	*Godshalk e.a.	16-17	646	.71-.77
	(1966)
2	*Wesdorp	12	213	.68	.78
	(1974)		213	.67	.77
3	*Clemson	13	567	.72
	(1978)		567	.70	.86
4	*Breland &	18	819	.63	.97
	Gaynor		926	.56	.86
	(1979)		517	.58	.89
			697	.72
			278	.72
			234	.76	.90
			261	.72
			288	.74
			294	.69
5	*Huntley,	18	50	.67
	Schmeiser		50	.51
	& Stiggins		50	.53
	(1979)		50	.69
			50	.58
			50	.66
6	*Moss, Cole &	9	83	.12	.20
	Khampalikit	12	40	.39	.67
	(1982)	15	94	.47	.75
7	*Weiss &	18	224	.53-.63
	Jackson		224	.56-.66
	(1983)		224	.44-.54
8	Hartnett	18	7	.61
	(1978)

Onderzoek		Leeftijd	N	Rxy	Rxy’
9	Spooner Smith (1978)	16-17	103	.65	.76
10	Crocker e.a. (1979)	9	112	.55
11	Quellmalz & Capell (1979)	16-17	40	.23-.52
12	Hogan &	8	140	.69	.79
	Mishler (1980)	13	150	.66	.78
		8	65	.76	.90
		13	65	.83	.99
13	Halpin e.a. (1981)	19-20	172	.49	.55
14	Veal &	15	258	.70	.86
	Hudson (1981)	15	233	.42	.55
		15	257	.40	.60
		15	276	.57	.76
15	Bamberg (1982)	?.20-.30
16	Culpepper & Ramsdell (1982)	18	202	.56	.61
17	Gorrell (1983)	18	103	.65
18	Koffler (1984)	14	7326	.37-.71	.59-.90
19	Benton & Kiewra (1986)	18-21	105	.47

Tabel 2: Resultaten van studies naar de criteriumvaliditeit van gesloten schrijfvaardig- heidsinstrumenten (N=aantal proefpersonen, Rxy=correlatie met criterium, Rxy’ =correlatie met criterium na correctie voor attenuatie)

Uit de bovenstaande gegevens volgt dat de criteriumvaliditeit van de onderzochte meerkeuze-instrumenten over het algemeen goed is.

[p. 100]

In de vermelde studies lopen de leeftijden van de proefpersonen van acht tot éénentwintig jaar. De tabel bevat geen aanwijzingen voor een verband tussen de leeftijd van de proefpersonen en de hoogte van de validiteitscoëfficiënten. De correlatie tussen de leeftijd van de proefpersonen en de voor attenuatie gecorrigeerde correlatie tussen meerkeuze- instrument en criterium³ is zeer laag: .11.

Alleen Moss, Cole & Khampalikit (1982) vonden lagere correlaties bij jongere proefpersonen en zij veronderstellen dat de hoogte van de correlaties tussen schrijfopdrachten en meerkeuze-instrumenten om schrijfvaardigheid te meten mede bepaald worden door de leeftijd van de proefpersonen. Zij vonden (voor attenuatie gecorrigeerd) voor negenjarigen een correlatie van .20, voor twaalfjarigen één van .67 en voor vijftienjarigen één van .75. Daar staat tegenover dat Wesdorp (1974) voor twaalfjarigen gecorrigeerde correlaties van .78 en .77 vond en Clemson (1978) voor dertienjarigen gecorrigeerd .86. Crocker, Ondrasik & Lamme (1979) vonden voor negenjarigen een ongecorrigeerde correlatie van .55 en Hogan & Mishler (1980) voor achtjarigen gecorrigeerde correlaties van .79 en .90 en voor dertienjarigen gecorrigeerde correlaties van .78 en van .99 Koffler (1984) vond voor veertienjarigen gecorrigeerde correlaties tussen .59 en .90.

Dat Moss, Cole & Khampalikit (1982) lagere correlaties vonden voor jongere proefpersonen kan misschien verklaard worden met het door hen gebruikte criterium. Zij lieten als één van de twee schrijfopdrachten een verslag van een les over natuurwetenschap schrijven. Voor negen- en twaalfjarigen lijkt dit wat hoog gegrepen en het is denkbaar dat een dergelijke opdracht naast schrijfvaardigheid ook kennis van natuurwetenschap meet. Daarnaast is in dezelfde studie het patroon van de correlaties tussen het meerkeuze- instrument en een somscore van alle categorieën van een analytische beoordeling van de schrijfopdrachten niet gekoppeld aan leeftijd. De correlaties tussen de somscores van de analytische beoordelingen van de schrijfopdrachten en de meerkeuze-instrumenten zijn voor negen-, twaalf- en vijftienjarigen respectievelijk .42, .27 en .60 (gecorrigeerd .68, .60 en 76).

De vraag of de criteriumvaliditeit van meerkeuze-instrumenten van de leeftijd van de proefpersonen afhankelijk is, kan ook gesteld worden voor de criteriumvaliditeit van de verschillende subtests. Uit de onderzochte studies blijkt geen samenhang tussen de hoogte van de correlaties tussen subtests en criteria enerzijds en de leeftijd van de proefpersonen anderzijds⁴.

De conclusie mag luiden dat de criteriumvaliditeit van meerkeuze-instrumenten voor schrijfvaardigheid niet afhankelijk is van de leeftijd van de proefpersonen.

Voor de ster-studies zijn wij nagegaan welke onderdelen van de meerkeuze-instrumenten de beste criteriumvaliditeit bezitten. Uit de tabel 3 blijken, voor de studies van Clemson (1978) en Weiss & Jackson (1983) geen systematische verschillen in de hoogte van de correlaties tussen de criteria en de verschillende subtoetsen. Ook bestudering van de overige, niet-gesterde studies heeft geen subtoetsen aan het licht gebracht waarvan de criterium-validiteit systematisch afwijkend hoog of laag is⁵.

3 Voor enkele studies konden we de voor attenuatie gecorrigeerde correlatie niet bepalen.

4 Tabel 3 bevat voor de ster-studies informatie over de samenhang tussen leeftijd en de hoogte van de subtest-criterium correlaties. Op aanvraag is bij de auteurs een volledig overzicht van de correlaties tussen subtests en criteria verkrijgbaar.

5 Opnieuw geldt dat het volledige overzicht van de correlaties tussen subtests en criteria op aanvraag verkrijgbaar is.

5.2.2 Lerarenoordelen als criterium

In zes van de in de literatuursearch gevonden studies worden lerarenoordelen over de schrijfvaardigheid als criteria gebruikt. In Tabel 4 worden de in deze studies gevonden validiteitscoëfficiënten en de leeftijden van de desbetreffende proefpersonen gegeven. De

[p. 101]

resultaten van studies waarbij lerarenoordelen over de schrijfvaardigheid van de proefpersonen als criteria gebruikt zijn, komen redelijk overeen met de resultaten van studies met schrijfopdrachten als criterium.

Studie	Subtest	Rxy	Rxy’	1ft	N
*Godshalk e.a. (1966)	- paragraph organisation	.46		16-17	646
	- usage	.71
	- sentence correction	.71
	- prose groups	.57
	- error recognition	.59
	- construction shift	.65
*Clemson(1978)	spelling	.55	.76	13	567
	- capitalization and punctuation	.52	.70
	- usage	.47	.61
	- logic and evaluation	.54	.67
*Weiss&Jackson (1983)	- reading comprehension	.56	.69	18	224
	- logical relations	.62	.77
	- word use	.53	.69
	- usage and grammar	.63	.80
	- sentence structure	.62	.79

Tabel 3: Correlaties tussen subtets en criteria voor ster-studies (N=aantal proefpersonen, Rxy=correlatie met criterium, Rxy' =correlatie met criterium na correctie voor attenuatie)

Bij de laatste studies bedroeg de mediane geobserveerde correlatie met het criterium in de ster-studies .69 en in de overige studies .55. De lerarenoordelen (waarvan de meetkwaliteit waarschijnlijk dichter bij de niet-gesterde dan bij de gesterde studies ligt) vertonen een mediane geobserveerde correlatie met de meerkeuzeinstrumenten van .49.

5.2.3 Conclusie over de criteriumvaliditeit

Op grond van de hier behandelde literatuur kan geconcludeerd worden, dat de criteriumvaliditeit van meerkeuze-instrumenten om schrijfvaardigheid te meten redelijk tot goed kan zijn. De correlaties met de criteria zijn redelijk en lijken niet afhankelijk van de leeftijd van de proefpersonen. Er blijken verder geen systematische verschillen tussen de criteriumvaliditeit van uiteenlopende subtoetsen.

5.3 Constructvaliditeit

In het bovenstaande is beschreven dat de constructvaliditeit van een instrument geëvalueerd kan worden door het toetsen van voorspellingen die uit de theorie omtrent het te

[p. 102]

meten construct volgen. Wij beschrijven hier onderzoek dat betrekking heeft op drie van de vijf genoemde methoden⁶: onderzoek naar groepsverschillen, onderzoek naar de interne structuur en onderzoek naar de divergente validiteit⁷.

Studie	Criterium	leeftijd	Rxy
Huddleston (1954)	lerarenoordeel schrijfvaardigheid	18	.43
	gemiddeld schoolcijfer voor Engels	18	.34
	lerarenoordeel schrijfvaardigheid	18	.58
	gemiddeld schoolcijfer voor Engels	18	.60
Pearson (1955)	lerarenoordeel schrijfvaardigheid	18	.65
Checketts & Christensen (1974)	gemiddeld schoolcijfer voor Engels	18	.47
Culpepper & Ramsdel (1982)	gemiddeld schoolcijfer voor Engels	18	.50
Weiss & Jackson (1983)	gemiddeld cijfer schrijfcursus High School	18	.35
			.39
Koffler (1984)	lerarenoordeel schrijfvaardigheid	14	.83

Tabel 4: Lerarenoordeel en schoolcijfers als criteria

6 De literatuursearch leverde geen studies op naar veranderingen in vaardigheid of oplossingsprocessen.

7 Het onderzoek naar de convergente validiteit is bij de bespreking van de criteriumvaliditeit reeds besproken.

5.3.1 Groepsverschillen

Checketts & Christensen (1974) voerden een studie uit op basis van de eindcijfers van drie schrijfcursussen (freshman English) voor ongeveer achttienjarigen. De proefpersonen werden ingedeeld in twee groepen, afhankelijk van hun eindcijfer voor de schrijfcursus. De proefpersonen met voldoendes vormden groep één en de proefpersonen met onvoldoendes vormden groep twee. Daarnaast beschikten de onderzoekers over de cijfers van een groep achttienjarige studenten op een meerkeuze-instrument. Ook deze groep studenten werd gesplitst in een groep die hoog scoorde en een groep die laag scoorde.

Uit elk van de vier bovenbeschreven groepen werd een a-selecte steekproef van 25 personen getrokken. Alle proefpersonen maakten vervolgens een schrijfopdracht en een gesloten schrijfvaardigheidsinstrument. Er werden geen significante verschillen gevonden in prestatie op zowel het gesloten instrument als de schrijfopdracht, tussen de proefpersonen die bij de selectie hoge cijfers voor de schrijfopdracht haalde en de proefpersonen die bij de selectie hoge cijfers voor het meerkeuze-instrument haalden. Evenzo werden er geen significante verschillen in prestatie gevonden tussen de twee groepen die bij de selectie respectievelijk laag op de schrijfopdracht of laag op het meerkeuze- instrument scoorden. Wel significante verschillen werden gevonden tussen groepen die bij de selectie hoge cijfers haalden voor het meerkeuze-instrument of de schrijfopdracht enerzijds en groepen die bij de selectie lage cijfers haalden voor de schrijfopdracht of het meerkeuze-instrument anderzijds.

[p. 103]

Matalene (1982) construeerde een meerkeuze-instrument voor achttienjarige collegestudenten. Zij trok een a-selecte steekproef van 190 studenten en vond dat studenten die een ‘voldoende’ of ‘goed’ voor hun schrijfcursus haalden, in overgrote meerderheid tussen 120 en 135 scoorden op het meerkeuze-instrument (de maximale score was 150). Leraren behaalden gemiddeld een score van 140 en kwamen nooit lager dan 120 uit. Studenten die een onvoldoende haalden voor de schrijfcursus, behaalden vaak lage scores voor het meerkeuze-instrument. Een enkeling met een onvoldoende voor de schrijfcursus scoorde echter hoog op het meerkeuze-instrument. Matalene verklaart dit met de veronderstelling dat het meerkeuze-instrument vaardigheden meet die noodzakelijk doch niet voldoende zijn voor het schrijven van een goed stuk.

Gorell (1983) vond dat van 96 studenten uit een schrijfcursus in het eerste collegejaar (freshman English) 53 een hoog cijfer voor een schrijfopdracht haalden. Slechts vier van deze studenten behaalden een lage score voor een meerkeuze-instrument. Van de 46 studenten die aan het begin van de cursus een lage score voor de schrijfopdracht behaalden, haalden 21 studenten een hoge score voor de schrijfopdracht aan het eind van de cursus. Slechts één van deze 21 studenten had aan het begin van de cursus een lage score voor het meerkeuze-instrument.

Koffler (1984) vroeg leraren een oordeel te geven over de schrijfvaardigheid van hun studenten. Op grond van deze oordelen deelde hij de populatie van ruim 7000 proefpersonen in in drie groepen: ‘master’, ‘borderline’ en ‘nonmaster’. Alleen de groepen ‘master’ en ‘non-master’ zijn in de verdere analyse gebruikt. Als op grond van deze indeling een optimale grensscore op een schrijfopdracht gesteld werd, bleek 20,4% van de proefpersonen ten onrechte als ‘master’ of als ‘non-master’ geclassificeerd te worden. Een op dezelfde wijze bepaalde grensscore op een meerkeuze-instrument leverde een norm waarbij 18,1% van de proefpersonen verkeerd geclassificeerd werd. Een gecombineerd instrument bestaande uit de schrijfopdracht én de meerkeuzetoets leverde een norm waarbij 17,1% van de proefpersonen verkeerd geclassificeerd werd. De conclusie van Koffler is dan ook dat het meerkeuze-instrument een beter onderscheidend vermogen heeft dan de schrijfopdracht.

De conclusie lijkt gewettigd dat de ‘known-group’-validiteit van de meerkeuze-instrumenten voor het meten van schrijfvaardigheid redelijk tot goed is.

5.3.2 Interne structuur

Werts, Breland, Grandy & Rock (1980) namen voor hun onderzoek een meerkeuze- instrument om schrijfvaardigheid te meten en een schrijfopdracht af. Een factoranalyse van alle data leverde één factor op: beide instrumenten betroffen dus eenzelfde complex van vaardigheden.

Een speciale vorm van construct-validering door middel van het voorspellen van de factoriële structuur van een instrument, is de zogenaamde ‘multi-trait, multi-method’- analyse (Campbell & Fiske, 1959). Traub & Fisher (1977) verrichtten een dergelijke analyse. Zij maten twee trekken op drie verschillende manieren. De twee trekken waren ‘woordkennis’ en ‘wiskundig redeneren’. De drie meetmethoden waren open vragen, gewone meerkeuzevragen en meerkeuzevragen waarbij de proefpersonen werd gevraagd

[p. 104]

zoveel mogelijk onjuiste alternatieven aan te kruisen (Coombs-formaat). Als resultaat van deze studie werd gevonden dat de wiskunde-instrumenten hetzelfde maten, ongeacht de vraagvorm. De woordkennisinstrumenten maten echter verschillende vaardigheden in de verschillende vraagvormen. De twee vormen van het meerkeuze-instrument bleken niet significant van elkaar te verschillen, maar de open vorm enerzijds en de twee soorten meerkeuze-instrumenten anderzijds verschilden wel significant van elkaar.

Vervolgens werd een model getoetst met vijf factoren, twee gecorreleerde factoren voor wiskundig redeneren en woordkennis en drie ongecorreleerde methode-factoren voor elk van de drie vraagvormen. Dit model bleek te passen. De twee traitfactoren gedroegen zich zoals verwacht. Alle wiskunde-instrumenten laadden positief op de wiskundefactor en alle woordkennisinstrumenten laadden positief op de woordkennisfactor. Slechts één van de drie overige factoren gedroeg zich als een methode-factor. Op deze factor laadden de instrumenten met de open vraagvorm. De andere twee factoren waren niet als methode-factor te interpreteren.

Ward (1982) onderzocht voor drie verschillende verbale vraagtypen of het uitmaakte of de vragen in open of meerkeuzevorm gesteld werden. De drie typen betroffen ‘sentence completion’ (het juiste woord op een open plaats in de zin zetten), ‘antoniemen’ (het aangeven van een tegengesteld begrip) en ‘analogieën’ (de twee woorden kiezen die dezelfde onderlinge relatie vertonen als een gegeven woordenpaar). Ward voerde een ‘multi-trait, multi-method’-analyse uit op deze data.

Hij onderscheidde drie trekken, behorende bij de drie verschillende soorten vragen. Daarnaast onderscheidde hij vier meetmethoden; ten eerste open vragen waarbij de proefpersoon om één antwoord gevraagd werd, ten tweede open vragen waarbij de proefpersoon om meerdere goede antwoorden gevraagd werd, ten derde gesloten vragen waarbij één goed antwoord uit vijf alternatieven moest worden gekozen en ten vierde gesloten vragen waarbij het goede antwoord uit een alfabetisch gerangschikte lijst van 90 alternatieven gekozen moest worden.

Bij deze analyse werden alleen effecten van de meetmethoden gevonden voor de instrumenten die het meerkeuzeformaat hanteerden waarbij één goed antwoord uit vijf alternatieven gekozen moest worden. Dit wil zeggen dat dit soort meerkeuze-instrumenten onderlinge correlaties vertonen die toegeschreven moeten worden aan de gelijke meetmethode en niet aan de gemeten trekken (method-bias).

Ook Quellmalz, Capell & Chih-Ping (1982) verrichtten een multi-trait multi-method studie. In deze studie werd onderzocht of het schrijven in de verhalende en in de beschouwende stijl op verschillende vaardigheden berust. Er worden zowel schrijfopdrachten als meerkeuzevragen gebruikt. De proefpersonen in dit onderzoek waren 16 à 17 jaar. De analyse laat zien dat er twee factoren zijn die horen bij de communicatieve stijl van de te schrijven of (bij de meerkeuzevragen) aangeboden tekst. Beschouwend en verhalend schrijven lijken hier dus een beroep te doen op verschillende vaardigheden.

Daarnaast zijn er drie factoren die respectievelijk opgevat kunnen worden als ‘focus’, ‘organization’ en ‘support’-factor (de ‘schrijfvaardigheden’ die in het onderzoek gemeten werden). Zowel de scores op de schrijfopdracht als op de drie meerkeuze-instrumenten laadden zoals verwacht op deze factoren. Ook werden er meetmethodefactoren gevonden voor de opstellen en de meerkeuzevragen. Deze laatste factoren verklaarden echter niet veel variantie.

Weiss & Jackson (1983) voerden eveneens een multi-trait multi-method analyse uit. Zij

[p. 105]

namen hiertoe één schrijfopdracht af die werd beoordeeld op ‘sentence structure’ (gebruik complete zinnen, juiste toepassing van onder- en nevenschikkende voegwoorden en het op de juiste plaats in de zin zetten van bepalingen), ‘usage’ (fouten in het gebruik van voornaamwoorden en bepalingen, in de woordkeus en keuze van uitdrukkingen en in de werkwoorden) en ‘logical relationships’ (ideeën categoriseren, juiste connectieven kiezen, analogieën maken en organisatieprincipes herkennen). Voor dezelfde drie categorieën werden meerkeuze-instrumenten gemaakt.

De resultaten van deze multi-trait multi-method analyse laten zien dat de correlaties tussen metingen die dezelfde meetmethode hanteren, hoger zijn, dan tussen metingen die dezelfde trek moeten meten, maar verschillende meetmethoden hanteren.

De resultaten van het hier behandelde multi-trait multi-method onderzoek laten zien dat het uitmaakt of schrijfvaardigheid met schrijfopdrachten of met meerkeuze-instrumenten gemeten wordt, al zijn de effecten van de meetmethode volgens de aangehaalde onderzoekers meestal niet erg groot. De precieze grootte van de methode-effecten wordt in de meeste gevallen echter niet gerapporteerd. Bovendien zijn de gehanteerde onderzoeksopzetten niet altijd adequaat. Zo treedt er in het onderzoek van Quellmalz, Capell & Chih-Ping (1982) een vermenging op van methode-effecten en onderwerp- of opdrachteffecten. Enkele scores zijn afhankelijk omdat zij gebaseerd zijn op dezelfde schrijfopdracht.

Het is verder niet uitgesloten dat de methode-effecten mede een gevolg zijn van de raadkans die bij meerkeuze-instrumenten onvermijdelijk een rol speelt. De raadkans kan als gemeenschappelijke factor voor meerkeuze-vragen naar voren komen omdat er in de regel meer geraden wordt door minder vaardige proefpersonen.

5.3.3 Divergente validiteit

Enkele studies melden correlaties tussen meerkeuze-instrumenten voor schrijfvaardigheid en instrumenten voor het meten van leesvaardigheid. Crocker, Ondrasik & Lamme (1979) melden een correlatie van .52, Hogan & Mishler (1980) een correlatie van .48 voor achtjarigen en een correlatie van .59 voor dertienjarigen, Culpepper & Ramsdell (1982) een correlatie van .66 en Weiss & Jackson (1983) een correlatie van .49, beide voor achttienjarigen.

Hogan & Mishler geven ook nog correlaties tussen schrijfvaardigheid gemeten met een meerkeuze-instrument en bepaalde andere variabelen. Zij rapporteren correlaties met studievaardigheden van .57 en .63 voor achtjarigen en .56 en .67 voor dertienjarigen, correlaties met luistervaardigheid van .49 voor acht- en .54 voor dertienjarigen, correlaties met een algemene taaltest van .61 voor acht- en .65 voor dertienjarigen, correlaties met vragen over exacte wetenschap van .17 voor acht- en .51 voor dertienjarigen, correlaties met vragen over sociale wetenschappen van .30 voor acht- en .50 voor dertienjarigen en correlaties met een wiskunde-instrument van .40 voor acht- en .50 voor dertienjarigen.

Het patroon van correlaties stemt overeen met de verwachtingen: schrijfvaardigheids- metingen met meerkeuze-instrumenten stemmen het hoogst overeen met andere metingen van schrijfvaardigheid, vervolgens met andere taalvaardigheidsmetingen, en tenslotte met metingen van niet-taalvaardigheden.

[p. 106]

5.3.4 Conclusie over de constructvaliditeit

Samenvattend kan gesteld worden dat de constructvaliditeit van meerkeuze-instrumenten om schrijfvaardigheid te meten redelijk tot goed is. De ‘known-group’-validiteit van de meerkeuze-instrumenten lijkt goed. Uit onderzoek naar de constructvaliditeit door middel van factoranalyse blijkt dat metingen met open vragen en metingen met meerkeuze- instrumenten niet gelijkwaardig zijn, al lijken de verschillen niet erg groot. Ook de convergente en divergente validiteit van de meerkeuze-instrumenten zien er redelijk tot goed uit.

6 Discussie

In de literatuur wordt de inhoudsvaliditeit van meerkeuze-instrumenten voor schrijfvaardigheid overwegend kritisch beoordeeld. De belangrijkste bezwaren zijn dat de meerkeuze-instrumenten alleen receptieve en geen produktieve vaardigheden zouden kunnen meten en dat de beheersing van aspecten als stijl, organisatie en creativiteit niet goed met meerkeuzevragen gemeten zouden kunnen worden.

Tegenover de kritische beoordeling van de inhoudsvaliditeit staat de criteriumvaliditeit die redelijk tot goed lijkt. In de studies met de beste criteria bedraagt de mediane correlatie tussen meerkeuze-toetsen en criteria .82. Ook de constructvaliditeit van de meerkeuze-instrumenten lijkt heel behoorlijk. De ‘known-group’-validiteit en de convergente en divergente validiteit van de meerkeuze-instrumenten lijken goed. Het multi-trait multimethod onderzoek wijst op het bestaan van methode-factoren, maar de effecten lijken niet erg groot.

Deze resultaten stemmen sterk overeen met de resultaten van Van den Bergh (1988). Ondanks de vaak heftige kritiek op gesloten vragen voor het meten van tekstbegrip, vond Van den Bergh geen belangrijk verschil tussen de intellectuele vaardigheden die bij het beantwoorden van gesloten en open vragen tekstbegrip in het geding zijn. Ook bij gesloten vragen bleken convergente en divergente produktietaken van belang. Wel vond hij verschil in gemiddelde en betrouwbaarheid tussen open en gesloten tekstbegripvragen. De gesloten vragen hebben over het algemeen een lagere betrouwbaarheid en een hogere p-waarde dan open vragen. Waarschijnlijk wordt dit verschil (mede) veroorzaakt door de bij gesloten vragen aanwezige raadkans.

Hoe valt de uiteenlopende evidentie voor enerzijds de inhoudsvaliditeit en anderzijds de criterium- en constructvaliditeit van meerkeuze-instrumenten voor schrijfvaardigheid te verklaren?

Een mogelijke verklaring kan gezocht worden in de betekenis van de criteria. In de meerkeuze-instrumenten zijn toetsen op het gebied van inhoud en organisatie relatief slecht vertegenwoordigd. Toch zijn de correlaties met de criteria hoog te noemen. In de meeste studies is het criterium gevormd op basis van globale oordelen van meerdere beoordelaars over enkele opstellen. Het is niet ondenkbaar dat deze globale oordelen vooral kwaliteiten op het gebied van stijl en taalgebruik weerspiegelen. In dit geval vertonen het criterium en de meerkeuze-toets dezelfde eenzijdigheid.

Een andere mogelijkheid is dat er hoge interne correlaties zijn tussen verschillende aspecten van het criterium. Als in het criterium de kwaliteit van inhoud, opbouw, stijl en taalgebruik gecorreleerd zijn, dan zal ook een ‘onvolledig’ meerkeuze-instrument een hoge criterium-validiteit vertonen.

[p. 107]

Voor meer inzicht in de validiteit van meerkeuze-instrumenten voor het meten van schrijfvaardigheid is nader onderzoek nodig. In dit onderzoek dient aan twee voorwaarden voldaan te worden: (a) er moeten meerkeuze-instrumenten ontwikkeld worden die het vaardigheidsdomein beter dekken en (b) er moet meer aandacht worden besteed aan de validiteit van de criteria. Een betere dekking kan bereikt worden door toetsen te ontwikkelen die items op het gebied van inhoud en organisatie bevatten. De validiteit van het criterium kan verbeterd worden door een aantal schrijfopdrachten af te nemen en deze analytisch te beoordelen. Voorafgaand aan de analyse van de relaties tussen criterium en meerkeuze-toets dient bestudering van de interne structuur van het criterium plaats te vinden. Van belang hierbij is vooral de vraag naar de tussen-taak binnen-aspect correlaties (b.v. correlaties tussen scores voor inhoud op verschillende schrijfopdrachten) en de tussen-aspect correlaties (b.v. correlaties tussen stijlscores op verschillende taken en organisatiescores op verschillende taken). Eerder onderzoek (Van den Bergh e.a., 1988) doet vermoeden dat de interne structuur van zulke metingen te wensen overlaat.

Blijkt ook in nieuw onderzoek de kwaliteit van directe metingen van specifieke aspecten van de schrijfvaardigheid twijfelachtig, dan dient de vraag zich aan of indirecte metingen van deelaspecten niet het criterium moeten gaan vormen waaraan directe metingen gevalideerd moeten worden. Een dergelijke rolwisseling van criterium en voorspeller zou niet ongewoon (De Groot, 1981), maar welk opmerkelijk zijn.

Bibliografie

Allen, M.J. & W.M. Yen, Introduction to measurement theory. Brooks/Cole Publishing Company, Montery California, 1979

Arrasmith D.G., D.S. Sheehan & W.R. Applebaum, A comprehension of the selected-response strategy and the constructed-response strategy for assessment of a thirdgrade writing task. In: The Journal of Educational Research, 77, 3, 1984, p. 172-177

Bamberg, B., Multiple-choice and holistic essay scores: What are they meaning? In: College Composition and Communication, 33, 4, 1982, p. 404-406

Beaugrande, R. de & W. Dressler, Introduction to Text Linguistic. Longman, London, 1982

Benton, S.L. & K.A. Kiewra, Measuring the organizational aspects of writing ability. In: Journal of Educational Measurement, 23, 4, 1986, p. 377-386

[p. 108]

Bereiter, C. & M. Scardamalia, The Psychology of Written Composition, Lawrence Erlbaum, Hillsdale, N.J., 1987

Bergh, H. van den, De constructvaliditeit van gesloten vragen tekstbegrip. In: Examens geëxamineerd. SVO, 's Gravenhage, 1988, p. 111-136

Bergh, H. van den, K. de Glopper & R. Schoonen, Directe metingen van schrijfvaardigheid: validiteit en taakeffecten. In: F.H. van Eemeren & R. Grootendorst (red.) Taalbeheersing in ontwikkeling, 1988, p. 370-378

Bonset, H. & J. Griffioen, Met toets en band door het ganse land. In: Vernieuwing van opvoeding en onderwijs, 311, 1972, p. 140-151

Bonset, H., Objectieve schrijfvaardigheidstoetsen voor Basis- en Voortgezet Onderwijs. In: Levende talen, 1974, p. 204-215

Braddock, R., R. Lloyd-Jones & L. Schoer, Research in written composition. National Council of Teachers of English, Urbana, IL, 1963

Breland, H.M., Can multiple choice tests measure writing skills? College Board Review, 103, 1977

Breland, H.M. & L. Gaynor, A comparison of direct and indirect assessments of writing skills. In: Journal of Educational Measurement, 16, 1979, p. 119-128

Breland, H.M. & R.J. Jones, Percerptions of writing skill. College Entrance Examinations Board, New York, 1982

Campbell, D.T. & D.W. Fiske, Convergent and discriminant validation by the multitrait-multimethod matrix. In: Psychological Bulletin, 56, 1959, p. 81-105

Carlson, S.B. & R. Camp., Relationship between direct and indirect measures of writing ability. Paper presented at the Annual Meeting of the National Council on Measurement in Education. Chicago, IL, 1985 (ED 255 543)

Cheketts, K.T. & M.G. Christensen, The validity of awarding credit by examination in english composition. In: Educational and Psychological Measurement, 34, 1974, p. 357-361

Clemson, E., A study of the basic skills assesment. Direct and indirect measures of writing ability. 1978 (ETS:ED 204 409)

Coffman, W.E., On the validity of essay tests of achievement. In: Journal of Educational Measurement, 3, 1966, p. 151-156

Cook, T.D. & D.T. Campbell, Quasi-experimentation. Design and Analysis Issues for Field Settings. Houghton Mifflin Company, Boston, 1979

Cooper, C.R. & L. Odell (Eds.), Evaluating writing: Describing, measuring, judging. National Council of Teachers of English, Urbana IL, 1977

Cooper, P.L., The assessment of writing ability: a review of research. Educational Testing Service, Graduate Record Examinations Board, 1984, Princeton, N.J. (ED 250 332)

Crocker, L. e.a., Predicting children's writing performance from standardized achievement tests. Paper presented at the Annual Meeting of the National Council on Measurement in Education. San Fransisco, California, 1979 (ED 174 684)

Culpepper, M.M. & R. Ramsdell, A comparison of a multiple choice and an essay test of writing skills. In: Research in the Teaching of English, 16, 3, 1982, p. 295-297

Diederich, P., Measuring growth in writing. NCTE, Urbana ILL, 1974

Eley, E.G., Should the general composition test be continued? The test satisfies an educational need. In: College Board Review, 25, 1955, p. 9-13

Glopper, K. de, Schrijven beschreven. SVO, ‘s-Gravenhage, 1988

Godschalk F.I., F. Swineford & W.E. Coffman, The measurement of writing ability. College Entrance Examination Board, New York,1966

Gorrell, D., Toward determining a minimal competency entrace examination for freshman composition. In: Research in the Teaching of English, 17, 3, 1983, p. 263-274

[p. 109]

Groot, A.D. de, Methodologie. Grondslagen van onderzoek en denken in de gedragswetenschappen, Mouton, ‘s-Gravenhage, 1981

Groot, A.D. de & F.L. Medendorp, Term, begrip, theorie. Inleiding tot de signifische begripsanalyse.Boom, Meppel/Amsterdam, 1986

Halpin, G., G. Halpin & B.B. Schaar, Research in writing: A search for onjective measures related to holistically scored essays. Paper presented at the Annual Meeting of the Eastern Educational Research Association, Philadelphia, PA, 1981 (ED 208 042)

Hartnett, C.G., Measuring writing skills, National Council of Teachers of English, Urbana, Il. 1978

Hayes, J.R. & L.S. Flower, Identifying the organization of writing processes. L.W. Gregg & Steinberg, E.R. (Eds.) Cognitive processes in writing. Lawrence Erlbaum, Hillsdale N.J., 1980, p. 3-30

Hogan, T.P. & C. Mishler, Relationships between essay tests and objective tests of language skills at grades 4, 7 and 10. In: Journal of Educational Measurement, 19, 1980, p. 37-48

Huddleston, E.M., Measurement of writing ability at the college entrance level: Objective versus subjective testing techniques. In: Journal of Experimental Education, 22, 1954, p. 165-213

Huntley, R.M., C.B. Schmeiser & R.J. Stiggins, The assessment of rhetorical proficiency: The roles of objective tests and writing samples. Paper presented at the National Council of Measurement in Education, San Fransisco, California, 1979 (ED 173 419)

Koffler, S.L., Assessing students’ writing skills: A comparison of direct & indirect methods. Paper presented at the Annual Meeting of the American Educational Research Association, New Orleans, 1984 LA (ED 242 771)

Matalene, C.B., Objective testing: Politics, problems, possibilities. In: College English, 44, 4, 1982, p. 368-381

McColly, W., What does educational reserach say about the judging of writing ability? In: The Journal of Educational Reserach, 64, 1970, p. 148-156

Meerling, Methoden en technieken van psychologisch onderzoek. Deell en 2. Boom, Meppel, 1981

Moss, P.A., N.S. Cole & C.T. Khampalakit, A comparison of procedures to assess written language skills at grades 4, 7 and 10. In: Journal of Educational Measurement, 19, 1982, p. 37-48

Noyes, E.S., Essays and objective tests in English. In: College Board Review, 49, 1963, p. 7-10.

Pearson, R., Should the general composition test be continued? The test fails as an entrance examination. In: College Board Review, 43, 1955, p. 534-539

Quellmalz, E.S., Capell, F.J. & C. Chih-Ping, Effects of discourse and response mode on the measurement of writing competence. In: Journal of Educational Measurement, 19, 1982, p. 241-258

Schooten, E.J. van, De constructie van een meerkeuzetoets voor het meten van schrijfvaardigheid. Stichting Centrum voor Onderwijsonderzoek van de Universiteit van Amsterdam. SCO-rapport 178, 1988

Spooner-Smith, L., Investigation of writing assessment strategies. Studies in measurement & Methodology. Work Unit 1: Design and use of tests. California University, L.A. Center for the Study of Evaluation, 1978 (ED 213 727)

Standards for educational andpsychological testing, 5th ed. Washington, D.C., 1985, AERA; APA; NCMA

Stiggins, R.J., A comparison of direct and indirect writing assessment methods. Washington D.C., National Institue of Education, 1981 (ED 204-413)

Traub, R.E. & C.W. Fisher, On the equivalence of constructed-response and multiple-choice tests. In: Applied Psychological Measurement, 1, 3, 1977, p. 355-369

Veal, L.R. & S.A. Hudson, Direct and indirect measureres for large-scale evaluation of writing. In: Research in the Teaching of English, 17, 3, 1981, p. 290-296

[p. 110]

Ward, W.C., A comparison of free-response and multiple choice forms of verbal aptitude tests. In: Aplied Psychological Measurement, 6, 1, 1982, p. 1-11

Weiss, D. & R. Jackson, The validity of the descriptive tests of language skills: Relationships to direct measures of writing ability and to grades in introductory college English courses. College Entrance Examination Board, N.Y., 1983 (ED 241 589)

Werts, C.E., H.M. Breland, J. Grandy & D. Rock, Using longitudinal data to estimate reliability in the presence of correlated measurement errors. In: Educational and Psychological Measurement, 40, 1980, p. 19-29

Wesdorp, H., Het meten van de produktief-schriftelijke taalvaardigheid. Directe en indirecte methoden: ‘opstelheoordeling’ versus ‘schrijfvaardigheidstoetsen’. Muusses, Purmerend, 1974