Tijdschrift voor Taalbeheersing. Jaargang 11

[p. 215]

Discussie Taakcomponenten en vaardigheidsfactoren
J.H.A.L. de Jong

Reactie op H. van den Bergh, ‘De correlationele structuur van enkele schriftelijke taalvaardigheden’, In: Tijdschrift voor Taalbeheersing 11, 1989, p. 38-59

Van den Bergh's artikel is een gedurfde poging orde te scheppen in een chaos. Juist vanwege deze moed, het belang van zijn onderwerp en de substantiële bijdrage aan theorievorming verdient zijn methodologisch goed onderbouwde artikel een kritische bespreking. In zijn inleiding presenteert Van den Bergh een greep uit recent Nederlands en wat minder recent buitenlands onderzoek gericht op de onderscheiding van vaardigheden, die bij schriftelijk en mondeling, produktief en receptief taalgebruik betrokken zouden zijn. Hij constateert een gebrek aan overeenstemming tussen onderzoekers met betrekking tot de definities van de onderzochte variabelen. Met Meuffels (1982) stelt hij voor een eind aan deze spraakverwarring te maken door een bepaald psychologisch model, i.c. het ‘Structure-of-Intellect’ model, of SI-model van Guilford c.s. (Guilford, 1967; Guilford en Hoepfner, 1971) als uitgangspunt te nemen. Zijn artikel is er met name op gericht de keus voor dit model te verantwoorden door middel van een vergelijking van de verklarende kracht van het SI-model met die van een aantal andere modellen.

Van den Bergh stelt terecht, dat in taalvaardigheidsonderzoek gepostuleerde vaardigheden een psychologische realiteit dienen te bezitten. Puur linguïstische uitgangspunten bij het onderscheiden van de samenstellende elementen van taalvaardigheid leveren vaak eerder een verhullende dan een verhelderende bijdrage aan de definitie van het construct taalvaardigheid (cf. ook De Jong, 1987). Bij zijn keus voor het model van Guilford en de wijze, waarop hij deze keus verantwoordt kunnen echter een aantal kanttekeningen geplaatst worden.¹

Allereerst dient zich de vraag aan of de oproep tot het kiezen van een gemeenschappelijk beschrijvingsmodel moet worden gehonoreerd. Een dergelijke keus betekent immers een onnodige en daarom ongewenste beperking van taalvaardigheidsonderzoek. Men kan afspraken maken over kwaliteitseisen waaraan toetsen en daarmee samenhangend onderzoek moeten voldoen (zie bijvoorbeeld Standards for Educational and Psychological Testing, 1985), niet over de methoden of uitgangspunten die daarbij moeten worden gehanteerd.

1 Met dank aan Frans Kamphuis (Cito), voor waardevolle discussies.

Bezwaren tegen het SI-model

Laten we de oproep laten voor wat zij is. Niets staat Van den Bergh en anderen in de weg om zichzelf een onderzoeksprogramma op te leggen. Men kan zich echter afvragen waarom zij nu juist het model van Guilford als uitgangspunt nemen. Het model is niet nieuw en ook de kritiek is niet van gisteren (Carroll, 1968, 1972; Hom, 1970; Hom and Knapp, 1973). Een eerste bezwaar geldt het statische, rigide karakter van het model. In een

[p. 216]

van de meest geciteerde recente artikelen op het gebied van deelvaardigheden bij het lezen toonden Drum, Calfee en Cook (1980) bijvoorbeeld aan, dat de verzameling deelvaardigheden die het leesproces beïnvloeden afhankelijk is van het niveau van leesvaardigheid, hetgeen een algemeen geldend model minder plausibel maakt.

Een tweede bezwaar is de geringe aandacht voor processen. Met name de laatste jaren is de cognitieve psychologie - onder invloed van ontwikkelingen in automatische gegevensverwerking - zich meer gaan richten op het procesmatige karakter van de menselijke intellectuele vaardigheden. Het SI-model is opgesteld en beredeneerd vanuit een beeld van de menselijke intelligentie als een vaste verzameling vaardigheden waarop zonodig een beroep kan worden gedaan. De nieuwere psychologie zoekt meer naar verklaringen van de processen die plaatsvinden bij de uitvoering van taken en tracht het verloop van deze processen te beschrijven (zie bijv. Stemberg, 1985a). Om deze processen te kunnen beschrijven, worden taken uiteengerafeld in subtaken.

Hiermee komen we op een derde bezwaar tegen het SI-model: de gerichtheid op de van individuele verschillen afhankelijke correlatiestructuur. Correlaties zijn populatie-afhankelijk. Indien we bijvoorbeeld Van den Bergh's toetsing van het SI-model zouden accepteren als een ondersteuning voor de realiteit van het model, dan nog zou het slechts gelden voor zijn onderzoekspopulatie, i.c. leerlingen uit derde klassen LBO en MAVO. De door Van den Bergh geciteerde tegengestelde resultaten bij populaties van verschillende leeftijden gevonden door Hoeks (1985) en Lammers (1984) wijzen op de betrekkelijkheid van het SI-model en de gebruikte methode van validatie van het model.

Het feit, dat op verschillende leeftijden de variabelenstructuur niet gelijk is, is overigens ook uit eerder factoriëel onderzoek bekend. Spearritt (1979) bijvoorbeeld, volgde kinderen op de lagere school gedurende vier leerjaren en concludeerde dat schrijven en spreken afzonderlijke vaardigheden zijn. Ook lezen en luisteren vormen voor meisjes in de laagste van de onderzochte leerjaren gescheiden vaardigheden. Deze vaardigheden ontwikkelen zich echter langzamerhand tot één receptieve vaardigheid. Bij jongens konden gedurende de gehele onderzochte periode beide receptieve vaardigheden zelfs niet van elkaar worden onderscheiden.

Alternatieve modellen

Pellegrino en Glaser (1979) onderscheidden twee benaderingen in de cognitieve psychologie: cognitieve correlatie-analyse en cognitieve componenten-analyse. De eerste richt zich op verschillen tussen personen bij de uitvoering van taken; de tweede neemt verschillen tussen taken als uitgangspunt.

In aansluiting hierop betoogde Embretson (1983) dat bij constructvalidatie twee soorten onderzoek noodzakelijk zijn: (1) het klassieke correlationele design, waarbij samenhang tussen meetinstrumenten wordt bepaald op basis van individuele verschillen tussen subjecten en (2) constructrepresentatie, d.w.z. de wiskundige modellering van taken door identificatie van componenten en hun onderlinge relaties, waarmee de wijze van uitvoering van die taken kan worden verklaard. Lumsden (1976) wees in een scherpe review op de tekortkomingen van onderzoek dat uitsluitend op de eerste aanpak is gebaseerd.

Stenner, Smith en Burdick (1983) stelden dat werkelijk begrip van het onderliggende construct van een meting pas mogelijk is, wanneer de variatie in itemwaarden verklaard kan worden. Shepard en Metzler (1971) publiceerden een van de eerste en meest invloedrijke studies, waarin een dergelijke aanpak in praktijk werd gebracht. Zij beschreven de

[p. 217]

mentale processen en representaties die door personen worden gebruikt bij het uitvoeren van taken m.b.t. mentale manipulaties van driedimensionale objecten. Drum, Calfee en Cook (1981) verklaarden 75% van de variantie in item p-waarden bij leesvaardig-heidstoetsen met de door hen gepostuleerde structurele variabelen.

Overigens, ook Guttman's facetmodel (1970, 1971) ging uit van relaties tussen de inhoudelijke karakteristieken en de moeilijkheidsgraad van items (voor een recente toepassing zie Van de Vijver, 1988). Cronbach (1957) pleitte reeds voor interactie tussen de twee stromen die hij in de psychologie onderscheidde: de correlationele psychologie, die zich richt op het onderscheid tussen personen, en de experimentele psychologie, die de variantie tussen behandelingen (lees: items, taken) bestudeert.

Het is overigens overduidelijk, dat men in een puur correlationele benadering nooit zeker kan zijn dat men alle relevante latente vaardigheden kan achterhalen. De hele exercitie is immers afhankelijk van individuele verschillen. Stel nu, dat in een onderzoekspopulatie geen individuele verschillen bestaan ten opzichte van een bepaalde latente vaardigheid die wezenlijk is voor de uitvoering van een taak. Dit is bijvoorbeeld het geval wanneer alle subjecten deze vaardigheid in voldoende mate beheersen. In een correlationele analyse zal deze vaardigheid niet worden onderkend. Daar komt nog bij, dat een latente variabele soms niet kan worden geobserveerd, omdat de gekozen operationalisatie (de gebruikte toets) geen verschillen meet.

De nieuwe aandacht voor de verklaring van verschillen tussen items is een gevolg van de ontwikkeling van de Item Response Theorie (IRT; zie o.a. Rasch, 1960; Lord en Novick, 1968). IRT-modellen definiëren namelijk de moeilijkheid van items en de vaardigheid van personen in termen van locaties op eenzelfde psychologische variabele (unidimensionele modellen) of verzameling van variabelen (multidimensionele modellen). De klassieke testtheorie, waarop correlationele analyses zoals factoranalyse gebaseerd zijn, richt zich met name op de analyse van de gegevens over personen die aan een toets hebben deelgenomen. IRT richt zich op de gegevens over items èn over personen. Bij de schatting van de parameters in een IRT-model levert iedere persoon die een item gemaakt heeft informatie over dat item, terwijl ieder item informatie levert over alle personen die dat item gemaakt hebben. Aangezien in de meeste toetssituaties meer personen dan items betrokken zijn, kunnen de itemparameters over het algemeen met grotere nauwkeurigheid worden geschat dan de persoonsparameters.

Fischer (1973) beschreef een van de eerste uitbreidingen van de oorspronkelijke unidimensionele modellen naar modellen met afzonderlijke parameters voor taakcomponenten waardoor de evaluatie van multicomponentiële cognitieve modellen mogelijk werd.

Als voorbeeld van de decompositie van taken beschreef Hunt (1976) de stappen die moeten worden ondernomen bij een eenvoudige taak als het evalueren van de juistheid van een bewering bij een plaatje: (1) het coderen van de bewering in een mentale representatie, (2) het coderen van het plaatje in een mentale representatie, (3) het vergelijken van de twee mentale representaties en tenslotte (4) het formuleren of kiezen van een juiste response. Hierbij stelde hij predicties op omtrent de invloed van de complexiteit van de bewerking op de uitvoering van de verschillende stappen. Een ontkenning, bijvoorbeeld, verhoogt de complexiteit en vergt daarom meer verwerkingstijd. Een voordeel van deze benadering is, dat de onderzoeker de complexiteit van taken bewust kan manipuleren (proefpersonen laten zich veel moeilijker manipuleren) en zodoende onderzoek werkelijk experimenteel kan opzetten. Het meten van de effecten van manipulaties levert dan een bijdrage aan de validering van het beschrijvingsmodel.

Een aanpak als die van Hunt (1976, 1985) vindt ondersteuning bij ontwikkelingen in

[p. 218]

uiteenlopende disciplines. Uit recente resultaten in cognitieve neurofysiologie, bijvoorbeeld, blijkt dat afzonderlijke locaties in de menselijke hersenen betrokken zijn bij visuele en bij auditieve codering van lexicale items, met ieder een eigen, onafhankelijke toegang tot supramodale articulatorische en semantische systemen (Petersen et al., 1988; Posner et al., 1988a, 1988b). Deze neurofysiologische resultaten ondersteunen cognitieve modellen van specifiek mentale operaties in taalverstaan, inclusief de hypotheses over gelijktijdige verwerking (zie bijv. McClelland, Rumelhart, et al., 1986; Rumelhart, McClelland, et al., 1986) en verlenen daarmee aan de onderscheiden vaardigheden niet alleen een psychologische, maar ook een biologische realiteit. Voorts ondersteunen psychologische experimenten met betrekking tot volgorde- en tijdstipbepaling bij spraakproduktie het idee van componentiele analyse en hiërarchische coderingsstrategieën op het niveau van de planning van uitingen (Gordon en Meyer, 1987; Keele, 1987). Tenslotte hebben de mathematische psychologie en de psychometrie na Fischer (1973) nieuwe meetmodellen ontwikkeld, die het mogelijk maken dergelijke ingewikkelde procesmodellen zelfs met onderling afhankelijke vaardigheden en deelvaardigheden te toetsen (Embretson, 1985a, 1985b; Jannarone, 1986, 1987).

De operationalisatie

Laten wij de keuze van het model voor wat zij is. Het staat ieder vrij een model te kiezen. Men kan zich dan afvragen of de gebruikte methode om het SI-model te vergelijken met concurrerende modellen acceptabel is.

Van den Bergh gaat ervan uit dat voor taalvaardigheid de vaardigheidsfuncties uit het semantische deel van het SI-model relevant zijn. In het model kunnen 30 (5x 1 x6) van deze vaardigheidsfuncties worden onderscheiden. Bij 16 functies (waarom 16? waarom deze 16?) construeert hij toetsen, drie per functie. Natuurlijk ligt de kern van de zaak bij deze toetsen. Immers van de operationalisatie zal afhangen of de toetsen werkelijk de door Guilford onderscheiden vaardigheden meten. Helaas geeft Van den Bergh hierover onvoldoende informatie. Ook de verwijzing naar een eerdere publikatie (Van den Bergh, 1987; cf. ook zijn proefschrift: Van den Bergh, 1988) levert onvoldoende inhoudelijke informatie over de gebruikte instrumenten.

Enkele standaardberekeningen op basis van de resultaten van ruim 500 leerlingen uit het LBO en MAVO op deze toetsen worden in een tabel in de bijlage vermeld. Het is nuttig even bij deze tabel stil te staan, aangezien deze de invoergegevens bevat voor LISREL, waarmee de passing van de verschillende modellen bij de geobserveerde data wordt geëvalueerd.

Wat direct opvalt bij inspectie van deze tabel, is de grote onderlinge variatie tussen de toetsen in lengte (2 à 38 items), gemiddelde moeilijkheid (35 à 94% goede antwoorden), standaarddeviatie (16 à 41 % van de toetslengte), gepiektheid (-1.2 à 13.4) en scheefheid (-2.9 à -3.9) van de verdeling, en in betrouwbaarheid (alpha; .51 à .97). De gunstige verhouding toetslengte-betrouwbaarheid bij enkele toetsen doet vermoeden dat bij deze toetsen de tijdlimiet een rol heeft gespeeld (de toetsen moesten alle binnen een beperkte tijd worden gemaakt). In hoeverre het snelheidselement een gewenste of ongewenste bijdrage levert aan de operationalisatie van de door deze toetsen te meten vaardigheid, wordt uit de beschrijving niet duidelijk.

Tenslotte bevat deze tabel ook de correlaties tussen alle toetsen. In dit verband is het belangrijk om op te merken, dat de hoogte van correlaties negatief wordt beïnvloed door de meetfout, maar ook door beperking van range. Gezien de grote onderlinge verschillen

[p. 219]

in standaarddeviatie en meetnauwkeurigheid van de toetsen, is het niet goed mogelijk om de gevonden correlaties als gelijkwaardige observaties te beschouwen (zie ook Cziko, 1985). De dataset is m.a.w. niet erg geschikt voor de toetsing van correlationele modellen van intellectuele vaardigheden. Zelfs in de IRT, waar itemparameters populatie-onaf-hankelijk geschat kunnen worden, is het niet goed mogelijk om dergelijke uiteenlopende instrumenten te schalen en kan de dimensionaliteit daarom niet correct worden geëvalueerd.

De toetsing van het model

Zoals gezegd bevat de tabel in de bijlage de invoergegevens voor het LISREL-programma. LISREL is een programma voor toetsende factoranalyse. Bij exploratieve factoranalyse probeert een onderzoeker tot datareductie te komen door te achterhalen of aan een correlatiematrix van geobserveerde variabelen een geringer aantal latente variabelen ten grondslag ligt. Vervolgens probeert de onderzoeker de gevonden latente variabelen of factoren te duiden in termen van een model met al dan niet gerelateerde vaardigheden. Bij toetsende factoranalyse echter postuleert de onderzoeker eerst een model van de bij een testbatterij betrokken vaardigheden en probeert vervolgens dit model met behulp van een factoranalyse te falsifiëren. Wanneer de data echter goed bij het model passen kan met het model op basis van de data niet verwerpen. Hoe meer men het model specificeert en hoe minder latente variabelen men veronderstelt aan de data ten grondslag te liggen, des te gemakkelijker wordt het model verworpen. Zeker wanneer men correlaties tussen factoren toestaat zal de ‘beste’ oplossing in termen van totaal verklaarde varian-tie een oplossing zijn, waarbij het aantal latente variabelen gelijk is aan het aantal geobserveerde variabelen (tenzij er volstrekt parallelle toetsen in de dataset voorkomen). De vraag is echter hoe relevant de factoren zijn, hoeveel zij bijdragen aan de verklaring van de variantie in de dataset.

Alhoewel het duidelijk is dat toetsende factoranalyse over het algemeen een betere bijdrage kan leveren aan theorievorming dan exploratieve factoranalyse, stelde Hertzog (1985) dat toetsende factoranalyse geen vervanging kan zijn voor exploratieve factoranalyse, maar een aanvulling daarop. In ieder geval lijkt het noodzakelijk om alvorens over te gaan tot de hoofdwas (LISREL) een ‘voorwas’ uit te voeren. Door bijvoorbeeld een plot van de eigenwaarden te maken in een exploratieve factoranalyse kan men nagaan welk aantal factoren er zinvol kunnen worden opgenomen in een model dat men aan een toetsende analyse wil onderwerpen.

Voor een evaluatie van de oplossing is echter in ieder geval inzicht in de verklarende kracht van ieder van de factoren afzonderlijk noodzakelijk. Informatief is om bij dit soort analyses de door elk van de latente variabelen verklaarde variantie als proportie van de totale variantie te vermelden. Vermelding van de totaal verklaarde variantie is niet echt informatief omdat bij meer factoren per definitie meer verklaard wordt.

In LISREL kunnen twee stappen worden onderscheiden. De eerste stap betreft het meetmodel: er wordt een schatting gemaakt van de latente variabelen op basis van de geobserveerde variabelen. In de tweede stap (het structurele model) worden de onderlinge relaties tussen de verschillende variabelen geschat. Over deze tweede stap bevat het artikel van Van den Bergh nauwelijks informatie.

Zoals gezegd, vindt men over het algemeen een betere passing van een factormodel, naarmate men meer factoren en relaties tussen factoren toestaat. Het feit dat het Guilford model met 16 factoren minder snel verworpen wordt dan een van de andere modellen met

[p. 220]

minder factoren is dus op zich niet verwonderlijk. Het is onvoldoende om te vermelden dat een oblique oplossing is gekozen, d.w.z. dat correlaties tussen de latente variabelen zijn toegestaan. De lezer blijft zitten met de vraag tussen welke latente variabelen correlaties gevonden zijn en hoe hoog deze correlaties zijn. Bovendien zouden de correlaties vanuit het theoretische model van te voren als restricties aan het meetmodel moeten worden opgelegd.

De vaardigheden in het model van Guilford zijn combinaties van een operatie, een modaliteit en een produkt. De onderzochte vaardigheden bevatten alle de semantische modaliteit. Zij verschillen alleen wat betreft de operaties en de produkten. Zijn vaardigheden, verschillend wat betreft de operatie, maar gericht op hetzelfde produkt (bijv. EMS en NMS), meer gecorreleerd dan vaardigheden die zowel wat betreft de operatie als het produkt verschillen (bijv. EMS en NMR)? Is de groep van vaardigheden waarvan verondersteld wordt dat zij dezelfde operaties vergen, maar een verschillende produkt (bijv. CMS, CMT en CMU) meer gecorreleerd, dan vaardigheden die verschillende operaties vergen, maar eenzelfde produkt (bijv. EMI, MMI en NMI)? Deze en dergelijke hypotheses zouden in het LISREL model moeten zijn meegetoetst. Het is pas dan dat de toetsing van alternatieve modellen interessant wordt met het oog op theorievorming.

Om kanskapitalisatie te vermijden verdeelt Van den Bergh de verzamelde dataset in drie delen door telkens combinaties van twee van de drie operationalisaties van een Guilford-vaardigheid in een deelverzameling op te nemen. In feite worden alle data dus tweemaal gebruikt. Bovendien gaat bij deze verdeling de convergent-discriminant opzet (Campbell en Fiske, 1959) van het onderzoek gedeeltelijk verloren. Ook omdat de generaliseerbaarheid over personen belangwekkender is dan de generaliseerbaarheid over toetsen, zou het beter geweest zijn de steekproef van leerlingen in twee delen te splitsen en de responsen van beide groepen op de gehele testbatterij in de analyse te betrekken. Jöreskog (1971) heeft een methode beschreven waarmee factoriële invariantie over groepen in een dergelijk design in één analyse kan worden getoetst.

Men kan ook betwijfelen of de gekozen schattingsmethode wel zo gelukkig is. Bij een maximum likelihood (ML) schatting van de parameters kunnen modellen met behulp van chi-kwadraat toetsen worden geëvalueerd. Chi-kwadraat toetsen hebben het voordeel dat men de verdeling ervan kent en dat men er verder mee kan rekenen zodat de verschillen in passing van alternatieve modellen statistisch kunnen worden geëvalueerd. Van den Bergh kiest voor schatting van de parameters met de ongewogen kleinste kwadraten methoden (ULS), naar hij zegt, omdat het bij deze methode niet noodzakelijk is een multivariaat normale verdeling van toetsscores te veronderstellen. Inderdaad laten de toetsen wat dat betreft te wensen over. Echter, alle statistische procedures die gebaseerd zijn op het klassieke lineaire model, zoals regressie-analyse en factoranalyse (ongeacht of het exploratieve of toetsende factoranalyse betreft) gaan ervan uit dat het eerste en tweede moment (d.w.z. gemiddelde en standaarddeviatie) afdoende zijn om de verdelingen te beschrijven. Dit geldt ook voor LISREL, ongeacht de gebruikte schattingsmethode (ULS, WLS, of ML). Niet-symmetrische verdelingen blijven dan ook altijd problematisch. ULS schatters zijn weliswaar iets robuuster als de assumptie van normaliteit geschonden wordt, dit neemt echter niet weg dat eerste en tweede moment afdoende moeten zijn. De theoretische verdeling van de toetsingsgrootheden (of passingsmaten) gfi en agfi is echter niet bekend, waardoor (in tegenstelling tot bij chi-kwadraat-toetsing) het niet goed mogelijk is (extremen daargelaten) verschillende modellen op grond van deze maten te vergelijken.

[p. 221]

De conclusies

Goed, men kan bezwaar maken bij een aantal stappen in de procedure, maar zijn de conclusies aannemelijk gezien de gevonden resultaten? De tabel in de bijlage bevat in totaal 1081 correlatiecoëfficiënten. Van deze coëfficiënten betreffen 46 de correlatie tussen 3 verschillende operationalisaties van eenzelfde variabele uit het Guilford-model. Deze correlaties zouden hoger moeten zijn dan de correlaties tussen operationalisaties van variabelen die volgens het Guilford-model verschillend zijn; het zijn immers een soort van parallelle toetsen van dezelfde variabele. Dit is echter niet het geval. De tabel bevat 22 inter-variabelencorrelaties die hoger zijn dan de intra-variabelencorrelaties bij de corresponderende vaardigheden.

Het meest opvallende aan de tabel is echter dat de verzameling variabelen in twee onderling niet gecorreleerde clusters kan worden verdeeld. Bij ruim 500 leerlingen per toets zijn correlaties groter dan .10 significant op het 5%-niveau. Er zijn 300 correlatiecoëfficiënten tussen de toetsen die de vaardigheden CMS, CMT, CMU, DMR, DMU, EMI, EMS, EMU en NMR operationaliseren. Slechts 10 van deze correlaties wijken niet significant van nul af. De overige zijn alle positief. Zo zijn er ook bij de correlaties tussen de variabelen MMI, MMS, MMT, MMU, NMT, NMS, en NMT slechts 14 (op de 189) die niet significant positief zijn. De resterende 546 correlatiecoëfficiënten betreffen correlaties tussen variabelen uit één van beide genoemde clusters met variabelen uit het andere cluster. Slechts 8 van deze correlaties zijn significant positief. De overigen wijken niet van nul af met uitzondering van 34 coëfficiënten die significant negatief zijn. Dit betekent dat twee clusters kunnen worden onderscheiden, waartussen geen onderlinge correlatie bestaat. Convergente produktie en geheugenvaardigheden behoren blijkbaar tot hetzelfde cluster van vaardigheden. Dit echter met uitzondering van convergente produktie van semantische relaties. Deze behoort tot het grotere cluster van cognitie, divergente produktie en evaluatie. Binnen ieder van beide clusters zijn groepen variabelen aan te wijzen die onderling weer significant hoger correleren dan andere groepen binnen datzelfde cluster. In de drie-bij-drie submatrix van de EMU- en EMS-toetsen bijvoorbeeld, zijn alle coëfficiënten groter dan .45, terwijl de hoogste coëfficiënt in de submatrix EMUxDMU .21 is. Men zou op basis van deze constateringen verwachten dat de data zouden kunnen worden verklaard door een hiërarchisch model met twee niet gecorreleerde hogere-orde-vaardigheden, waarbinnen een aantal primaire vaardigheden kunnen worden onderscheiden. Deze interpretatie is op zich theoretisch niet beter of slechter dan welke interpretatie dan ook. Het is wel verwonderlijk dat deze structuur door de auteur niet is opgemerkt.

Slotbeschouwing

De vijf modellen die Van den Bergh tegen elkaar afzet zijn, zoals hijzelf ook al zegt, in wezen niet zo verschillend. Ook anderen (Stemberg, 1980) hebben aangetoond dat verschillende van deze modellen elkaar niet uitsluiten. Stemberg (1985b) wees erop dat de modellen van dezelfde metatheoretische assumpties uitgaan en in feite ook mathematisch niet van elkaar verschillen. Van den Bergh's probleemstelling is daarom ook niet met de door hem gekozen methode op te lossen. In feite is ook van een model geen sprake. Het artikel geeft geen informatie over de gepostuleerde correlationele structuur van de verzameling latente vaardigheden. Over de gevonden correlaties tussen latente variabelen geeft het artikel alleen globale informatie. Daarom kan de conclusie dat de data redelijk door het model van Guilford worden verklaard niet op zijn waarde worden geschat. Het

[p. 222]

maakt bijvoorbeeld mathematisch geen verschil of men twee verschillende latente vaardigheden postuleert die onderling hoog gecorreleerd zijn, dan wel deze zelfde vaardigheden als één vaardigheid interpreteert. Ook met een betere dataset kan men van dergelijk correlationeel onderzoek geen belangrijke vooruitgang wat betreft inzicht in de bij taalvaardigheid betrokken variabelen meer verwachten. Gedurende driekwart eeuw hebben psychologen gepoogd om hun modellen tegen die van andere psychologen af te zetten en de superioriteit van hun eigen model met behulp van correlationeel onderzoek te bewijzen. Deze polemiek heeft een globaal inzicht opgeleverd in de aard en verscheidenheid van factoren die mogelijk ten grondslag liggen aan individuele verschillen in prestaties van proefpersonen bij de uitvoering van intellectuele taken. Meer dan een dergelijk globaal inzicht kan men ook niet verwachten van de concentratie op deze individuele verschillen. Thurstone (1947), hoewel zelf een adept van factorieel onderzoek, wees er al op, dat ‘Factoranalysis has its principal use at the borderline of science... Factor analysis is useful, especially in those domains where basic and fruitful concepts are essentially lacking and where crucial experiments have been difficult to conceive’ (p. 56). Voor een werkelijk inzicht in de vaardigheden die bij de uitvoering van taken een rol spelen, zal men de aandacht moeten verplaatsen naar de taken.

Bibliografie

Bergh, H., van den, Oude en Nieuwe Examens vergeleken: Instrumentconstructie. Interimrapport SVO: 4075. SCO, Amsterdam, 1987

Bergh, H., van den, Examens geëxamineerd (Academisch Proefschrift, Universiteit van Amsterdam, 1989). SVO, 's Gravenhage, 1988

Campbell, D.T. & D.W. Fiske, Convergent and discriminant validation by the multitrait-multimethod matrix. Psychological Bulletin, 56, 1959, 81-105

Carroll, J.B., Review of Guilford's ‘The Nature of Human Intelligence’. American Educational Research Journal, 5, 1968,249-256

Carroll, J.B., Stalking the wayward factors: Review of Guilford and Hoepfner's ‘The Analysis of Intelligence’. Contemporary Psychology, 17, 1972, 321-324

Cronbach, L.J., The two disciplines of scientific psychology, Review of Educational Research, 40, 1957, 627-645

Drum, P.A., R.C. Calfee & L.K. Cook, The effects of surface structure variables on performance in reading comprehension tests, Reading Research Quarterly, 16, 1980,486-513

Embretson, S.E., Construct validity: construct representation versus nomothetic span, Psychological Bulletin, 93, 1983, 179-197

Embretson, S.E., Multicomponent latent trait models for test design. In: S.E. Embretson (ed), Test Design: Development in Psychology and Psychometrics. Academic Press, Orlando, Florida, 1985a

Embretson, S.E., Studying intelligence with test theory models. In D.K. Detterman (ed), Current Topics in Human Intelligence. Volume 1: Research Methodology. Ablex, Norwood, NJ, 1985b

Fischer, G., Linear logistic test model as an instrument in educational research, Acta Psychologica, 37, 1973, 359-374

Gordon, P.C. & D.E. Meyer, Hierarchical representation of spoken syllable order. In: A. Allport,

[p. 223]

D.G. McKay, W. Prinz, and E. Scheerer (eds), Language Perception and Production: Relationships between Listening, Speaking, Reading and Writing. Academic Press, London, 1987

Guilford, J.P., The Nature of Human Intelligence. McGraw-Hill, New York, 1967

Guilford, J.P. & R. Hoepfner, The Analysis of Intelligence. McGraw-Hill, New York, 1971

Guttman, L., Integration of test design and analysis. In: Proceedings of the 1969 Invitational

Conference on Testing Problems. Educational Testing Service, Princeton, NJ, 1970

Guttman, L., Measurement and structural Theory. Psychometrika, 36, 1971, 329-347

Hertzog, C.K., Applications of confirmatory factor analysis to the study of intelligence. In: D.K. Detterman (ed), Current Topics in Human Intelligence. (Vol. 1: Research Methodology. Ablex, Norwood, NJ, 1985

Hoeks, J., Vaardigheden in Begrijpend Lezen (Academisch Proefschrift). Universiteit van Amsterdam, Amsterdam, 1985

Horn, J.L., Review of J.P. Guilford's ‘The Nature of Human Intelligence’. Psychometrika, 35, 1970, 273-277

Horn, J.L. & J.R. Knapp, On the subjective character of the empirical base of Guilford's structure-of-intellect-model. Psychological Bulletin, 80, 1973, 33-43

Hunt, E., Varieties of Cognitive Power. In: L.B. Resnick (ed), The Nature of Intelligence. Erlbaum, Hillsdale, N.J., 1976

Hunt, E., Verbal ability. In: R.J. Sternberg (ed), Human Abilities: An Information-Processing Approach. Freeman, New York, 1985

Jannarone, R.J., Conjunctive item response theory kernels, Psychometrika, 51, 1986, 357-373

Jannarone, R.J., Locally dependent models for reflecting learning abilities. USCMI Report No. 87-67. University of South Carolina, College of Engineering, Columbia, SC, 1987

Jong, J.H.A.L. de, Defining tests for listening comprehension: a response to Dan Douglas's ‘Testing listening comprehension’. In: A. V aidman (ed.), Proceedings of the Symposium on the Evaluation of Foreign Language Proficiency. Indiana University, Bloomington, IN, 1987

Jöreskog, K.G., Statistical analysis of sets of congeneric tests. Psychometrika, 36, 1971,109-133

Keele, S.W., Sequencing and timing in skilled perception and action: an overview. In: A. Allport, D.G. McKay, W. Prinz, and E. Scheerer (eds.), Language Perception and Production: Relationships between Listening, Speaking, Reading and Writing. Academic Press, London, 1987

Lammers, D.H., Taalvaardigheid als complex begrip. Tijdschrift voor Taalbeheersing, 6, 1984, 101-117

Lord, F.M. & M.R. Novick, Statistical Theories of Mental Test Scores. With contributions by A. Birnbaum. Addison-Wesley, Reading, MA, 1968

Lumsden, J., Test theory. Annual Review of Psychology, 76, 1976, 251-280

McClelland, J.L., D.E. Rumelhart, & DPD Reserach Group, Parallel Distributed Processing: Explorations in the Microstructures of Cognition. Volume I, Foundations. MIT Press, Cambridge, MA, 1986

Meuffels, B., Studies over taalvaardigheid (Academisch Proefschrift). Universiteit van Amsterdam, Amsterdam, 1982

Pellegrino, J.W. & R. Glaser, Cognitive correlates and components in the analysis of individual differences, Intelligence, 3, 1979, 169-186

Peterson, S.E., P.T. Fox, M.I. Posner, M. Mintun & M.E. Raichle, Positron emission tomographic studies of the cortical anatomy of singleword processing. Nature, 331, 1988,585-589

[p. 224]

Posner, M.I., S.E. Petersen, P.T. Fox, & M.E. Raichle, Localization of cognitive operations in the human brain. Science, 240, 1988a, 1627-1631

Posner, M.I., J. Sandson, M. Dhawan, & G.L. Shulman, Is word recognition automatic? A cognitive-anatomical approach. ONR Technical Report 88-4. Office of Naval Research, Arlington, VA, 1988b

Rasch, G., Probabilistic Models for some Intelligence and Attainment Tests. Danmarks Paedagogiske Institut, Copenhagen, 1960

Rumelhart, D.E., J.L. McClelland & the PDP Research Group, Parallel Distributed Processing: Explorations in the Microstructures of Cognition. Volume II, Psychological and Biological Models. MIT Press, Cambridge, MA, 1986

Shepard, R.N., Mental rotations of three dimensional objects. Science, 171, 1971, 701-703

Spearritt, D., Relationship among the four communication skills during the primary school years. Unpublished ms. University of Sydney, 1979

Standards for Educational and Psychological Testing. American Psychological Association, Washington, DC, 1985

Stenner, A.J., M. Smith, III, & D.S. Burdick, Toward a theory of construct definition. Journal of Educational Measurement, 20, 1983, 305-316

Sternberg, R.J., Sketch of a componential subtheory of human intelligence. Behavioral and Brain Sciences, 3, 1980, 573-614

Sternberg, R.J., Componential analysis: a recipe. In: D.K. Detterman (ed.), Current Topics in Human Intelligence. (Vol. 1: Research Methodology). Ablex, Norwoord, NJ, 1985a

Sternberg, R.J., General intellectual ability. In: R.J. Sternberg (ed)., Human Abilities: An Information-Processing Approach. Freeman, New York, 1985b

Thurstone, L.L., Multiple Factor Analysis. University of Chicago Press, Chicago, 1947

Vijver, F.J.R., van de, Systemizing the item content in test design. In: R. Langeheine and J. Rost (eds.), Latent Trait and Latent Class Models. Plenum Press, New York, 1988