|
| |
| |
| |
Schrijven beschreven?
Psychometrie versus inhoudelijke analyse
A.J.M. van der Geest
N.a.v. K. de Glopper, Schrijven beschreven: inhoud, opbrengsten en achtergronden van het schrijfonderwijs in de eerste vier leerjaren van het voortgezet onderwijs, Dissertatie Universiteit van Amsterdam, (SVO Selecta reeks) ‘s-Gravenhage, 1989.
| |
1 Inleiding
Het schrijfonderwijs mag zich de laatste jaren over een toenemende mate van belangstelling van onderzoekers verheugen. In de maand januari van 1989 alleen al werden over dit onderwerp twee proefschriften verdedigd aan de Universiteit van Amsterdam (De Glopper en Geel). Deze beide proefschriften zijn in velerlei opzichten elkaars complement. Geel richt zich in zijn proefschrift op historische en theoretische uitgangspunten van de onderwijsmethodiek en -didaktiek en hoe die in onderwijsmethoden hun weerslag vinden in de praktijk. De Glopper richt zich via empirisch onderzoek op de vraag wat er in het onderwijs gebeurt en met welke tijdsinvestering en resultaat. Dit gebeurt niet door onderwijsobservatie, maar door middel van vragenlijsten aan leerkrachten (en leerlingen) en door schrijfproductbeoordelingen. Ik zal me in dit artikel bezig houden met het proefschrift van De Glopper. Dit werk wordt in zijn ondertitel uitstekend gekenschetst: er wordt gepoogd vast te stellen water in het VO in het onderwijs aan activiteiten plaats vindt en wat dit onderwijs in vier leerjaren voor vruchten afwerpt.
Alvorens tot een bespreking van het boek over te gaan wil ik eerst een paar kanttekeningen plaatsen die van belang zijn voor de inhoudelijke beoordeling van dit proefschrift.
Ten eerste maakt dit onderzoek deel uit van een groot internationaal onderzoek met een onderwijs-vergelijkende taakstelling, te weten de International Study of Written Composition van de International Association for the Evaluation of Educational Achievement (IEA). De vergelijkbaarheid stelt zijn eisen aan onderzoeksopzet en te gebruiken instrumenten.
Ten tweede gaat het hier om meerdere deels gescheiden onderzoekingen die met elkaar in verband gebracht worden. De gescheidenheid van de deelonderzoeken zal zeker wat ruis opleveren bij het onderzoeksdoel: de resultaten samen te vatten en in een gemeenschappelijk perspectief te zetten.
Laat ik beginnen het boek per hoofdstuk schetsmatig door te nemen en indien nodig van kanttekeningen te voorzien. Alvorens dit te doen eerst een korte aanduiding van de hoofdstukken. De eerste twee hoofdstukken zijn inleidend van aard: het derde behandelt het onderwijsaanbod op basis van enquêtes en een leerlingenonderzoek met behulp van een opstel; in het vierde hoofdstuk worden de schrijfprestaties van derde klassers in het V.O. gemeten. De bespreking van deze prestaties komt in het vijfde hoofdstuk aan de orde. Ook wordt daar een normeringsonderzoek qua opzet en uitkomsten besproken. In hoofdstuk 6 wordt aandacht besteed aan de samenhang tussen onderwijsprestaties, onderwijsaanbod en achtergrondvariabelen van de leerlingen.
| |
| |
| |
2 Bespreking per hoofdstuk
In het eerste hoofdstuk worden kort de achtergronden en het waarom van deze studie aangeduid.
In het tweede hoofdstuk ‘Schrijfvaardigheid: een begripsanalyse’ wordt het begrip schrijfvaardigheid kort van een aantal kanten belicht, soms worden zaken alleen maar even aangestipt. Gezien de eigenlijke aard van de vraagstelling van dit proefschrift is ook niet meer nodig dan dat de auteur stelt aan welke kant hij zich in allerlei wetenschappelijk kwesties - die allemaal op zich een of meerdere proefschriften waard zouden zijn - opstelt. Het gaat dan ook te ver om in het onderhavige geval van een ‘begripsanalyse’ te spreken. Het derde hoofdstuk houdt zich met een van de centrale problemen, te weten de inhoud en de aanpak van het schrijfonderwijs, bezig. Op twee manieren zijn voor het inzicht in deze twee aspecten gegevens verzameld: een enquête onder totaal duizend leraren Nederlands in het VO en een aantal uitgelokte brieven van leerlingen waarin ze aan een nieuwe leerling uiteenzetten hoe zich op hun school het best van schriftelijke taken te kwijten.
In het enquête-onderzoek wordt binnen het model van Van Gelder e.a. (1969) vooral aandacht besteed aan bepaalde aspecten van de onderwijsleersituatie en de evaluatie van schrijfgedrag dan wel -prestatie. Deze keuze lijkt mij zeer goed te rechtvaardigen: het eerste aspect is een grotendeels onontgonnen gebied (maar zie o.a. Kroon, 1985) en de evaluatie speciaal bij het schrijven blijkt telkens weer een heikele aangelegenheid (zie o.a. Meuffels, 1989). Verschillende doelstellingen van leerkrachten blijken niet direct tot een verschillende aanpak te leiden, tenminste voor zover het de abstractere doelstellingen betreft. Volgens de auteur is dit mogelijk wel het geval bij de meer concrete doelstellingen. Hij ziet hieromtrent van onderzoek af aangezien zulke concrete doelstellingen uit de beschrijving van de leerstof, de echte onderwijspraktijk, af te leiden zouden zijn. We komen hier terecht in het schimmige gebied van gedragsintenties tegenover feitelijk vertoond gedrag (Kroon, 1985; Van der Geest, 1978, 1985). M.i. maakt de auteur er zich hier te gemakkelijk van af door een ‘=’-teken tussen intentie en gedrag te plaatsen. In feite gaat het hier namelijk om drie verschillende zaken: concrete doelstellingen, geïntendeerd gedrag en geobserveerd gedrag, waarbij de leerstof zowel iets met het eerste als met het tweede aspect uit de genoemde trits te maken heeft.
Wat de bevraging van de leerkrachten betreft, die heeft betrekking op de hele spreiding van VO-scholen (LTS t/m VWO) maar beperkt zich daarbinnen tot leerkrachten uit de eerste vier leerjaren. Om verantwoord generaliserende uitspraken te kunnen doen heeft De Glopper de schooltypen tot drie (LBO, MAVO, HAVO/VWO) en de leerjaren tot twee (klas 1/2 en 3/4) groepen gereduceerd. Uit gedeeltelijk gerepliceerd onderzoek nu kan afgeleid worden dat de representativiteit goed genoemd mag worden. De resultaten hebben betrekking op bestede tijd, de soorten schrijfopdrachten, oefening van deelvaardigheid (denken, formuleren en coderen) en tenslotte evaluatie (beoordeling en aard van commentaar). Opvallend is dat in de eerste leerjaren de schooltypen niet zo van elkaar verschillen. De verschillen ontstaan vooral in de leerjaren drie en vier.
De schrijfadviezen van leerlingen (overigens alleen van leerlingen uit de derde klas) zijn zoals gemeld gehaald uit een aan hen gegeven schrijfopdracht (3.4). Dit deel van het onderzoek heb ik als hoogst origineel en productief ervaren. Naast dat deze pennevruchten iets zouden kunnen zeggen over de door hen afgelegde en geïnternaliseerde weg, lijkt het me duidelijk dat de uitkomsten ook en vooral iets zeggen over hoe zij het onderwijs van de leerkrachten - alsmede hun evaluaties - ervaren en verwerkt hebben. Het zou als | |
| |
zodanig ook als selectiecriterium voor die onderwijsaspecten beschouwd kunnen worden, waar leerlingen in die leeftijd gevoelig voor zijn: Zij melden mogelijk wat door hen als relevant wordt ervaren.
Bovendien, zoals ook De Glopper stelt, kan de schrijfopdracht ook als schrijfprestatie onderzocht worden. M.a.w. in hoeverre is een leerling in staat zich aan een schrijfadvies dat hijzelf formuleert te houden. Ook dat kan iets toevoegen aan de vraagstelling ‘wat moet wanneer geoefend dan wel aangeboden worden’. Jammer dat dit deelonderzoek niet is uitgevoerd dan wel gerapporteerd. Toegegeven, het boek staat al vol met onderzoeksresultaten maar het lijkt me toch een gemiste kans dat de leerlingenadviezen enerzijds niet afgezet zijn tegen de gegevens uit de vragenlijsten van die docenten waarop de individuele leerlingadviezen betrekking hadden en anderzijds tegen de schrijfprestaties van de leerling m.b.t. de door hem zelf als belangrijk aangedragen aspecten (je mot veral persies spelen). Deze zaken lijken me inhoudelijk o.a. van belang omdat ze bijdragen aan de waardebepaling van deze leerlingadviezen m.b.t. het onderzoek naar de inhoud van het schrijfonderwijs, de hoofdvraag van hoofdstuk 3. Ook geven deze zaken inzicht in de verwerking van het schrijfonderwijs door 15-jarigen en de impact die deze verwerking heeft op de schrijfprestaties.
Als de uitslag van het leerlingenadvies-onderzoek iets zegt over de onderwijspraktijk dan lijkt me dit onderwijs nog wel voor verbetering vatbaar. De adviezen zijn namelijk niet op het schrijfproces maar op het schrijfproduct gericht. Je opstel als resultaat moet goed zijn. Ze zeggen nauwelijks iets over hoe je iets moet aanpakken, hoe ze iets voor elkaar moeten zien te krijgen (plm. 6%). Verreweg de meeste adviezen hebben betrekking op taalconventies (27%) en vormgevingsaspecten (plm. de helft).
In hoofdstuk 4 worden de schrijfprestaties van de leerlingen onder de loep genomen. Ook hier beperkt het onderzoek zich tot de derde klassen van LBO en VWO. Acht verschillende opdrachten (vijf brieven en drie opstellen) waarbij qua doel, publiek, cognitieve taak en tekstsoort naar een zekere spreiding gestreefd is. De producten worden op een aantal kenmerken beoordeeld, zoals inhoud, organisatie, stijl en interpunctie.
De schrijfopdrachten en beoordelingswijze dekken voorzover na te gaan de inhoud van het onderwijs en de buitenschoolse (leefwereld) ervaring en naschoolse noodzaak. Elke leerling maakt drie van de acht opdrachten. Van elke deelnemende klas zijn twaalf leerlingen (waarbinnen alle combinaties van opdrachten voorkwamen) beoordeeld. Elk product werd door drie beoordelaars bekeken. De globale oordelen werden op vijfpuntsschalen met behulp van ankeropstellen gegeven. Het gaat hier om zulke zaken als de beoordeling van de organisatie van het product. Voor de vaststelling van andere aspecten werd er geteld (bijv. spelfouten, tekstlengte, maar ook (sic) het aantal inhoudelijke elementen). Er wordt vervolgens uitgebreid en zeer zorgvuldig ingegaan op allerlei methodologische kwesties zoals de betrouwbaarheid van de beoordeling, beoordelaars-model en de toetsing daarvan (passing, parameterschatting) en tenslotte de betekenis van de totaaloordelen in termen van proporties verklaarde variantie van de afzonderlijke en gegroepeerde oordelen. Op de vraag ‘waarom zoveel en zoveel verschillende opdrachten qua tekstgenre’ wordt niet ingegaan. Met name dit laatste is toch bijzonder interessant, bijvoorbeeld wanneer de auteur er kan vaststellen dat er al dan niet een (positieve) beduidende correlatie bestaat tussen tijdsbesteding in het onderwijs per tekstsoort en de kwaliteit van het product. Of gaat de auteur er slechts van uit dat partiële begaafdheid t.a.v. de diverse schrijfopdrachten zou kunnen bestaan en als storend buitengesloten dient te worden?
| |
| |
Tekstlengte blijkt in zes van de acht opdrachten een belangrijke bijdrage voor het totaaloordeel te leveren (proporties verklaarde variantie tussen .11 en .28). De Glopper vermoedt dat onder tekstlengte nog relevante inhoud schuil gaat die door een nogal primitieve operationalisatie van de inhoud (te weten telling van inhoudselementen) niet aan de oppervlakte zou zijn gekomen. Met andere woorden ook hier weer een correlatie tussen lengte en inhoud zoals eigenlijk ook zijn telling van inhoudselementen een dergelijke correlatie in zich bergt. De Gloppers interpretatie moet blijkbaar de gedachte voeden dat inhoud in het totaaloordeel een veel belangrijker bestanddeel is weg van de globale totaaloordelen van beoordelaars dan uit de droge cijfers blijkt.
Deze redenering zou je ook om kunnen draaien. Je kunt namelijk stellen dat inhoud tekstlengte vergt en dus dat meer inhoud meer lengte vergt; maar ook dat een langere tekst meer inhoud heeft. Dan zegt inhoud iets over tekstlengte en dan zal tekstlengte bepalender zijn voor beoordelaarsgedrag. Wat het feitelijke probleem hier is, is dat voor inhoud niet de hoeveelheid inhoud moet worden onderzocht maar de kwaliteit van de inhoud. Hoeveelheid inhoud is slechts lengte van een tekst. Voor een analyse van de inhoudelijke kwaliteit komt tellen niet in aanmerking. Daarvoor is een kwalitatieve analyse bijv. m.b.t. macrostructuur en proposities aan de orde. Misschien levert ook een inhoudelijke maar dan wel door instructie gestuurde beoordeling iets op. In een onderzoek van Lenferink en Scheeringa (1985) werd bijvoorbeeld vastgesteld dat het opstelcijfer alleen maar redelijk tot goed samenhang vertoonde met het aantal regels waaruit het opstel bestond en niet met cohesie, coherentie, macrostructuele kwaliteit, zinslengte, grammatica, spelling, inhoudsoordeel door didactiekstudenten na de stage en originaliteit. Opstelcijfer, gezien als een soort tekstbeoordeling blijkt ook hier op kwantiteit, op lengte, gebaseerd. Professionele beoordelaars hebben blijkbaar meer tekstwetenschappelijke vorming nodig om inhoud en organisatie daarvan op de juiste waarde te schatten.
Ook in 4.9, waar de samenhang tussen prestatiefactoren op de diverse schrijfopdrachten aan de orde is, blijken weer het aantal elementen m.b.t. de inhoud (lengte?) en tekstlengte (nu fluency genoemd) vooral met het algemene kwaliteitsoordeel te correleren (.89 en .80). Ik sta bij dit punt wat langer stil omdat inhoud en lengte in de hierboven genoemde zin, die toch zo'n hoge portie verklaarde variantie opleveren en zo'n hoge correlatie met de algemene kwaliteitsbeoordeling hebben, na dit overigens sterke en nauwgezette methodisch statistische hoofdstuk in de resultaatbesprekingen in hoofdstuk vijf en zes niet meer voorkomen. Mindere goden in termen van correlaties en/of theoretisch belang (interpunctie, spelling, handschrift) krijgen daarentegen wel ruimschoots de aandacht. Helaas moet onze conclusie in dezen zijn dat naast het niet goed gemeten aspect van de inhoudelijke rijkdom een oppervlakkig kenmerk als tekstlengte sterk medebepalend is voor het totaaloordeel. Het lijkt een detail maar wel een dat een niet al te fraai beeld schetst van de beoordeling van schrijfopdrachten (zie ook paragraaf 3).
In hoofdstuk vijf komen de onderzoeksresultaten per schooltype aan de orde. Eerst worden voor een aantal variabelen soms per opdracht, soms voor de opdrachten samengenomen, in percenten de prestaties gepresenteerd. Vervolgens worden de prestatieverschillen per schooltype besproken. Het lijkt hier dat de vastgestelde prestaties gelijke tred houden met het onderwijsniveau, waarbij het LTO en LHNO onder het gemiddelde presteren (vooral het LTO; jongens dus) de MAVO net boven het gemiddelde en vooral het VWO sterk boven het gemiddelde presteert. Op deze tendens bestaat een duidelijke uitzondering te weten het handschrift. Het LHNO (meisjes dus) scoren hier veruit het beste. Waarom deze oneigenlijke variabele eigenlijk opgenomen?
| |
| |
Vanaf paragraaf 5.5 wordt gepoogd tot een normering dan wel waardering van de geleverde prestaties over de hele groep en per schooltype te komen. Ook dit stuk onderzoek is methodisch fraai en zorgvuldig opgezet en uitgevoerd. Ook hier wordt voor de derde klassen van het VO gekozen. Je hoeft hier alleen maar aan de middenschooldiscussies, of - zoals hier expliciet gemeld - aan de politieke besluitvorming m.b.t. de basisvorming te denken, om de actualiteit van deze keuze te proeven. Het beoordelingsonderzoek is dan ook als een belangrijke bijdrage op te vatten aan de vaststelling van eindtermen voor deze basisvorming. Het normenpannel bestond uit onderwijsgevenden en niet-onderwijsgevende experts; een aardige afbeelding van de praktijk. Het pannel normeerde in twee condities: eenmaal zonder informatie over de voorgelegde opstellen in termen van het aantal percenten opstellen beter of slechter in de onderzochte data en eenmaal met deze informatie. Het blijkt dat deze informatie behoorlijk sturend is. Met informatie wordt een lager onderwijspeil aangegeven (op spelling na dat de tegengestelde kant op gaat) dan zonder informatie. De variantie in de beoordelingsnormen neemt daarentegen (en tegenovergesteld aan de verwachting) niet af. Vanwege het hierboven aangegeven maatschappelijk belang mag hier niet verzwegen worden dat een conclusie (zie p. 118) ronduit discutabel is. Het gaat hier over een conclusie die betrekking heeft op de leerlingengroep HAVO/VWO: ‘relatief het slechtst zijn de prestaties van de leerlingen uit het HAVO/VWO: 44% presteert onder de voor hen gestelde normen’. Met name deze uitspraak werd destijds in de pers met veel aplomb (bijv. in krantekoppen) gebracht. Wat is er aan de hand? De prestaties zijn voor HAVO en VWO apart gemeten. Daarbij blijkt dat de prestatieverschillen tussen HAVO en VWO bijzonder groot zijn; en wel bedraagt de gemiddelde (positieve) afwijking t.o.v. het steekproefgemiddelde bij VWO factor 2 die van de HAVO (p. 101). In dit licht bezien moet de onderzoeker zich afvragen of voor een vervolgonderzoek twee zo verschillende groepen wel bij elkaar genomen mogen worden. Wanneer zo'n hachelijke onderneming dan toch wordt uitgevoerd is het niet geheel ondenkbeeldig dat de vastgestelde normen niet realistisch zijn en eerder als een artefact van de onderzoeksmethodologie beschouwd dienen te worden. Nemen we gemakshalve aan dat de beoordelaars de zak/slaag norm ergens midden tussen de gemiddelde prestaties van HAVO en VWO leggen. Dit is nog tamelijk optimistisch aangezien voor de andere schooltypen telkens blijkt dat een behoorlijk deel geaccepteerd wordt als niet voldoend aan de norm. Het is dan heel gemakkelijk in te zien dat de HAVO-producten gemiddeld niet aan de normen voldoen. De vastgestelde 44% die uit de boot valt, valt dan eigenlijk nog mee. En nu maar hopen dat de beleidsmakers dit HAVO/VWO-gegeven niet te strict zullen gaan gebruiken.
Als geheel is het hoofdstuk zeker als geslaagd te beschouwen, zowel qua onderzoeksmethodologie als qua uitwerking en presentatie.
In hoofdstuk 6 worden de onderwijsprestaties afgezet tegen het schrijfonderwijs en de achtergrondvariabelen van de leerlingen. Deze informatie was beschikbaar via vragenlijsten. Ook hier worden weer allerlei vooranalyses uitgevoerd om goed zicht te krijgen op de aard van de gegevens. Het blijkt dat er grote verschillen in prestaties per klas aan te wijzen vallen. Dit geldt natuurlijk vooral voor de gehele spreiding qua schooltypen, maar ook binnen een en het zelfde schooltype blijkt heel wat spreiding te bestaan. Hier moet blijkens de analyses vooral de set achtergrondvariabelen voor verantwoordelijk geacht worden en nauwelijks het onderwijsaanbod. Je moet je in dit verband echter wel afvragen of niet de onderwijspraktijk als een aparte verklarende categorie in het onderzoek | |
| |
meegenomen had moeten worden om zinvol over de hier geschetste problematiek te kunnen argumenteren. In het verleden is meer dan eens (Rosenthal & Jakobson, 1958; Brophy & Good, 1974; Van der Geest, 1978) vastgesteld dat een op zich identiek onderwijsaanbod in de vertaalslag naar de onderwijspraktijk zeer gedifferentieerd gestalte krijgt afhankelijk van de sociale achtergrond van individuele leerlingen en groepen leerlingen. Het is dan ook een zwakte in het onderzoeksdesign (geldt ook voor het PPON-onderzoek) dat men enquête-gegevens omtrent onderwijsaanbod zondermeer in verband wil brengen met onderwijsprestaties. Ook is causale attributie van aanbod en prestaties niet mogelijk omdat hier slechts een correlatief verband gevonden is. Interpretatie is pas mogelijk wanneer men over voor- en nameting t.a.v. het onderwijsaanbod beschikt. Het is bekend dat binnen een bepaald milieu en ondanks een identiek onderwijsaanbod een grote variatie aan prestaties kan ontstaan. Voor een groot gedeelte brengen leerlingen deze verschillen ook al van de basisschool mee naar het voortgezet onderwijs. Voor een ander gedeelte vraagt een bepaalde prestatie aan de voorkant om een bepaalde didactische aanpak (incl. aanbod). Het is de vraag of ze die krijgen, en als ze al een bijzondere aanpak krijgen of dit een voor hen geschikte aanpak is. Over differentiatie m.b.t. het schrijven is weinig bekend door middel van onderzoek en je mag dus aannemen in de didaktiek van alle dag ook niet. Nu weten we alleen maar dat onderwijsaanbod A bij sociale achtergrond B en C verschillend uitpakt en zelfs dat weten we niet zeker (zie hierboven, maar ook Van der Geest, 1989).
Samenvatting. De Glopper slaagt erin een schat aan gegevens systematisch, overzichtelijk en zorgvuldig bij elkaar te zetten. Deze gegevens -een peiling van het onderwijsaanbod en een meting van schrijfprestaties bij een maatschappelijk en politiek interessante groep leerlingen - zijn interessant vooral op het niveau van beleidsbeslissingen. Verder is het geheel helder en nauwkeurig geschreven, hetgeen het mij mogelijk maakte om een aantal kritische kanttekeningen te plaatsen en suggesties voor verder onderzoek te doen.
Het onderzoek is opgezet en uitgevoerd binnen de psychometrische traditie van het taalvaardigheidsonderzoek. Binnen dit kader zijn in de bespreking een aantal kritische opmerkingen gemaakt die inhoudelijk, interpretatief dan wel methodisch van aard waren. Dit heeft er onder andere toe geleid dat met name de conclusie t.a.v. de eindtermen basisvorming met voorbehoud bekeken dienen te worden. Er blijft echter nog voldoende verdienstelijks over.
In de volgende paragraaf ga ik op een aantal andere punten van kritiek (die deels al kort aangestipt zijn) nader in, maar dat dan wel in een ander kader.
| |
3 Het taalbeheersingsperspectief op taalvaardigheidsonderzoek
3.1 Inleiding
In de vorige paragraaf heb ik bewust geprobeerd mijn kanttekeningen te beperken tot die aspecten die binnen de traditie en het kader van De Gloppers onderzoek vallen, te weten het kader van het psychometrisch georiënteerde peilings- en prestatieonderzoek. De Glopper en ik kunnen het over de daar gerapporteerde aspecten met elkaar oneens zijn, maar dan wel binnen dat kader. De nadruk in dergelijk psychometrisch onderzoek ligt heel sterk op statistische en statistisch methodische aspecten zoals betrouwbaarheid en validiteit; dergelijk onderzoek beoogt niet zozeer theoretische verdieping en vernieuwing m.b.t. het te meten object, in dit geval de schriftelijke taalvaardigheid, maar maakt gebruik van voorhanden zijnde theoretische noties en wel voorzover ze gemakkelijk, eenduidig | |
| |
kwantificeerbaar en betrouwbaar meetbaar gemaakt kunnen worden. In deze keuze ligt de kracht van dergelijk onderzoek maar tegelijkertijd ook haar zwakte. Wanneer ik hier op deze plaats op deze kwestie dan ook nader inga, dient men wel te beseffen, dat het hier externe kritiek betreft, die niet op het onderhavige proefschrift als zodanig teruggevoerd mag worden, maar die het hele onderzoeksterrein in de zin van ‘onderzoekstraditie’ die het vertegenwoordigt aangaat.
Taalvaardigheidstheorie en onderzoek nu is o.a. geïnteresseerd in de verklaring hoe ‘goede’ teksten tot stand komen, hoe ‘goede’ teksten er uitzien, welke vaardigheden (en/ of deelvaardigheden) nodig zijn om dergelijke teksten te produceren en hoe de ontwikkelingsprocessen verlopen die - al dan niet onder invloed van het onderwijs - tot ‘goede’ taalvaardigheid in dezen leiden. In de vorige zin heb ik telkens ‘goede’ tussen aanhalingstekens gezet en wel omdat voorshands niet duidelijk is wanneer een tekst goed is. Daarvoor zijn normen nodig. Nu speelt normering ook een belangrijke rol in de psychometrie en dus ook in het proefschrift van De Glopper. Het is dan ook interessant om bij wijze van insteek het probleem van de normering wat nader uit te werken.
| |
3.2 Normering
Bij de psychometrie en dus ook bij De Glopper worden normen verkregen door middel van oordeelsuitspraken van beoordelaars. Voor dergelijke oordelen kan men eisen opstellen waaraan deze dienen te voldoen. Naast de eis van objectiviteit en van betrouwbaarheid speelt die van validiteit daarbij een speciale rol. De Glopper probeert aan deze eis te voldoen door te letten op de correlaties met eenduidig vaststelbare en telbare aspecten van een tekst en de verklaarde porties variantie in de oordelen om vervolgens vast te stellen of correlaties en variantie wel hoog genoeg zijn. De kwaliteit van de tekstuele aspecten nu zijn van cruciaal belang voor de gevraagde inhoudelijke kwaliteit. En daar begint nu juist de teleurstelling van de meer inhoudelijk geïnteresseerde taalbeheersingsonderzoeker. Zoals hiervoor al gesteld, zijn deze makkelijk meetbare aspecten van nogal oppervlakkige signatuur. Dit geldt niet alleen voor De Gloppers studie maar eigenlijk voor elk psychometrisch onderzoek. Vaak vind je als verklaring (of excuus) voor die inhoudelijke zwakte de opmerking dat er geen eenduidige goed uitgewerkte taalvaardigheidstheorie voorhanden is. Neemt men echter een dergelijk excuus serieus dan valt dringend te overwegen om van een dergelijk psychometrisch onderzoek met zoveel wetenschappelijke maar vooral maatschappelijke pretenties voorlopig maar af te zien. In het geval van de voorliggende studie stellen we o.a. vast dat de oordeelsuitspraken correleren met en/of verklaard worden door zaken als interpunctie (de Beatrijs is een slechte tekst?), spelling (correctoren zijn betere schrijvers dan de toeleverende auteurs?), tekstlengte en aantal inhoudelijke elementen (een gedicht is mogelijk een slechtere tekst dan zijn vele pagina's tellende analyse?) en handschrift (De Balzac was het tegenovergestelde van een kalligraaf). Ik geef toe dat ik met de voorbeelden de zaak lichtelijk in het absurde trek, maar toch, dergelijke aspecten staan in geen enkele taalvaardigheidstheorie voor schrijfvaardigheid hoog op de ranglijst. En dat betekent dat inhoudelijke validiteit in de psychometrie op een laag pitje staat (Van der Geest, 1988). (Onder inhoudelijke validiteit wordt hier verstaan het hele complex van inhouds-criterium- en constructievaliditeit). Nu zijn er twee mogelijkheden. Of de inhoudelijke validiteit is er wel en wel tot op een bepaalde hoogte, maar is alleen nog niet vastgesteld of moeilijk vaststelbaar, óf we hebben te maken met een betrouwbare beoordelingsnorm (zie ook Meuffels, 1988), maar die norm zegt ons niets over de eigenlijke schrijfvaardigheid. In het laatste geval moet men de huidige psychometrische | |
| |
praktijk van het taalvaardigheidsonderzoek verwerpen; in het eerste geval zal dergelijk onderzoek met de nodige voorzichtigheid genoten dienen te worden en moet binnen de praktijk een heroriëntatie plaatsvinden in die zin dat naar die meetbaarheden gezocht gaat worden die wel op inhoudelijk niveau de schriftelijke taalvaardigheid meebepalen. De route via het taalbeheersingsonderzoek in de eigenlijke zin lijkt hier de geeigende weg. In dergelijk onderzoek wordt met name geprobeerd op een meer inhoudelijke manier met het probleem van de normering om te gaan. Het schrijven wordt daarbij opgevat als een specifieke vorm van strategisch handelen in Weberiaanse zin. De centrale vraag wordt dan ook in welke mate het doel bereikt wordt. Dit doel kan zijn dat de lezer de informatie goed kan verwerken, onthouden en reproduceren, of dat de lezer geneigd is het verkondigde standpunt te beamen, etc. Het centrale criterium bij dergelijk onderzoek is dan welke teksthulpmiddelen het meest bijdragen tot het nagestreefde doel. Er dienen zich daarbij afhankelijk van het doel verschillende onderzoeksperspectieven aan. Een daarvan is de cognitief-psychologisch geörienteerde tekstwetenschap. Kern in een dergelijke vraagstelling wordt dan bijv. welke versie van een tekst het best en gemakkelijkst verwerkt, onthouden dan wel gereproduceerd kan worden (waarbij uiteraard ook de lezersgroep gevarieerd kan worden). In een recent onderzoek bijv. werd in een artikel de plaats van de kernzin gevarieerd. Eenmaal werd deze zin op een functionele plaats in de inleiding en eenmaal in de conclusie gezet. In de eerste versie nam deze kernzin veel leestijd in beslag, de daarop volgende zinnen daarentegen namen maar relatief weinig leestijd in beslag. In de andere versie nam de kernzin relatief weinig, de andere zinnen daarentegen relatief veel leestijd in beslag (alhoewel dit verschil naar het einde afliep). De eerste versie is blijkbaar duidelijk makkelijker. Ook qua tekstbegrip bleek de eerste versie het beter te doen. Tenslotte bleek in de reproductieopdracht dat zij die de eerste versie gelezen hadden meer inhoudelijke elementen en meer structuurbehoudend reproduceerden. Deze uitkomsten golden vooral voor HAVO-opgeleiden en hoger (Veltman, 1988). Ook allerlei tekstwetenschappelijke analyses leveren inzicht op in de kwaliteit van een tekst. Zulke analyses kunnen licht werpen op de transparantheid van een tekst en zijn tekstuele en inhoudelijke organisatie. Argumentatieve analyses stellen ons in staat de mate van inhoudelijke geldigheid dan wel juistheid van redeneringen en betoogtrant in beschouwende, betogende en persuasieve teksten vast te stellen. Instrumentele tekstanalyse levert onder gebruikmaking van de schematheorie (Schank & Abelson, 1977) en de doelboomtheorie tekstmodellen op die zowel voor inhoudelijke als tekstuele organisatie een basis voor normering bieden. Een verbetering hierop maakt gebruik van de MOP/TOP-theorie (Schank, 1982) en Newells problem solving design (Newell, 1977), waardoor de instrumentele analyse in een meer dynamisch strategisch kader te plaatsen valt. Een dergelijk kader hebben we nodig voor het invloedrijke schrijfanalytisch en -didaktische werk van Hayes en Flower, waarover ik nog te spreken kom.
Het is niet mijn bedoeling om ook maar enige vorm van compleetheid na te streven. Waar het om gaat is het probleem van de normering en de wereld van verschil die ligt tussen psychometrische en taalbeheersingsaanpak in dezen. Ik zou ten aanzien daarvan willen stellen dat de eerste zeer nauwkeurig maar oppervlakkig en inhoudelijk mogelijk niet valide normeert (met alle mogelijke maatschappelijke gevolgen van dien); de andere inhoudelijk meer valide benadering is echter in grootschalig onderzoek niet gemakkelijk hanteerbaar te maken. Een dergelijke scheiding van werelden heeft echter wel twee consequenties waarmee ik hier graag wil afsluiten. De eerste is dat psychometrisch onderzoek nauwelijks bevruchtend kan werken op het inhoudelijk georiënteerde taalbeheersingsonderzoek. Ten tweede moet, blijkens het voorafgaande, het grootschalige | |
| |
taalvaardigheidsonderzoek zich veel bescheidener in zijn maatschappelijk adviserende taak opstellen, aangezien (groepen) personen van dergelijke adviezen meteen sociale consequenties ondervinden. De psychometrie komt voor zijn maatschappelijke functie nog te veel wetenschappelijk inhoudelijks te kort.
| |
3.3 Schrijftaak en schrijfprocessen
In de vorige paragraaf kwam terloops het werk van Flower & Hayes (F&H) aan de orde. In deze benadering wordt de nadruk gelegd op de processen die tot een schrijfproduct leiden. Schrijven wordt hierbij als een zeer complexe taak opgevat, waarbij het strategisch omgaan met (aspecten van) die taak tot betere schrijfresultaten leidt. M.a.w. in het schrijfproduct zullen sporen aanwezig zijn van hoe men met de schrijftaak is omgesprongen. De categorisering van de taak en de te hanteren strategieën zou een prachtig didactisch instrumentarium voor het schrijfonderwijs op kunnen leveren. De conjunctief is hier terecht gebruikt omdat we in deze paragraaf zullen zien dat het onderwijs zich op andere veel minder wezenlijke aspecten van het schrijven richt. Het verband tussen schrijfprocessen en schrijfproduct levert in principe ook een goede mogelijkheid om tot een goede diagnostiek te komen van het schrijven van leerlingen. We zullen nagaan in hoeverre een dergelijk uitgangspunt zijn vertaling vindt in schrijfprestatiebeoordeling, zowel in de onderwijspraktijk als in het psychometrisch onderzoek. Het eerste punt is daarbij ook van indirect belang voor het psychometrisch onderzoek, omdat de Nederlandse leerkrachten de vijver uitmaken waaruit de beoordelaars en de normeerders in dergelijk onderzoek gerecruteerd worden.
De volgende vragen zal ik aan de hand van de gegevens die De Glopper ons aanreikt proberen te beantwoorden:
| a | Wat vindt men t.a.v. de ontleding van de schrijftaak en het aanleren van strategieën terug in het Nederlands onderwijs? |
| b | Welke diagnostiek hanteren leerkrachten in het licht van het voorafgaande? |
| c | Sluit het psychometrisch instrumentarium aan bij de via F&H gewonnen inzichten? |
a Het onderwijsaanbod.
In het aanbodonderzoek vraagt De Glopper naar de hoeveelheid bestede tijd aan het schrijven, welke genres geoefend worden en welke deelvaardigheden. Wat het oefenen van de deelvaardigheden betreft heeft De Glopper een elftal categorieën waaruit de leerkrachten kunnen kiezen in de aanbieding, te weten 1): vijf oppervlakkige deelvaardigheden zoals spelling, gebruik van voegwoorden e.d. die nogal ver van het echte schrijven afstaan en/of op formulering en eindredactie betrekking hebben; 2) drie categorieën die op structuren betrekking hebben; 3) drie vanuit F&H wezenlijke categorieën, zoals planning van het schrijven vooraf. Het blijkt nu dat de onderwijsinspanning hoofdzakelijk tot bijna uitsluitend bij de eerstgenoemde vijf categorieën ligt. De tweede groep krijgt volgens zeggen ook nog wat aandacht. De derde groep is echter verwaarloosbaar. Dit houdt in dat er geen leerlijn aan te wijzen valt voor het schrijven, dat er geen vertaalslag wordt gemaakt van deelvaardigheid naar ‘echte’ vaardigheid van het schrijven (V.d. Geest 1988; Anceaux, 1990). M.a.w. met het schrijfonderwijs is het nog steeds treurig gesteld (Geel, 1989).
b Beoordeling en diagnostiek in het onderwijs.
Verder is het van belang in het licht van de schoolpraktijk, maar vooral van de beoorde- | |
| |
lingspraktijk terzake van de diagnostiek aldaar, om na te gaan in hoeverre leerkrachten overeenkomen met dan wel verschillen van de inzichten die ons door F&H worden aangereikt. Leerkrachten blijken zich nu vooral op de productiekant van het schrijven en de oppervlakkige deelvaardigheidsaspecten te richten (De Glopper, p. 38 e.v.). Bovendien doen ze dit globaal. Ze analyseren niet wat de oorzaak van de tekortkomingen is en geven dan ook geen schrijfadviezen of herschrijfopdrachten. Ook hier geldt weer dat er geen leerlijn valt vast te stellen, ook niet waar het specifieke per leerling te differentiëren hulp betreft. Men krijgt t.o.v. zowel a) als b) de indruk dat onderwijs vooral steeds meer van hetzelfde is en dat dan geconcentreerd op de productzijde en met gemakkelijk vast te stellen oppervlakkige deelvaardigheden. Ten aanzien van a) en b) kunnen we vaststellen dat de Nederlandse leerkrachten in het VO gezien uit het perspectief van F&H nog ver verwijderd zijn van goed en adequaat onderwijsaanbod en dat hun beoordelingstaak parallel loopt aan hun onderwijsopvattingen. Dit houdt in dat ze nauwelijks zijn in te zetten voor schrijfprestatiebeoordeling en normeringsonderzoek met betrekking tot schrijfprestaties. Tenzij men schrijfprestatie definieert in termen van op school afgelegde weg. Op deze problematiek komen we aanstonds terug.
c Het psychometrische instrumentarium.
In de bespreking van De Gloppers proefschrift (paragraaf 1) en de discussie over normering (paragraaf 3.2) is reeds als indruk naar voren gekomen dat er met het instrumentarium van het psychometrische onderzoek op het inhoudelijke vlak iets mis is. Ik heb mij daar zeer nadrukkelijk gericht op de prestatiematen. Het blijkt nu dat de maten voor een groot deel de onderwijspraktijk reflecteren. De echte meetbaarheden zijn die zaken die ook in het onderwijs aan bod komen. Het feit dat lengte van de tekst tot twee maal toe en op verschillende wijze zeer sterk het oordeel over de schrijfprestatie bepaalt, versterkt de indruk dat schrijfonderwijs, schrijfbeoordeling in de onderwijspraktijk en het meten van onderwijspeil door dezelfde oppervlakkigheid gekenmerkt is: (p. 57) zes van de acht aspecten die gemeten worden zijn deelvaardigheden van het oppervlakkige soort die ook in het aanbodonderzoek het zo goed doen. De andere twee, inhoud (maar zeer oppervlakkig gemeten en in feite verkapt staand voor tekstlengte) en organisatie (ook op de oppervlakte georiënteerd via de alinea-indeling) voegen zoals ze geoperationaliseerd zijn niets toe in termen van F&H's opvattingen. Wel kunnen we t.a.v. het aanbodsonderzoek sporen van het F&H-perspectief vinden. Met name de drie structureringsaspecten en vooral de drie op de voorbereiding betrekking hebbende aspecten ademen de geest van schrijftaakanalyse en schrijfstrategieën. Het lijkt er bij De Glopper dan ook op dat hij (als eerste?) serieus gepoogd heeft de recentere inzichten naar het onderzoek te vertalen en dat dat qua operationalisatie naar prestatiematen (voorlopig?) nog niet gelukt is. Het aanbods- onderzoek zoals dat nu is uitgevoerd levert dan ook een aantal mogelijkheden op om nog iets t.a.v. de validiteit van het normerings- en oordeelselement van de prestatiemetingen te stellen. In 3.2. bleven we steken bij de vraag of de oordelen van leerkrachten/beoor- delaars wel valide waren. Op grond van de correlaties en verklaarde variantie leek dit niet zo het geval te zijn. Beter gezegd: we weten het niet, aangezien de prestatiematen niet genoeg op deze vraag inspeelden. Het zou dus kunnen zijn dat de leerkrachtoordelen een goede samenhang vertonen met niet gehanteerde inhoudelijke valide prestatiematen. Wanneer we nu naar het onderwijsaanbod en de leerkrachtevaluatie in de klas kijken, dan zien we dat die vragen van De Glopper die vooral aansluiten bij F&H, als antwoord opleveren dat we daar met nog braak liggend terrein te maken hebben. Dit leidt bijna onvermijdelijk tot de conclusie dat leerkrachten niet in staat zijn op een adequate wijze | |
| |
schrijfproducten van kinderen te beoordelen, maar dat zij beoordelen wat ze zelf in het onderwijs gestopt hebben en ten onrechte beschouwen als dé schrijfvaardigheid.
| |
4 Conclusie
We vinden een grote mate van overeenkomst tussen onderwijsaanbod, onderwijsevaluatie in de klas, prestatiematen in psychometrisch onderzoek en tenslotte de beoordelingen en normeringen van ervaren leerkrachten en onderwijsspecialisten. Een dergelijke constatering zou tot grote tevredenheid kunnen stemmen, ware het niet dat men op meerdere punten grote kritiek op de onderwijs- en onderzoekspraktijk zou kunnen uitoefenen. We komen daarmee te spreken over een tweetal vicieuze cirkels die telkens in onderwijsdiscussies opduiken. De eerste cirkel is dat onderwijsaanbod afgestemd wordt op wat te meten en te evalueren valt. Is grammatica, spelling, netjes schrijven gemakkelijk vast te stellen dan zullen die aspecten ook een wezenlijk bestanddeel van het onderwijsaanbod uitmaken en de leerlingen zullen zich op die aspecten gaan fixeren. Dit laatste blijkt met name duidelijk het geval in het proefschrift van De Glopper: leerlingen geven conform het aanbod adviezen aan nieuwe leerlingen van hun school. Op grond van de evaluaties door de leerkrachten in de praktijk zal de leerkracht stof herhalen of verder gaan, maar niet zijn aanbod bijstellen. Een tweede vicieuze cirkel betreft de praktijk van het schoolprestatieonderzoek. Ook dit onderzoek concentreert zich op meetbaarheden (en dus indirect of direct ook op onderwijsaanbod). Deze meetbaarheden hebben als consequentie dat de school zijn aanbod aanpast aan datgene wat straks van buiten (en/of hogerhand) als te meten wordt opgelegd. De beide vicieuze cirkels versterken elkaar dan ook aanzienlijk in de praktijk. Noodzakelijke onderwijsvernieuwing en -verbetering wordt door het meewerken aan deze beide cirkels krachtig tegengewerkt zo niet onmogelijk gemaakt. Men kan in dezen niet volstaan met het adagium ‘wij meten wat in de praktijk onder schrijfvaardigheid wordt verstaan’.
| |
Bibliografie
| Anceaux, H., Luisteren en lezen, een onderzoek naar de receptieve vaardigheden in het aanvangsonderwijs Frans, Spruyt, Leiden, 1990 (Proefschrift Groningen) |
| Brophy, J.E. & T.L. Good, Teacher-student relationships: causes and consequences, New York, 1974 |
| Geel, R., Niemand is meester geboren, Coutinho, Muiderberg, 1989 (Proefschrift Amsterdam) |
| Geest, T. van der, Entwicklung der Kommunication, Kamp-Verlag, Bochum, 1978 |
| Geest, T. van der, Interactie, onderwijsorganisatie en taalvaardigheid, SLO, Enschede/Groningen, 1985 |
| Geest, T. van der, Taalvaardigheid: meten vs. observatie en analyse, In: Toegepaste Taalwetenschap in Artikelen. 2, nr. 31, 1988, p. 25-34 |
| Geest, T. van der, Functionele taalvaardigheid: lezen en schrijven, Eindverslag SVO, Groningen, 1989 |
| Gelder, L. van, e.a., Didactische analyse, Wolters-Noordhoff, Groningen, 1969 |
| Glopper, K. de, Schrijven beschreven, Inhoud, opbrengsten en achtergronden van het schrijfonderwijs, SVO, Selecta reeks, 's-Gravenhage, 1989 (Proefschrift Amsterdam) |
| Hayes, J.R. & L.S. Flower, Identifying the organization of writing processes, in: L.W. Gregg & E.R. Steinberg (eds.) Cognitive processes in writing, Lawrence Erlbaum, Hillsdale, N.J. 1980, p. 3-30 |
| |
| |
| Kroon, J., Grammatica en communicatie in het onderwijs Nederlands, Nijmegen, 1985 (Proefschrift Nijmegen) |
| Lenferink, H. & I. Scheeringa, Het verhalend opstel, een analyse in relatie met sexe, leerjaar en beoordeling. Vakgroep Taalbeheersing, Groningen, 1985 |
| Meuffels, B., De persoonlijke vergelijking en de normale verdeler, In: Tijdschrift voor Taalbeheersing, 11, 1989, p. 23-37 |
| Newell, A., On the analysis of human problem solving, In: P.N. Johnson-Laird & P.C. Wason (eds.). Thinking, readings in cognitive science, Cambridge, 1977, p. 46-61 |
| Rosenthal, R. & L. Jakobson, Pygmalion in the classroom, teacher expectations and pupils’ intellectual development, Holt, Rinehart, Winston, New York, 1968 |
| Schank, R., Reminding and memory organization. In: Lehnert, W. & M. Ringle (eds.), Strategies for natural language processing, Erlbaum, Hillsdale, N.J. 1982, p. 255-294 |
| Schank, R. & R. Abelson, Scripts, plans, goals and understanding, Hillsdale, N.J., New York, 1977 |
| Veltman, N., Tekstbegrip en tekstorganisatie, (doctoraalscriptie) Vakgroep Taalbeheersing, Groningen, 1988 |
|
|
Auteursrechtelijk beschermd