Tijdschrift voor Taalbeheersing. Jaargang 9

[p. 151]

De beoordeling van de samenvatting Nederlands vwo: de analytische beoordelingsprocedure in de examenpraktijk
A.C. Hendrix en P.F. Sanders

Samenvatting

In dit artikel wordt verslag gedaan van een onderzoek naar het functioneren van een analytische beoordelingsprocedure voor de beoordeling van de samenvattingsopdracht in het C.S.E. Nederlands van het vwo. De reeds in experimenteel onderzoek opgedane bevinding dat een analytische beoordeling leidt tot een voor dit onderdeel acceptabele overeenstemming (Sanders e.a., 1984), blijkt bevestigd te worden door de uitkomsten van dit onderzoek, waarvan de gegevens aan de examenpraktijk ontleend zijn.

1 Inleiding

Reeds enige tijd wordt op het Cito gewerkt aan de constructie van een beoordelingsprocedure voor de samenvatting op het VWO-eindexamen. In het najaar van 1984 werd in dit tijdschrift verslag gedaan van een onderzoek naar de bruikbaarheid van een tekstafhankelijk, analytisch beoordelingsschema (Sanders e.a., 1984). In dat onderzoek werd nagegaan of beoordeling met een analytisch beoordelingsschema tot hogere overeenstemming tussen beoordelaars leidde dan de (tot op heden) gebruikelijke, globale beoordeling. In een experimenteel onderzoek werden door 18 ervaren VWO-docenten 30 samenvattingen van examenkandidaten onafhankelijk van elkaar beoordeeld. Deze samenvattingen werden door 8 docenten Nederlands allereerst globaal beoordeeld en een half jaar later nogmaals met een analytisch beoordelingsschema. Een controlegroep van 10 andere docenten beoordeelde dezelfde samenvattingen alleen met het analytisch beoordelingsschema.

De voornaamste conclusie uit dat onderzoek was, dat het gebruiken van het analytisch beoordelingsschema voldoende winst in beoordelaarsovereenstemming opleverde om bij het eindexamen een dergelijk schema in te voeren. Bespreking van de onderzoeksresultaten met de examencommissie Nederlands HAVO/VWO van de Centrale Examencommissie Vaststelling Opgaven (CEVO) heeft voor het examen van 1986 ertoe geleid naast het gebruikelijke tekstschema (zie bijlage bladzijde 2) ook een analytisch beoordelingsschema en aanvullende regels uit te werken en dit als voorbeeld aan het correctievoorschrift (zie bijlage bladzijde 4 t/m 6) toe te voegen. Op deze wijze wilde de examencommissie docenten kennis laten maken met een mogelijk meer uniforme beoordeling van de samenvatting.

Niet alleen over de principiële keuze voor een analytische beoordeling van de samenvatting, maar ook over de keuzes voor wat wèl en niet in de procedure moet worden opgenomen, bestaan onder docenten Nederlands verschillen van mening.¹ De examencommissie vond het mede daarom wenselijk dat er onderzoek verricht werd naar de werking van de analytische beoordelingsprocedure in de examenpraktijk. Van

1 De oorzaken van deze verschillen zijn gelegen in de geschiedenis van de samenvattingsopdracht in het C.S.E. en in een aantal vakinhoudelijke en toetstechnische problemen, die uitvoerig beschreven zijn in een artikel in Levende Talen (Hendrix, 1985).

[p. 152]

het onderzoek dat door het Cito verricht werd, wordt hier verslag gedaan.

In dit artikel wordt eerst een beschrijving gegeven van de uitwerking van de analytische beoordelingsprocedure, waarbij ook wordt aangegeven in hoeverre de bevindingen van het eerder genoemde onderzoek (Sanders e.a., 1984) de door de examencommissie uitgewerkte procedure bepaald hebben. Daarna volgen de opzet van het onderzoek, de beschrijving en de analyse van de gegevens, bespreking van de resultaten en tenslotte conclusies en aanbevelingen.

2 De analytische beoordelingsprocedure

De analytische beoordelingsprocedure zoals die voor het examen is uitgewerkt, bestaat uit drie onderdelen:

1	de beoordeling van de inhoud van de samenvatting
2	de beoordeling van het taalgebruik van de samenvatting
3	de beoordeling van de lengte van de samenvatting.
	De genoemde onderdelen zullen hierna de revue passeren (zie bijlage bladzijde 3 t/m 5).

2.1 Inhoud

De examencommissie heeft al sinds geruime tijd van elke examentekst een tekstschema (zie bijlage blz. 2) opgesteld waarin de voornaamste informatie-elementen en hun onderlinge relaties zijn opgenomen. Dit schema kan door docenten gebruikt worden als steun voor hun beoordelingstaak. Van dit tekst(structuur)schema is een beoordelingsschema afgeleid, dat wil zeggen de substantiveringen en nominaliseringen van de informatie-elementen (de verkorte schemataal) zijn in het beoordelingsschema vervangen door volledige zinnen. De lijnstructuur van het tekst(structuur)schema, die de verbanden tussen de elementen zichtbaar maakt, is in het nieuwe schema (zie bijlage bladzijde 4 en 5) losgelaten. Het ligt in de bedoeling beide schema's in het correctievoorschrift te blijven opnemen als de analytische beoordelingsprocedure eventueel bindend wordt.

Alleen als er in de tekst expliciete relaties aanwezig zijn, worden deze met behulp van verbindingswoorden in het beoordelingsschema opgenomen. Uiteraard kunnen er op grond van interpretatie (op verantwoorde wijze) meer verbanden gelegd worden door de samenvatter. Het beoordelingsschema geeft deze verbanden niet en blijft dus daardoor een schema en geen uitgewerkte samenvatting. De beoordelaar moet aan de hand van (zijn interpretatie van) de tekst zèlf beoordelen of de samenvatter deze impliciete verbanden juist geïnterpreteerd heeft. Het analytisch beoordelingsschema is een lijst van informatie-elementen voorzien van gewogen scores. In elke betogendbeschouwende tekst is er een aantal elementen die vanwege het belang voor de opzet van het betoog en/of het inhoudelijk belang meer scorepunten krijgen toebedeeld dan de andere. Meestal zijn er rondom zo'n hoofduitspraak een aantal subuitspraken gegroepeerd.

Wat moet de beoordelaar voor het scoren van de inhoudscomponent van de samenvatting precies doen? Allereerst moet hij vaststellen of het desbetreffende informatie-element is opgenomen, of de weergave volledig en correct is. Maar minstens zo belangrijk is het na te gaan of de samenvatter de informatie-elementen in

[p. 153]

een goed verband heeft opgenomen, dat hij door het aanbrengen van relaties er blijk van geeft de tekst op verantwoorde wijze geïnterpreteerd te hebben. Tekortkomingen op dit punt moeten leiden tot een behoorlijke vermindering van de maximum toe te kennen score voor het desbetreffende informatie-element. Het beoordelingsschema, dat alleen de expliciet in de tekst aanwezige verbanden weergeeft, blijft op dit punt in gebreke. De subjectiviteit van de beoordelaar blijft op dit niveau een rol spelen, hetgeen de beoordelaarsovereenstemming negatief kan (zal) beïnvloeden. Critici die erop wijzen dat de analytische beoordelaar de subjectiviteit verplaatst van het geheel naar het deel, vinden hier tot op zekere hoogte hun gelijk. De beoordeling van een samenvatting is evenwel zo'n complexe taak dat volledige objectiviteit niet bereikbaar is. Het onmiskenbare voordeel van de analytische beoordeling dat er zorgvuldig bij elk belangrijk onderdeel van het betoog wordt stilgestaan, pleit er toch voor de analytische en niet de globale beoordelingsmethode te hanteren.

Een samenvatting is een geschreven produkt waaruit de beoordelaar kan opmaken of de samenvatter de essentie van de tekst begrepen heeft. De examencommissie heeft in de beoordelingsprocedure het accent willen leggen op de inhoudscomponent en niet op de schrijfvaardigheidscomponent. Uiteraard is de schrijfvaardigheid van de samenvatter een niet te ontwijken deelaspect van de samenvatting. Een gebrekkige weergave van de tekstinhoud kan weliswaar goed bedoeld zijn en misschien ook wel duiden op een juist begrip, maar desalniettemin als neerslag van de tekstverwerking incorrect en onvolledig zijn en/of minder goede of foutieve accenten leggen. Wanneer een formulering van de samenvatter een goed begrip van de inhoud belemmert (‘Staat het er eigenlijk wel?’), dan moet dat leiden tot aftrek van scorepunten voor het te beoordelen informatie-element.

Aansluitend bij de huidige 100-puntsschaal heeft de examencommissie in de beoogde procedure 80 scorepunten toegekend aan de inhoudscomponent van de samenvatting, verdeeld over de verschillende informatie-elementen. Van de resterende 20 punten worden er 10 toegekend voor (aspecten van het) taalgebruik en 10 als bonuspunten. De schaal loopt namelijk niet van 0-100, maar van 10-100.

2.2 Taalgebruik

Een samenvatting kan blijk geven van een gebrekkig en incorrect taalgebruik dat het goede begrip van de inhoud weliswaar niet aantast, maar dat desalniettemin zeer storend kan zijn voor de lezer. Voor het al dan niet opnemen van het taalgebruik in de beoordeling van de samenvatting zijn er twee overwegingen van belang. Een toets die is afgestemd op het beoordelen van leesvaardigheid zou zich daartoe moeten beperken en het is beter om in het eindoordeel over de samenvatting niet ook een oordeel over het taalgebruik te verpakken. Vanuit didactisch oogpunt gezien is er wèl wat voor te zeggen leerlingen te dwingen zorgvuldig met hun taal om te gaan en dus hun taalgebruik te verdisconteren in het eindcijfer van de samenvatting. De examencommissie heeft die didactische overweging laten gelden door 10 scorepunten te bestemmen voor dergelijke tekorten in het taalgebruik (orthografische, morfologische, grammaticale en stilistische onvolkomenheden). Ondanks de omstandigheid dat in de stelopdrachten deze aspecten ook al (en logischerwijze veel zwaarder) meetellen, heeft de examencommissie toch gemeend een aantal scorepunten hiervoor te moeten reserveren.

[p. 154]

2.3 Lengte van de samenvatting

Samenvatten betekent het terugbrengen van een lange(re) tekst naar een - van de gebruikssituatie afhankelijke - minimale omvang. Examenteksten beslaan een lengte van ongeveer 2100 tot 2400 woorden en die moeten de leerlingen terugbrengen tot een tekst van maximaal 500 woorden. De lengte van de samenvatting is een wezenlijk aspect van de gevraagde vaardigheid. Daarom is er een aftrekregeling opgesteld die moet worden toegepast bij de overschrijding van het maximum toelaatbaar geachte aantal woorden. In de huidige correctievoorschriften wordt heel algemeen gesproken van één cijferpunt aftrekken bij 10% overschrijding van het maximum aantal woorden; bij 25% overschrijding zal de samenvatting niet meer voldoende zijn. In een eerdere versie van de analytische beoordelingsprocedure, toegepast bij het vermelde Cito onderzoek uit 1984 (Sanders e.a., 1984) was een aftrekregeling ontworpen, waarbij de beoordelaars per teksteenheid (dat wil zeggen een cursief gedrukte hoofduitspraak en de daarbij behorende subuitspraken) voor elk informatie-element dat er gezien het beoordelingsschema niet in thuis hoorde, tot een maximum van drie scorepunten konden aftrekken. Het voordeel van deze regeling was dat de aftrekpunten telkens op grond van inhoudelijke overwegingen werden toegekend en dat de omvang van de samenvatting per teksteenheid gecontroleerd en in de scoring verdisconteerd werd. Bij de analyse en de berekening van de toepassing van deze regeling bleek dat de overeenstemming tussen de beoordelaars erg laag was en nauwelijks bijdroeg aan de beoordelaarsovereenstemming voor de hele samenvatting (Sanders e.a., 1984, pagina 249). Dat leidde tot het advies de bestaande aftrekregeling (de 10% - 25% regeling), dus losgekoppeld van de verschillende teksteenheden, te handhaven. De examencommissie heeft deze aanbeveling ter harte genomen en een gedetailleerde en strakkere regeling uitgewerkt:

Bij een overschrijding van

1-25	woorden 0 scorepunten aftrek van de behaalde score
26-50	woorden 10 scorepunten aftrek van de behaalde score
51-75	woorden 20 scorepunten aftrek van de behaalde score
76-100	woorden 30 scorepunten aftrek van de behaalde score
101-125	woorden 40 scorepunten aftrek van de behaalde score
126-150	woorden 50 scorepunten aftrek van de behaalde score

Deze regeling maakt het dus niet meer mogelijk om aftrekpunten toe te kennen voor informatie-elementen die eigenlijk niet per se in de samenvatting thuis horen, tenminste zolang de maximumgrens van 500 woorden (daardoor) niet overschreden wordt. Wel is het voorstelbaar dat de opname van zo'n informatie-element het verband tussen de andere elementen onduidelijk of zelfs incorrect maakt. Dat zou dan moeten leiden tot een lagere score van het te beoordelen informatie-element in de desbetreffende context.

Hiermee is de beschrijving van de drie onderdelen van de door de examencommissie uitgewerkte analytische beoordelingsprocedure afgerond. Eén aspect verdient hier nog aandacht: de weging van de informatie-elementen. In het Citoonderzoek van 1984 (Sanders e.a., 1984) is nagegaan of de globale beoordeling van de samenvatting tot hogere dan wel lagere cijfers leidt dan de analytische. Uit het onderzoek bleek dat de analytische beoordeling van de examenwerken gemiddeld één cijferpunt (10 scorepunten) hoger uitviel dan de globale beoordeling. Docenten die

[p. 155]

aan het onderzoek hadden meegewerkt wezen erop dat dit mogelijk veroorzaakt was door het grote verschil in maximum aantal toe te kennen scorepunten tussen de hoofduitspraken en de subuitspraken, in het gehanteerde schema respectievelijk 7 en 2 scorepunten. Zij wezen erop dat de hoofduitspraken doorgaans vrij herkenbaar in de tekst aanwezig zijn en dat dus deze elementen meestal wel in de samenvattingen aanwezig waren. Op deze manier worden de punten voor de hoofduitspraken te gemakkelijk verdiend, was het oordeel van de betrokken docenten. In het beoordelingsschema van de examencommissie is aan dit commentaar gehoor gegeven door de inhoudelijke beoordeling strenger te maken: het verschil tussen het maximum aantal te behalen scorepunten voor de hoofduitspraken en dat van de subuitspraken werd kleiner dan in het voorgaande schema. Het ontbreken van een subuitspraak in de samenvatting zou op deze wijze merkbaarder doorwerken in de eindscore.

3 Het onderzoek

3.1 De verzameling van de gegevens

De examencommissie heeft het Cito verzocht over de uitwerking van de door haar uitgewerkte beoordelingsprocedure gegevens te verzamelen en de beoordelaarsovereenstemming in de examenpraktijk zelf na te gaan. Het Cito heeft daartoe van elke vwoschool in het land (± 625 scholen) één docent Nederlands verzocht de door de examencommissie beoogde beoordelingsprocedure toe te passen op het examenwerk van de eerste drie kandidaten van de aan hem of haar toevertrouwde examengroep(en) en daarbij te handelen alsof deze voorschriften bindend zouden zijn. Bovendien is gevraagd of de tweede corrector onafhankelijk van (dus zonder onderling overleg met) de eerste corrector diezelfde drie kandidaten wilde beoordelen. Dit leverde uiteindelijk bruikbare gegevens op van 122 scholen. Bruikbaar betekent in dit verband dat er van elke school een set van 6 correct ingevulde formulieren beschikbaar was, waarop de eerste en de tweede corrector hun analytische beoordeling van diezelfde drie leerlingen genoteerd hadden. De examenkandidaten, de beoordelende docenten en de scholen bleven verder anoniem. In tegenstelling tot het eerder gedane, experimentele onderzoek van 1984 (Sanders e.a., 1984) is controle op de totstandkoming van deze onderzoeksgegevens niet mogelijk. Zekerheid over het feit of de eerste corrector en de tweede corrector daadwerkelijk een van elkaar onafhankelijke beoordeling hebben gegeven, is er niet. Het wegvallen van de vergoeding voor de tweede correctie - voor veel docenten een punt van groot ongenoegen - maakt de positie van de tweede correctie toch al heel kwetsbaar. In ieder geval bleek na de registratie van de uitgebrachte scores dat een aantal van de ingeleverde sets een perfecte overeenstemming over alle onderdelen van de beoordelingsprocedure opleverde. Eerste en tweede corrector bleken dus onafhankelijk van elkaar tot dezelfde beoordeling te zijn gekomen. Of... was er misschien geen sprake van een onafhankelijke beoordeling of überhaupt van een tweede beoordeling? Daarnaast waren er ook sets waarbij de scores van de 36 informatie-elementen perfect overeenstemden, maar de scores van het taalgebruik en/of de toepassing van de aftrekregeling verschillen vertoonden.

Gezien het feit dat de beoordeling met een analytische beoordelingsprocedure een behoorlijk complexe taak is en perfecte overeenstemming zeer onwaarschijnlijk is, is

[p. 156]

besloten de sets die op alle onderdelen of op het onderdeel informatie-elementen perfect overeenstemden, niet bij de analyse te betrekken. Uiteindelijk resteerden zodoende de gegevens van 90 vwo-scholen met beoordelingen van het examenwerk van telkens drie examenkandidaten van de eerste èn de tweede corrector. Deze gegevens zijn gebruikt om na te gaan of de beoordelaars met behulp van de analytische beoordelingsprocedure (in de uitwerking van de examencommissie) tot een eensluidende en uniforme beoordeling kunnen komen.

3.2 Operationalisatie van de onderzoeksvraag

Om na te gaan hoe de analytische procedure in de examenpraktijk gefunctioneerd heeft, is onderzocht in welke mate de eigen docent en de tweede corrector overeenstemmen over:

1	de afzonderlijke informatie-elementen
2	een aantal bij elkaar horende informatie-elementen die met teksteenheid aangeduid worden; in totaal waren er 6 teksteenheden
3	de informatie-elementen samen
4	het onderdeel taalgebruik
5	de aftrekregeling
6	de totaalscore: de informatie-elementen samen, plus het onderdeel taalgebruik, de aftrekregeling en de bonuspunten.

3.3 Analysemethoden

Bij de zes hiervoor genoemde onderzoeksvragen is de overeenstemming tussen twee beoordelaars, de eigen docent en de tweede corrector, berekend. Met overeenstemming wordt bedoeld de mate waarin de oordelen van die twee beoordelaars identiek zijn. In dit onderzoek worden twee maten voor beoordelaarsovereenstemming gehanteerd. De eerste maat, de intraclasscorrelatiecoëfficient, p², wordt gedefineerd als:

ρ^2=	σ^2k	(1)
		σ^2kb + (σ^2b + σ^2kb)

waarin σ²_k staat voor de variantiecomponent kandidaten, σ²_b voor de variantiecomponent beoordelaars en er σ²_kb voor het residu. (Zie voor nadere toelichting Sanders e.a., 1984)

De tweede maat, het percentage overeenstemming P_o, wordt gedefinieerd als:

P_o P_ii (2)

waarin c staat voor het aantal beoordelingscategorieën dat onderscheiden wordt en P_ii staat voor het percentage kandidaten dat door de twee beoordelaars in dezelfde categorie ingedeeld is.

[p. 157]

3.4 Resultaten

Hieronder volgen de resultaten van de zes in paragraaf 3.2 genoemde onderzoeksvragen.

3.4.1 Overeenstemming over de afzonderlijke informatie-elementen

Van elk informatie-element werd de overeenstemming volgens formule 2 berekend. Van geen enkel informatie-element was de overeenstemming lager dan 80%. Opmerkelijk is dat de informatie-elementen 31, 33 en 34 in het onderzochte werk laag scoren en dat deze tekstpassage voor de leerlingen blijkbaar moeilijk is geweest (zie ook tabel 2, teksteenheid 5).

3.4.2 Overeenstemming over teksteenheden (hoofduitspraak + bijbehorende subuitspraken)

Onderstaande tabel bevat per teksteenheid de overeenstemming tussen de twee beoordelaars.

Tabel 1: Beoordelaarsovereenstemming van zes teksteenheden.
Tekst eenheid	Aantal informatie-elementen en te behalen scorepunten				gemiddelde score over 2 beoordelaars	p'-waarde	Beoordelaars-overeenstemming
1	12	elementen	30	punten	20.1	.67	.83
2	2	elementen	6	punten	4.0	.67	.83
3	2	elementen	6	punten	4.1	.68	.81
4	10	elementen	16	punten	11.5	.72	.80
5	8	elementen	18	punten	8.8	.49	.83
6	1	element	4	punten	2.7	.68	.79

Tabel 1 laat zien dat teksteenheid 5 afwijkt in p'-waarde van de andere p'-waarden. De p'-waarde is het quotiënt van de gemiddelde score en de te behalen scorepunten per teksteenheid en geeft de moeilijkheidsgraad aan.
Teksteenheid 5 is in dit geval moeilijker geweest dan de overige vijf teksteenheden. Wat betreft de beoordelaarsovereenstemming bestaan er nauwelijks verschillen tussen de zes teksteenheden.

[p. 158]

3.4.3 Overeenstemming over alle informatie-elementen

Onderstaande tabel bevat de resultaten van de analyse van alle informatie-elementen samen.

Tabel 2: Resultaten van de variantie-analyse
Component	df	SS	MS	Schattingen van de variantiecomponenten
Kandidaten (k)	269	48060.93	178.67	σ^2k = 82.19 (84%)
Beoordelaars (b)	1	287.47	287.47	σ^2b = 1.01 (1%)
Residu (kb)	269	3842.53	14.28	σ^2kb = 14.28 (15%)
Beoordelaarsovereenstemming = .84

De tabel laat zien dat de variantiecomponent beoordelaars zeer gering is, namelijk gelijk aan 1% van de som van de variantiecomponenten. Ook de component residu is gering, namelijk 15%. De beoordelaarsovereenstemming is dan ook hoog: .84. De gemiddelde score over alle informatie-elementen samen van de eigen docent en de tweede corrector verschilden dan ook nauwelijks: respectievelijk 51.89 en 50.43.

3.4.4 Overeenstemming over taalgebruik

Voor het onderdeel taalgebruik konden de beoordelaars 10 punten toekennen. Het gemiddelde van de eigen docent was 5.32, terwijl het gemiddelde van de tweede corrector gelijk was aan 4.91. De beoordelaarsovereenstemming volgens formule 1 was .69.

3.4.5 Overeenstemming over aftrekpunten

Alleen van die samenvattingen waaraan een van de twee of beide beoordelaars aftrekpunten toekenden, werd de beoordelaarsovereenstemming berekend. In totaal betrof dit 61 van de 270 leerlingen. De gemiddelde score van de eigen docent en de tweede corrector was resp. 18.05 en 16.05; de beoordelaarsovereenstemming was gelijk aan .73.

3.4.6 Overeenstemming over de totaalscore

In totaal konden 90 scorepunten plus 10 bonuspunten toegekend worden. De gemiddelde score van de eigen docent was 63.1 (cijfer 6.3) en de gemiddelde score van de tweede corrector was 61.7 (cijfer 6.2). De beoordeling van de eigen docent zou geleid hebben tot 21% onvoldoendes, die van de tweede corrector tot 26% onvoldoendes. De beoordelaarsovereenstemming over de totaalscore, berekend volgens formule 1, was .84.

Ook werd het aantal misclassificaties berekend. Hiermee wordt bedoeld het aantal leerlingen dat van de eigen docent een voldoende en van de tweede corrector een

[p. 159]

onvoldoende score kreeg, en omgekeerd. Wanneer geen rekening wordt gehouden met de toepassing van de aftrekregeling bedraagt het aantal misclassificaties slechts 23, namelijk 19 leerlingen die van de eigen docent een voldoende en van de tweede corrector een onvoldoende kregen en 4 leerlingen die van de eigen docent een onvoldoende en van de tweede corrector een voldoende kregen.

4 Conclusies en aanbevelingen

4.1 Conclusies

-	De analytische beoordelingsprocedure blijkt tot een hoge overeenstemming tussen de beoordelaars te leiden. Dit betekent dat met het hanteren van deze beoordelingsprocedure de samenvattingsopdracht op grond van deze gegevens als een betrouwbaar meetinstrument beschouwd kan worden. Echter, ook na verwijdering van een aantal perfect overeenstemmende beoordelingen (zie paragraaf 3.1) moet er rekening mee worden gehouden dat de beoordeling soms niet (geheel) onafhankelijk geweest zal zijn. Het vorige onderzoek (Sanders e.a., 1984), dat de onafhankelijkheid van de beoordeling garandeerde, leverde een duidelijk lagere overeenstemming op van .67. Ook de resultaten van ander onderzoek naar objectieve beoordeling van open-vragenexamens (Sanders, 1983), suggereren dat de nu door ons gevonden hoge beoordelaarsovereenstemming gunstiger uitvalt dan eigenlijk te verwachten is.
-	De overeenstemming over de onderdelen aftrekregeling en taalgebruik van deze analytische beoordelingsprocedure is lager dan die over de scoring van de informatie-elementen. Beide onderdelen zijn voor verbetering vatbaar.
-	De geconstateerde mildheid van de analytische beoordeling in het onderzoek van 1984 (Sanders e.a., 1984) met een gemiddeld cijfer van 7.0, is na de aanpassingen in deze procedure niet meer aanwezig. Het gemiddelde cijfer volgens deze beoordelingsprocedure is 6.3 en blijkt overeen te komen met de reeds jaren geconstateerde gemiddelde beoordeling (zie tabel 3).

Tabel 3: Resultaten VWO-samenvatting Nederlands 1981 t/m 1986
	1981	1982	1983	1984	1985	1986
gemiddeld cijfer	6.4	6.5	6.3	6.0	6.1	6.3
percentage onvoldoende	19	18	21	29	29	23

Ten aanzien van het gemiddeld cijfer van de beoordeling van 1986 moet opgemerkt worden dat dit mogelijk mede beïnvloed is door de nieuwe procedure, die desgewenst kon worden toegepast, evenwel nog zonder de aftrekregeling; daarvoor gold de 10%-25% regeling (zie bijlage 2.1a. en 3.1).

[p. 160]

4.2 Aanbevelingen

-	Evenals in het vorige onderzoek (Sanders e.a., 1984) kan ook op grond van gegevens uit dit onderzoek de invoering van een analytische beoordelingsprocedure worden aanbevolen. Een eventuele uitwerking en/of bijstelling van de onderdelen taalgebruik en aftrekregeling dient daarbij nog overwogen te worden.
-	Een analytische beoordelingsprocedure biedt redelijke kansen op een objectivering van de beoordeling van de samenvatting. Het zou daarbij wenselijk zijn de eerste en de tweede beoordeling onafhankelijk te verrichten en de uitkomsten te middelen.
-	Om mogelijke misclassificaties te voorkomen zou een regeling gemaakt moeten worden, waarmee grote verschillen in cijfers (te denken valt aan verschillen groter dan 1 cijferpunt) tussen de eerste en tweede beoordelaar in overleg verholpen kunnen worden.
-	De beoordeling van de samenvatting is een complexe en tijdrovende taak. Ofschoon de uitgewerkte analytische beoordelingsprocedure niet meer tijd in beslag hoeft te nemen dan de globale beoordeling, zal de objectivering van de beoordeling slechts bereikt worden als docenten Nederlands in de examenperiode voldoende ruimte hebben om deze beoordelingstaak naar behoren te kunnen uitvoeren. Er zou serieus moeten worden nagedacht over de mogelijkheid om deze docenten in de examenperiode te ontlasten.

Bibliografie

A.C. Hendrix. De samenvatting beoordeeld. Tekstbegrip Nederlands op het C.S.E. van het VWO. In: Levende Talen 405, 1985, p. 557-563

P.F. Sanders, A.C. Hendrix, AJ.M. Luyten, De beoordeling van de samenvatting Nederlands. In: Tijdschrift voor Taalbeheersing 6, 1984, p. 241-251

P.F. Sanders, Objectieve beoordeling van open-vragenexamens. In: W.C. Weeda e.a., Examens in discussie. Een bundel opstellen voor J.W. Solberg, 1983, p. 163-171

[p. 161]

1

Bijlage

VWO I

CENTRALE EXAMENCOMMISSIE VASTSTELLING OPGAVEN

CORRECTIEVOORSCHRIFT

Bij het examen: NEDERLANDS VWO

1986 eerste tijdvak

Inhoud:	1.	Algemene regels
	2.	Thans geldende beoordelingsvoorschrift
		2.1.	Beoordelingsregels
		2.2.	Tekstschema
	3.	Beoogde beoordelingsvoorschrift aan de hand van een analytisch schema
		3.1.	Beoordelingsregels
		3.2.	Analytisch beoordelingsschema

De Centrale Examencommissie Vaststelling Opgaven (CEVO) heeft voor de beoordeling van het schriftelijk werk de volgende algemene regels en scoringsvoorschriften opgesteld.

1.	Algemene regels
	MAVO/HAVO/VWO
	In het Eindexamenbesluit dagscholen MAVO-HAVO-VWO zijn twee artikelen opgenomen die betrekking hebben op de scoring van het schríftelijk werk, namelijk artikel 27 en artikel 28.
	Deze twee artikelen moeten als volgt worden geïnterpreteerd:
1.	De examinator en de gecommitteerde zijn verplicht het beoordelingsvoorschrift bij de beoordeling van het schriftelijk werk toe te passen.
2.	De examinator en de gecommitteerde stellen in onderling overleg het cijfer voor dit gedeelte van het schriftelijk examen vast.
	Komen ze daarbij na mondeling overleg op basis van het beoordelingsvoorschrift niet tot overeenstemmming, dan wordt het cijfer bepaald op het rekenkundig gemiddelde van beide voorgestelde cijfers, afgerond op een cijfer met een decimaal.
2.	Thans geldende beoordelingsvoorschrift
2. 1.	Beoordelingsregels: a. De opdracht luidde: Geef een samenvatting van MAXIMAAL 500 woorden. Bij duidelijke overschrijding van dit maximum (gedacht wordt aan meer dan 10%) wordt één punt afgetrokken. Bij een aanzienlijke overschrijding (gedacht wordt aan meer dan 25%) is het werk in het algemeen niet voldoende. Een minimumgrens is niet aangegeven: men lette echter op het gestelde onder b. b. Uit de samenvatting moet blijken dat de kandidaat een tekst van zekere omvang weet te overzien en kort de inhoud kan weergeven. Hij moet tonen hoofd- en bijzaken te kunnen onderscheiden. De samenvatting zal een duidelijk beeld dienen te geven van de gedachtengang en dus representatief moeten zijn voor de aan de kandidaat voorgelegde tekst. Daarvoor is het niet nodig alle minder relevante zaken te vermelden of de volgorde van de afzonderlijke fases van de gedachtengang te wijzigen. Alleen een weergave van de gedachtengang wordt gevraagd. c. De samenvatting moet geschreven zijn in goed Nederlands. Iemand die de oorspronkelijke tekst niet kent, moet de samengevatte tekst goed kunnen volgen. Het is toegestaan essentiële woorden of zinswendingen uit de tekst te gebruiken. d. Van het tekstschema onder 2.2. (zie bladzijde 3) kan bij de beoordeling van de samenvatting gebruik gemaakt worden.

Opmerking bij het nevenstaande tekstschema:

1. In een goede samenvatting hoeft slechts één van beide informatie-elementen aanwezig te zijn.

[p. 162]

2

2.2. Tekstschema

A. Pais: Liberaal-Socialistische toenadering?
Regel	Informatie-elementen, tekststructuur en relaties*	opm.
	- afbrokkeling van gezag van ideologieën in 2e helft der eeuw
	- pragmatisme in politiek en economisch beleid
14	- stelling: huisstijl in politieke partijen belangrijker dan de ideologische basis
	- wederzijdse veroordeling liberalen en socialisten sinds 1956
27	- 1. uit elkaar groeien PvdA en VVD
	- behoefte bij VVD aan anti-socialistische identiteit
	- polarisatie door beide partijen
	- ontstaan van een ruimte tussen beide partijen
	- vraag: waarom heeft christen-democratie ruimte niet benut?	1
	- 2. deconfessionalisering of succes van de verzuiling
	- emancipatie van geïsoleerde groepen
	- overbodig worden van verzuiling na bereiken van het doel
	- onmogelijkheid voor confessionele partijen ruimte tussen PvdA en VVD te vullen	1
74	- vraag: welke kenmerken binden mensen aan partijen?
	- twijfel aan ideologische motieven
88	- karakterisering der grote partijen als breed-spectrumpartijen
	- mogelijkheid tot wisselende combinaties door aanrakingspunten
102	- stelling: elke partij heeft een eigen huiscultuur, bepaald door een spanningsveld tussen twee polen
	- PvdA: sentiment en ressentiment
	- sentiment: verzet tegen aantasting menselijke waardigheid
	- ressentiment: onzuivere motieven bij bestrijding gevestigde orde
	- CDA: hoogmoed en deemoed
	- hoogmoed: bijbels gefundeerde overschatting van eigen belang(rijkheid)
	- deemoed: besef van eigen tekort
	- VVD: vrijzinnigheid en vrijblijvendheid
	- vrijzinnigheid: streven naar vrijheid en tolerantie
	- vrijblijvendheid: maatsch, onverschilligheid, egoïsme
144	- vraag in hoeverre zakelijke geschillen VVD en PvdA gescheiden houden
	- vraag naar beweging in de standpunten
	- mogelijkheid van compromissen bij voldoende politieke wil
	- wenselijkheid beperkt i.v.m. continuïteit van beleid
	- vraag naar de wezenlijkheid van meningsverschillen
	- overeenstemming over het gemengd zijn van de economische orde
	- verschil van inzicht m.b.t. ingrijpen in marktmechanisme
	- geen onoverbrugbare tegenstellingen tussen liberalen en socialisten wat betreft beleid in praktijk
177	- belangrijkheid van sfeer en personen voor aantrekkingskracht en samenwerking

* Alleen relaties die expliciet in de tekst vermeld staan, worden hier aangegeven.

[p. 163]

3

3. Het beoogde beoordelingsvoorschrift van de samenvatting aan de hand van een analytisch schema.*

3.1. Bij het beoordelen met behulp van het analytisch beoordelingsschema gelden bij het vaststellen van het cijfer van de kandidaat de volgende regels:

a. Bonuspunten

Elke kandidaat worden vooraf 10 bonuspunten toegekend.

b. Inhoud

Voor de inhoud van de samenvatting worden maximaal 80 seorepunten toegekend.

De inhoud van de samenvatting wordt beoordeeld aan de hand van het analytisch schema, bestaande uit een lijst van informatie-elementen die volgens de examencommissie in een goede samenvatting moeten voorkomen. Elk informatie-element is voorzien van een maximum-score en het is aan de beoordelaar om vast te stellen of de kandidaat het maximum aantal scorepunten moet worden toegekend, dan wel een geringer aantal punten of geen punten. Indien een informatie-element ontbreekt of duidelijk fout is weergegeven, kunnen geen scorepunten worden toegekend. De maximum-score kan alleen worden toegekend wanneer een informatie-element in de juiste betekenis en samenhang met de andere informatie-elementen is opgenomen.

Een geringer aantal punten zal worden toegekend wanneer een informatie-element onvolledig of onvolkomen is opgenomen en/of wanneer de relaties tussen de tekstelementen niet of onvolledig zijn weergegeven. Bij onzorgvuldig en onjuist woordgebruik worden alleen dan punten in mindering gebracht, wanneer de samengevatte tekst voor iemand die de oorspronkelijke tekst niet gelezen heeft, onbegrijpelijk is. Er kunnen alleen hele punten worden toegekend. Zie verder het schema tip bladzijde 6 en 7.

c. Taalgebruik

Voor het taalgebruik van de samenvatting kunnen een kandidaat maximaal 10 scorepunten worden toegekend.

Het maximum aantal punten wordt toegekend indien het taalgebruik van de samenvatting orthografisch, morfologisch, grammaticaal en stilistisch correct is. Tekortkomingen in een of meer aspecten hiervan leiden, afhankelijk van de ernst van de tekorten, tot de toekenning van een geringer aantal punten. Er kunnen alleen hele punten toegekend worden.

Tekorten in het taalgebruik die de inhoud van een informatie-element betreffen (‘Staat het er eigenlijk wel?’), zijn al verdisconteerd in het al dan niet toekennen van de maximum-score voor het desbetreffende informatie-element. De 10 scorepunten voor taalgebruik zijn hiervoor dus niet bestemd.

d. Aftrek

Een samenvatting is door de examencommissie gebonden aan het maximum-aantal toegestane woorden (500 woorden). Indien een kandidaat niet aan deze norm heeft voldaan, worden punten in mindering gebracht op de onder inhoud en taalgebruik toegekende score.

Daarbij geldt de volgende regeling:

Bij een overschrijding van

1 - 25 woorden: 0 scorepunten aftrek van de behaalde score

26 - 50 woorden: 10 scorepunten aftrek van de behaalde score

51 - 75 woorden: 20 scorepunten aftrek van de behaalde score

76 - 100 woorden: 30 scorepunten aftrek van de behaalde score

101 - 125 woorden: 40 scorepunten aftrek van de behaalde score

126 - 150 woorden: 50 scorepunten aftrek van de behaalde score.

Van dit beoordelingsschema kan ook bij de thans geldende beoordelingsvoorschriften desgewenst gebruik worden gemaakt, met uitzondering van de aftrekregeling onder d.. die niet in overeenstemming is met de bindende beoordelingsvoorschriften onder 2.1. Zie ook de Cevo-circulaire van november 1985, kenmerk U 85-162.

[p. 164]

4

3.2. Analytisch beoordelingsschema

tekstregelnr	inf.elem.nr	Dr. A. Pais, Liberaal-socialistische toenadering Samenvatting VWO 1986-1	score	opm.
	1.	Het gezag van ideologieën brokkelt in de tweede helft van de 20-ste eeuw (steeds verder) af.	4
7	2.	In politiek en economisch beleid krijgt pragmatisme de overhand.	4
14	3.	Gesteld kan worden dat de huisstijl in politieke partijen belangrijker is dan hun ideologische basis.	4
	4.	Sinds 1956 is er sprake van een wederzijdse veroordeling van liberalen en socialisten.	2
27	5.	De eerste ontwikkeling die toen begon, is het uit elkaar groeien van PvdA en VVD.	2
	6.	Bij de VVD ontstond behoefte aan een anti-socialistische identiteit.	2
	7.	Door beide partijen werd gepolariseerd.	2
	8.	Dusdoende schiepen beide partijen een ruimte tussen elkaar.	2
	9.	De vraag is waarom de christen-democratie de ruimte niet heeft benut.	2	1
	10.	De tweede ontwikkeling sindsdien is de deconfessionalisering ofwel het succes van de verzuiling.	2
	11.	Verzuiling dient ter emancipatie van geïsoleerde groepen.	2
	12.	Bedoeld succes is het overbodig worden van verzuiling na het bereiken van het gestelde doel.	2
	13.	(De confessionele partijen hebben de ruimte tussen PvdA en VVD niet kunnen vullen.)	(2)	1
74	14.	Interessante vraag is welke kenmerken mensen binden aan bepaalde partijen.	3	2
	15.	Aan het belang van ideologische motieven mag sterk getwijfeld worden.	3
88	16.	Van grote betekenis is het breed-spectrumkarakter van de grote partijen.	4
	17.	Het breed-spectrumkarakter maakt door aanrakingspunten wisselende combinaties mogelijk.	2
102	18.	Stelling is: elke partij heeft een eigen huiscultuur, bepaald door een spanningsveld tussen twee polen.	4
	19.	De PvdA beweegt zich tussen de polen sentiment en ressentiment.	2
	20.	Sentiment is gelegen in het socialistische verzet tegen de aantasting van de menselijke waardigheid.	1
	21.	Ressentiment is voelbaar in de onzuivere motieven waarmee de ‘gevestigde orde’ bestreden wordt.	1

[p. 165]

5

Vervolg

			score	opm.
	22.	Het CDA fluctueert tussen de polen hoogmoed en deemoed.	2
	23.	Hoogmoed valt te zien als de bijbels gefundeerde overschatting van eigen belang(rijkheid).	1
	24.	deemoed als het besef van eigen tekort.	1
	25.	De VVD kent aan de ene kant vrijzinnigheid en aan de andere kant vrijblijvendheid.	2
	26.	Enerzijds is er sprake van een streven naar vrijheid en tolerantie.	1
	27.	anderzijds van de neiging tot maatschappelijke onverschilligheid en egoïsme.	1
144	28.	In hoeverre houden zakelijke geschillen VVD en PvdA gescheiden?	3
	29.	Het antwoord is enerzijds afhankelijk van vraag naar de beweging in standpunten over en weer.	3
	30.	Bij voldoende politieke wil zijn compromissen mogelijk.	2
	31.	Compromissen moeten beperkt worden als de continuïteit in het beleid gevaar loopt.	2
	32.	Het antwoord is anderzijds afhankelijk van de wezenlijkheid van meningsverschillen.	2
	33.	Er bestaat overeenstemming over het gemengde karakter van de economische orde.	2
	34.	Met betrekking tot het ingrijpen in het marktmechanisme is er verschil van inzicht.	2
	35.	Er zijn geen onoverbrugbare tegenstellingen tussen liberalen en socialisten wat betreft het beleid in de praktijk.	2
177	36.	De aantrekkingskracht en de mogelijkheden tot samenwerking tussen partijen zijn in belangrijke mate afhankelijk van de sfeer en personen in de partij.	4
		Totaal	80

Opmerkingen bij het beoordelingsschema
Opmerking 1:
Indien een kandidaat informatie-element 9 in de samenvatting heeft opgenomen, kan element 13 afwezig blijven. Zijn beide elementen aanwezig dan dient maar eenmaal 2 punten te worden toegekend. Indien element 9 ontbreekt en element 13 is opgenomen, kunnen daarvoor 2 punten worden toegekend.
Opmerking 2:
Indien de kandidaat de vraag van element 14 in een impliciete formulering in de samenvatting heeft opgenomen, kunnen daarvoor de maximale 3 punten worden toegekend.