|
| |
| |
| |
[Nummer 4]
De taalvaardigheid van eerstejaars HBO-studenten
J. Baltzer, K. de Glopper en E. van Schooten
Samenvatting
In dit artikel worden gegevens over het taalvaardigheidsniveau van eerstejaars HBO-studenten geplaatst in het kader van de eisen, de wensen en de verwachtingen van hun docenten. Vervolgens worden de taalprestaties in verband gebracht met de problemen die studenten binnen concrete studietaken ervaren en met hun behoeften aan taalvaardigheidsonderwijs. Tenslotte wordt het prestatieniveau gerelateerd aan de vooropleiding van de studenten, aan het eindexamencijfer voor het vak Nederlands in het Voortgezet Onderwijs, aan de aanwezigheid van het vak Taalbeheersing in het vakkenpakket van de betreffende HBO-opleiding en aan de doorstroming van de studenten naar het tweede opleidingsjaar.
| |
1 Achtergronden van het onderzoek
In de afgelopen jaren is veelvuldig melding gemaakt van aansluitingsproblemen bij de overgang van het Voortgezet Onderwijs (HAVO en VWO) naar het Wetenschappelijk Onderwijs en het Hoger Beroeps Onderwijs. Deze problematiek werd voor het eerst formeel aan de orde gesteld door de Commissie Aansluitingsvraagstukken van de Academische Raad en de HBO-raad. Bij deze commissie leeft het vermoeden dat eerstejaars studenten studieproblemen ondervinden ten gevolge van een onvoldoende beheersing van de voor hun studie vereiste taalvaardigheden, dat deze taalvaardig-heidsproblemen direct of indirect het studierendement negatief beïnvloeden en dat op het HAVO en het VWO onvoldoende onderwijs en training in deze taalvaardigheden wordt gegeven. Dit vermoeden is onder meer gebaseerd op publikaties in vaktijdschriften en dagen weekbladen, waarin met name vanuit het Wetenschappelijk Onderwijs geklaagd wordt over de taalvaardigheid van eerstejaars studenten. In de ministeriële nota ‘Er wordt steets meer fout gesgrefen’ (1981) zijn deze klachten en meningen over het moedertaalonderwijs bijeen gebracht.
Ook in het HBO maakt men zich zorgen over taalvaardigheidstekorten bij eerstejaars studenten. Dit is gebleken op de themadagen HBO-Moedertaalonderwijs, die de sectie Nederlands van de Vereniging voor Leraren Levende Talen sinds 1980 organiseert (Zwitserlood, 1984).
Ook uit onderzoek zijn aanwijzingen voor het bestaan van taalvaardigheidsproblemen in het HBO verkregen. In het kader van de aansluitingsproblematiek is onderzoek uitgevoerd naar studieproblemen in het eerste jaar van het HBO (Van Dijck, Van den Elshout en Hoogeveen, 1985). Aan studiecoördinatoren en decanen uit het HBO werd naar de oorzaken van de studierendementsproblematiek gevraagd. Op de lijst van door hen naar voren gebrachte oorzaken komt een onvoldoende taalbeheersing of taalvaardigheid op de vierde plaats, na inadequaat studeergedrag, ontoereikende kennis en een onjuist beeld van de opleiding. Het inadekwate studeergedrag wordt gespecificeerd als moeite met het onderscheiden van hoofd- en bijzaken en met het verwerken van veel stof in relatief weinig tijd. Ook dit laatste kan verband houden met taalvaardigheidsproblemen: moeilijkheden | |
| |
met veel lezen in weinig tijd hebben onder andere te maken met inefficiënte leesstrategieën, met slecht kunnen samenvatten en met problemen bij het structureren van tekstinformatie.
Om de precieze aard en omvang van de taalvaardigheidsproblemen in het Hoger Onderwijs vast te stellen, is op verzoek van de genoemde commissie een onderzoek gestart. Dit onderzoek bestond uit twee fasen. De eerste fase werd uitgevoerd door verschillende Universiteiten en onderzoeksinstellingen, waaronder de Stichting Centrum voor Onderwijsonderzoek van de Universiteit van Amsterdam (SCO). Deze fase van het project werd gesubsidieerd door het Instituut voor Onderzoek van het Onderwijs (SVO) en door de drie deelnemende universiteiten (UvA, RUG en TU-Twente). In deze fase is geïnventariseerd met welke taaltaken de studenten in hun eerste studiejaar geconfronteerd worden. Nagegaan is welke tekorten op het gebied van de taalvaardigheid daarbij worden ervaren door studenten en door moedertaal- en vakdocenten die lesgeven in het eerste jaar van de verschillende WO- en HBO-sectoren. Over dit deel van het onderzoek is in verschillende deelrapporten verslag gedaan (Bochardt, 1985; Bochardt, Breetveld en Klopman, 1985; Steehouder 1985; Van Es, 1986; Baltzer, 1986).
In het hier volgende artikel wordt verslag gedaan van de tweede fase van het onderzoek (Baltzer, De Glopper en Van Schooten, 1988). De tweede fase is uitgevoerd door de Stichting Centrum voor Onderwijsonderzoek, met subsidie van het Instituut voor Onderzoek van het Onderwijs (SVO). In deze fase is, in aansluiting op de inventarisatie van ervaren tekorten, een empirisch onderzoek verricht naar het feitelijke taalvaardig-heidsniveau.
| |
2 Doel en vraagstelling van het onderzoek
Het doel van de tweede fase van het onderzoek was het peilen van de feitelijke taalvaardigheid van eerstejaars studenten en het in verband brengen van de prestaties van de studenten met de eisen, de wensen en de verwachtingen van hun docenten. Dit laatste is van belang omdat de eisen en de wensen een interpretatiekader bieden voor de feitelijke prestaties. Op grond van taalvaardigheidspeilingen alleen is het niet mogelijk te concluderen of de taalvaardigheid van de studenten wel of niet voldoet voor het volgen van een studie. De vraag naar de verwachtingen omtrent het feitelijke niveau is bedoeld als een validiteitscontrole. Als zou blijken dat de docenten slecht zijn in het schatten van de prestaties van de studenten, dan kan getwijfeld worden aan de betekenis van de door hen gestelde norm. Naast het genoemde is het de bedoeling om de taalprestaties in verband te brengen met de vooropleiding van de studenten, met het eindexamencijfer voor Nederlands in het Voortgezet Onderwijs, met de aanwezigheid van het vak Taalbeheersing in het vakkenpakket en met de doorstroming van de studenten naar het tweede studiejaar.
Vanwege de beschikbare tijd en middelen waren een aantal beperkingen in de onderzoeksopzet geboden. Het onderzoek is alleen uitgevoerd onder HBO-studenten. Uit de inventarisatie van ervaren problemen in de eerste fase bleek dat in het HBO en het WO soortgelijke problemen worden ervaren, maar dat de problemen het sterkst gevoeld worden binnen het HBO. Binnen de groep van HBO-studenten is een nadere keuze gemaakt voor studenten met een HAVO-of VWO-diploma. Deze groep is voor de aansluitingsproblematiek het meest interessant; zij maakt bovendien het belangrijkste deel van de instroom in het HBO uit.
Er moest ook een selectie gemaakt worden uit de taaltaken die in de eerste fase als | |
| |
problematisch aangemerkt zijn. Zes taken zijn door studenten en docenten als relatief problematisch aangemerkt: (1) het grondig en studerend lezen van een studieboek of - tekst; (2) het samenvatten van een studieboek of -tekst in relatief weinig tijd; (3) het schrijven van een verslag van een onderzoek, boek of artikel; (4) de draad volgen van een les of college; (5) het beknopt beantwoorden van schriftelijke tentamenvragen; (6) het leveren van een bijdrage aan een discussie. Niet al deze taken konden bij de peiling betrokken worden. De keuze is gevallen op: samenvatten, verslagen schrijven en de draad volgen van een les of college. Bij deze drie taken werden de problemen het sterkst gevoeld.
Voor de tweede fase van het onderzoek zijn de volgende onderzoeksvragen geformuleerd:
| 1 | Welke prestaties leveren eerstejaars HBO-studenten op de volgende taaltaken: samenvatten, verslagen schrijven en de draad volgen van een les of college? |
| 2 | Welke prestaties op deze taken zijn naar de mening van taalvaardigheidsdocenten en vakdocenten uit het HBO minimaal nodig om zich als eerstejaars student in de betreffende taalgebruikssituaties te kunnen redden? |
| 3 | Welk niveau van presteren door de eerstejaars HBO-studenten is naar de mening van taalvaardigheidsdocenten en vakdocenten uit het HBO gewenst? |
| 4 | In welke mate zijn taalvaardigheidsdocenten en vakdocenten uit het HBO in staat de prestaties van eerstejaars HBO-studenten op de in dit onderzoek gebruikte toetsen te voorspellen? |
| 5 | Welke relaties zijn er per taak tussen de prestaties van de eerstejaars HBO-studenten en (a) de mate waarin zij problemen ervaren met het betreffende type taak, (b) de mate waarin zij aangeven onderwijs in een dergelijke taak te hebben gevolgd en (c) de mate waarin zij aangeven nog behoefte aan onderwijs in deze taak te hebben? |
| 6 | Welke relaties zijn er per taak tussen de prestaties van de eerstejaars HBO-studenten en (a) hun eindexamencijfers voor het vak Nederlands en (b) de wijze van doorstromen na het eerste studiejaar? |
| |
3 Instrumentatie
Taaltoetsen
Er is een samenvattingsopdracht ontwikkeld waarbij de proefpersonen een artikel van 2284 woorden tot een samenvatting van minimaal 150 en maximaal 300 woorden moesten terugbrengen. Voor het maken van de opdracht werden 55 minuten gegeven. In deze tijd moest het artikel gelezen en samengevat worden.
Het artikel is afkomstig uit een populair wetenschappelijk tijdschrift (Psychologie, jaargang 1986, nr. 7) en behandelt verschillende psychologische verklaringen voor het ontstaan van discriminerende ideeën en handelingen. Bij de keuze van het artikel is erop gelet dat het een vrij algemeen onderwerp betrof, om te voorkomen dat bepaalde groepen studenten bevoor-of benadeeld zouden worden. Daarnaast is gelet op de moeilijkheidsgraad van het artikel, die enigszins op eerstejaars HBO-studenten afgestemd diende te zijn. In de opdracht aan de studenten is expliciet gesteld dat de te maken samenvattingen alleen op hun inhoud beoordeeld zouden worden; op spelling, stijl en dergelijke is bij de beoordeling niet gelet.
Bij de opdracht is een beoordelingsvoorschrift geconstrueerd. Dit voorschrift bevat acht vragen over het al dan niet voorkomen van bepaalde inhoudselementen. Door beoordelaars moest bij elke vraag op een schaal (van 0 tot 4) aangegeven worden in hoeverre het betreffende inhoudselement in de samenvatting voorkomt. Onder de | |
| |
verschillende schaalpunten is gespecificeerd welke inhoud met een bepaald schaalpunt overeenkomt.
Bij de schrijfopdracht moesten de proefpersonen een artikel van 600 à 1000 woorden over vandalisme bij voetbalwedstrijden schrijven. Het artikel moest geschreven worden alsof het bestemd was voor een populair wetenschappelijk tijdschrift; het publiek werd in de opdracht omschreven als mensen met een HAVO-, een VWO-of een academische opleiding. Ook hier is om dezelfde reden gekozen voor een vrij algemeen onderwerp. Bij de opdracht zijn vijf vragen gegeven die in het te schrijven stuk zo goed mogelijk beantwoord moeten worden: (a) Wat is voetbalvandalisme? (b) Wat voor soort mensen maakt zich schuldig aan voetbalvandalisme? (c) Wat zijn de oorzaken van voetbalvandalisme? (d) Waar en onder welke omstandigheden vindt voetbalvandalisme plaats en wat zijn de directe aanleidingen? (e) Welke maatregelen tegen voetbalvandalisme zijn er reeds getroffen en welke zouden er nog getroffen moeten worden?
Bij de opdracht is een documentatiemap gevoegd, waarin artikelen en fragmenten over voetbalvandalisme uit boeken, kranten en tijdschriften zijn opgenomen. De meest relevante informatie voor het te schrijven stuk is in de artikelen en fragmenten van de documentatiemap omlijnd. Bij de omlijnde stukken is tevens aangegeven voor welk van de vijf vragen het betreffende stuk van belang is.
Voor het maken van de opdracht werd drie uur gegeven. In de opdracht werd aangeraden eerst één uur te gebruiken voor het lezen van de documentatie en het maken van aantekeningen in kladversie en om de resterende twee uur voor het ‘echte’ schrijven te gebruiken. Ook werd aangegeven waarop het geschreven stuk beoordeeld zou worden.
De beoordeling betrof vier punten. Ten eerste werd de inhoud beoordeeld aan de hand van de volgende vragen: (a) Worden er ten aanzien van de vijf vragen verschillende ideeën tegen elkaar afgewogen? (b) Worden er conclusies geformuleerd? (c) Is de manier waarop dit gebeurt voor de hypothetische lezers goed te volgen? Ten tweede werden de organisatie en stijl van het stuk beoordeeld: (a) Heeft het stuk een duidelijke structuur? (b) Is er sprake van een vloeiend betoog? Ten derde werd nagegaan in welke mate er uit de bijgeleverde documentatie is overgeschreven. In de opdracht staat dat twee à drie citaten met bronvermelding zijn toegestaan. Ten vierde werd het stuk op taalfouten beoordeeld: er werd gelet op spelling, interpunctie en grammaticaliteit.
De luistertoets bestond uit een lezing van de heer Brentjens, directeur van een groot uitgeversbedrijf (De Volkskrant, 7 maart 1986, p. 20). Deze tekst is door een medewerker van de SCO voorgedragen en op geluidsband opgenomen. De lezing duurt ongeveer 30 minuten.
De lezing gaat over de betekenis van massabladen voor de cultuur. Weer is een vrij algemeen onderwerp gekozen. Er werd gevraagd om tijdens het beluisteren van de lezing aantekeningen te maken en deze aantekeningen na het aanhoren van de lezing in een half uur uit te werken tot een dictaat waarin de belangrijkste ideeën uit de lezing weergegeven worden. In de opdracht werd vermeld dat er bij de beoordeling niet op spelling en taalgebruik gelet zou worden.
Het beoordelingsvoorschrift bij de luistertoets bestaat uit 28 beweringen die letterlijk of geparafraseerd in de lezing voorkomen en samen de inhoud van de lezing uitmaken. De beoordelaars moesten van elke bewering aangeven in welke mate deze, letterlijk dan wel geparafraseerd, in de dictaten voorkomt. De eerste vijf beweringen vormen het thema van de lezing. De overige 23 beweringen zijn te rangschikken onder één van de vijf thema-beweringen. Zij zijn als specificaties en voorbeelden van de thema-beweringen op te vatten. Aan de thema-beweringen is bij de beoordeling extra gewicht toegekend: zij werden bij de bepaling van de totaalscore dubbel geteld.
| |
| |
| |
Normeringsinstrumenten
De normering is uitgevoerd met behulp van schalen: reeksen van in kwaliteit oplopende produkten van de HBO-studenten. Nadat beoordelaars met behulp van de scoringsvoorschriften de produkten van de studenten hadden beoordeeld, zijn per te beoordelen aspect schalen geconstrueerd; één voor de inhoud van de samenvatting, één voor de inhoud van het dictaat van de luistertoets en drie voor de schrijfopdracht, voor de aspecten ‘inhoud’, ‘organisatie’ en ‘taalfouten’. (Het aspect ‘stijl’ verviel, omdat het niet betrouwbaar gemeten bleek te worden (zie paragraaf 4).
Bij de keuze van de schaalprodukten is er voor gezorgd dat de produkten op de schaal de gehele range van scores op de toetsen vertegenwoordigen. De schaal voor de samenvatting bevat negen voorbeeldprodukten, de schaal voor de luistertoets zeven en de drie schalen voor de schrijfopdracht bevatten elk zes voorbeeldprodukten. Er is gestreefd naar gelijke verschillen tussen de scores van opeenvolgende schaalprodukten. Bij de schaal voor de taalfouten is bij ieder produkt per categorie weergegeven wat het aantal fouten uit de betreffende categorie per 600 woorden is.
Aan de beoordelaars zijn de schalen met voorbeeldprodukten en bijbehorende scores aangeboden, te zamen met de complete opdrachten zoals de studenten die kregen bij de afname. De verdelingen van de studenten over de scores en de gemiddelde prestaties van de proefpersonen op de toetsen zijn niet aan de beoordelaars gegeven. Wij wilden voorkomen dat de informatie over de verdeling de gestelde normen zou kunnen beïnvloeden. De te stellen normen moesten alleen gebaseerd zijn op ideeën over het taalvaar-digheidsniveau dat noodzakelijk of wenselijk is voor het volgen van het eerste jaar van een HBO-opleiding.
De eerste vraag die per schaal aan de beoordelaars gesteld werd, luidt: welk niveau is minimaal voldoende om de hoofdvakken van uw opleiding probleemloos te kunnen volgen? Daarbij wordt gesteld, dat probleemloos in dit geval wil zeggen dat de eerstejaars student die aan de gestelde norm voldoet zonder vertraging zal kunnen doorstromen naar het tweede jaar. Hierbij is aangegeven dat een probleemloze doorstroming slechts voor een deel van de hier geoperationaliseerde taalvaardigheid zal afhangen. Het gaat hier daarom om het vaststellen van een niveau, waarbij gesteld kan worden dat het in elk geval niet aan de taalvaardigheid ligt, wanneer een student studieproblemen ondervindt.
De tweede aan de beoordelaars gestelde vraag luidt: bij uw antwoord op de vraag naar het minimaal vereiste niveau heeft mogelijk de overweging een rol gespeeld dat allerlei andere vaardigheden kunnen compenseren voor een gebrekkige taalvaardigheid. Indien u een uitspraak zou mogen doen over een niveau dat u minimaal gewenst vindt, ook al redden sommigen het zonder dit niveau ook wel, welk niveau zou u dan kiezen?
De derde aan de beoordelaars gestelde vraag luidt: op welk niveau denkt u dat het gemiddelde ligt van de proefpersonen die deelnemen aan het onderzoek?
De beoordelaars stellen hun eisen, wensen en verwachtingen door per vraag het schaalprodukt te kiezen dat het gevraagde niveau het dichtst benaderd. Hoofdvakdocenten is gevraagd om de vraag te beantwoorden voor hun eigen vak; taalbeheersingsdocenten is gevraagd om de norm te stellen met alle hoofdvakken als referentie.
| |
Vragenlijsten
Er zijn twee vragenlijsten geconstrueerd: een vragenlijst over taalvaardigheidsproblemen en een vragenlijst over de doorstroming vanuit het eerste studiejaar van het HBO.
De vragenlijst over de taalvaardigheidsproblemen bestond grotendeels uit vragen over 22 verschillende taaltaken. Deze 22 taken vormen een selectie uit de items van de vragenlijsten die in de eerste fase van het onderzoek gebruikt zijn. Er zijn alleen taken | |
| |
geselecteerd die in de eerste fase van het onderzoek problematisch bleken. Bij de 22 taken zijn steeds de volgende vijf vragen gesteld: (1) Hoe regelmatig heb je in het eerste jaar van je huidige opleiding met deze taak te maken? (2) Hoe belangrijk is het om deze vaardigheid goed te beheersen, wil je zonder problemen het eerste jaar doorlopen? (3) Hoe moeilijk vind je de taak, ongeacht het belang ervan? (4) Hoeveel onderwijs heb je op het HAVO of VWO in deze taak genoten? (5) Hoeveel behoefte heb je nu nog aan onderwijs in deze taak, in verband met je huidige studie? Verder werd naar achtergrondgegevens van de studenten gevraagd: hun leeftijd en hun sexe, het type HBO-opleiding dat zij volgen, hun vooropleiding, het behaalde diploma Voortgezet Onderwijs, het eindexamencijfer voor het vak Nederlands en het al dan niet voorkomen van een vak als Taalbeheersing in het vakkenpakket van het eerste studiejaar in het HBO. Tenslotte werd de studenten gevraagd om achtereenvolgens voor het vak Taalbeheersing en voor de overige vakken (hoofdvakken of beroepsgerichte vakken) de nummers op te schrijven van die taaltaken uit de lijst van 22 waaraan hun HBO-docenten aandacht besteden.
De vragenlijst over de doorstroming was bestemd voor afname aan het begin van het tweede studiejaar. De lijst bevatte vragen over de wijze waarop de studenten al dan niet doorgestroomd waren vanuit het eerste jaar. Bij de constructie van de antwoordcate-gorieën is in de eerste plaats een onderscheid aangebracht tussen studiestaking, studievertraging en directe doorstroming naar het tweede jaar. Binnen de groep vertraagden worden studenten die helemaal opnieuw zijn begonnen apart onderscheiden. Voor de studiestakers is in de enquête een vraag opgenomen naar de eventuele andere opleiding waarnaar zij zijn uitgeweken. Hierbij is een onderscheid in lagere, gelijkwaardige en hogere opleidingen aangebracht.
Het onderscheid tussen studiestaking en studievertraging is van belang omdat in ander onderzoek (Van Dyck, Van den Elshout en Hoogeveen, 1985) gebleken is dat studiestakers en studievertraagden verschillende oorzaken geven voor hun studieproblemen. Studiestakers en studievertraagden beginnen om verschillende redenen niet (direct) aan het tweede jaar. De studenten die vertraging oplopen noemen vooral niveau- en tempo-problemen, terwijl de studenten die met studeren stoppen overwegend motivatieproblemen noemen. Bij deze laatste groep zullen eventuele problemen op het gebied van taalvaardigheid wellicht een veel kleinere rol spelen.
| |
4 Dataverzameling
Populatie en steekproef
De onderzoekspopulatie uit het peilingsonderzoek omvat alle in Nederland wonende eerstejaars HBO-studenten uit het opleidingsjaar 1986-1987 (met uitzondering van de studenten uit het kunstonderwijs) die voor de eerste maal het eerste opleidingsjaar volgden en rechtstreeks afkomstig waren van een HAVO-of VWO-opleiding. Uit deze populatie is een steekproef getrokken, bestaande uit de volgende strata: (a) Technisch en agrarisch onderwijs, (b) Economisch, Administratief en Middenstandsonderwijs, (c) Sociaal Pedagogisch Onderwijs, (d) Hoger Gezondheidszorgonderwijs en (e) Opleidingen tot Onderwijsgevenden.
Voor de bepaling van het aantal studenten in de steekproef zijn we uitgegaan van een precisie van 10% bij een gemiddeld item. Afgaand op de uitkomsten van de proefafname is een steekproefgrootte vereist van 216. Rekening houdend met afvallers is besloten 300 studenten uit te nodigen. Daartoe werden 40 scholen benaderd. Het steekproefkader werd gevormd door een adreslijst van het Ministerie van Onderwijs en Wetenschappen. Per stratum werd aselect het aantal scholen getrokken dat naar verhouding vereist was. Na de | |
| |
trekking van deze eerste steekproef werd op dezelfde wijze een reserve-steekproef getrokken. In tien gevallen moest de reserve-steekproef aangesproken worden.
Van elke getrokken school werden een decaan of een directielid benaderd met het verzoek 50 brieven en enquête-formulieren onder eerstejaars HBO-studenten te verspreiden. Er meldden zich 484 studenten aan. Wanneer aan al de criteria voor het onderzoek was voldaan (vooropleiding, beschikbaarheid, enz.) werden de namen op de lijst van uit te nodigen studenten geplaatst, totdat deze lijst 300 namen bevatte. Per school zijn maximaal acht leerlingen geselecteerd.
Van 253 studenten waren alle gegevens op tijd binnen. De gegevens van 24 studenten werden vervolgens alsnog uit het bestand verwijderd, omdat zij uit strata afkomstig waren die anders naar verhouding oververtegenwoordigd zouden raken. Uiteindelijk hielden we 229 studenten over van wie alle gegevens compleet waren.
Uit een vergelijking van populatie- en steekproefkenmerken blijkt dat de steekproef op een aantal punten van de populatie afwijkt. De ernst van deze afwijkingen laat zich moeilijk beoordelen. De belangrijkste afwijkingen betreffen een oververtegenwoordiging van ex-HAVO leerlingen en van vrouwelijke studenten. De eerste afwijking zou een lichte onderschatting van het niveau van de populatie veroorzaakt kunnen hebben. Het effect van de tweede afwijking valt moeilijker in te schatten: zoals uit de resultaten zal blijken, zijn er in de steekproef geen consistente prestatieverschillen tussen mannelijke en vrouwelijke studenten.
| |
Beoordeling toetsprestaties
De prestaties op de toetsen zijn met behulp van beoordelaars bepaald. Elk produkt is beoordeeld door twee beoordelaars. De scores op de toetsen bestaan steeds uit het gemiddelde van de scores van de twee beoordelaars. Nadat alle produkten beoordeeld waren, heeft iedere beoordelaar 39 willekeurig getrokken produkten opnieuw beoordeeld.
Drie aspecten van de betrouwbaarheid van de beoordeling zijn bepaald: de interbeoordelaarsbetrouwbaarheid (de correlatie tussen de oordelen van de twee verschillende beoordelaars); de jury-stabiliteit (de correlatie tussen de som van de oordelen van dezelfde twee beoordelaars op het ene moment en de som van de oordelen van dezelfde twee beoordelaars op het andere moment); en de homogeniteit of onderlinge samenhang van items die de verschillende aspecten van de vaardigheid in kwestie beogen te meten.
Tabel 1: Intra-beoordelaarsbetrouwbaarheid, inter-beoordelaarsbetrouwbaarheid en homogeniteit (alpha) van de toetsen (N=aantal proefpersonen).
|
| Toets |
Intra N |
Inter N |
Alpha N |
| Samenvatting |
.95 37 |
.77 213 |
.52 213 |
| |
| Schrijfopdracht: |
|
|
|
| Inhoud |
.93 34 |
.71 217 |
.65 217 |
| Organisatie |
.87 38 |
.63 217 |
.68 217 |
| Stijl |
.77 36 |
.30 217 |
.42 217 |
| Taalfouten |
.80 15 |
.92 229 |
.63 229 |
| |
| Luistertoets: |
|
|
|
| Thema-beweringen |
.89 39 |
.73 228 |
.45 228 |
| Overige bew. |
.97 32 |
.89 204 |
.73 204 |
| Totaal |
.96 32 |
.88 204 |
.76 204 |
| |
| |
Uit Tabel 1 blijkt dat bij de samenvattingsopdracht de stabiliteit van de jury goed is. Er is maar één item met een geringe stabiliteit. De stabiliteit van de totaalscore (de som van de scores over de acht items of vragen) bedraagt .95. Uit de tabel blijkt verder dat de interbeoordelaarsbetrouwbaarheid redelijk is. Slechts één, het achtste, item heeft een erg lage inter-beoordelaarsbetrouwbaarheid. Toch is de item-rest correlatie van dit item met de somscore van de zeven andere items . 18. Op grond hiervan is besloten om dit item bij de verdere analyses te handhaven. De homogeniteit van de items van de samenvattingsopdracht bedraagt .52. Samenvattend kan gesteld worden dat de betrouwbaarheid van de samenvattingsopdracht redelijk tot goed is.
Uit de tabel blijkt verder dat de jury-stabiliteit voor de totaalscores voor de verschillende aspecten van de schrijfopdracht redelijk tot goed is. Er is maar één item met een zeer lage stabiliteit. Voor het vijfde item bij stijl kon vanwege het ontbreken van variantie geen stabiliteit bepaald worden. Uit de tabel blijkt verder dat de interbeoordelaars-betrouwbaarheid voor de verschillende aspecten matig tot goed is. De overeenstemming is het slechtst bij stijl; op itemniveau bedraagt zij gemiddeld. 18. Uit de tabel blijkt tenslotte dat de homogeniteit van de items die eenzelfde aspect betreffen over het algemeen redelijk is. Bij stijl is de homogeniteit echter gebrekkig. Samenvattend mag de betrouwbaarheid van de meeste onderdelen van de schrijfopdracht redelijk genoemd worden. Het aspect stijl is echter onvoldoende betrouwbaar gemeten. Besloten is om dit aspect niet bij de verdere analyses te betrekken.
De jury-stabiliteit voor de totaalscore op de luistertoets blijkt goed te zijn. Hetzelfde geldt voor de interbeoordelaarsovereenstemming. Voor één item konden stabiliteit en overeenstemming door gebrek aan variantie niet berekend worden. De homogeniteit van alle items van de luistertoets te zamen is goed te noemen. De homogeniteit van de vijf items over de thema-beweringen bedraagt .45. Samenvattend kan gesteld worden dat de betrouwbaarheid van de luistertoets goed is.
| |
Eisen, wensen en verwachtingen
Door 11 docenten Nederlands of Taalbeheersing en 17 vakdocenten is aan het norme-ringsonderzoek meegewerkt. In deze groep zijn het Technisch en Agrarisch Onderwijs en het Economisch en Administratief Onderwijs enigermate ondervertegenwoordigd.
Het doel van het normeringsonderzoek was het creëren van een interpretatiekader voor de peilingsresultaten. Naarmate de docenten het meer met elkaar eens zijn, kan aan de door hen gestelde normen meer waarde gehecht worden. Hoe geringer de variantie in de normen en voorspellingen is, hoe groter de consensus. Gegevens over de omvang van de variantie worden gepresenteerd in Tabel 2.
Uit Tabel 2 kan opgemaakt worden dat de vakdocenten wat strengere normen stellen dan de docenten Nederlands of Taalbeheersing. Het verschil tussen de gemiddelde eisen en wensen van de twee groepen docenten bedraagt als fractie van de over de twee groepen gepoolde standaarddeviatie .48. Deze waarde geeft aan dat we met een middelmatig effect te maken hebben (Cohen, 1977). Omdat de verschillen steeds in dezelfde richting gaan, nemen we aan dat het verschil niet op toeval berust. De verschillen tussen de verwachtingen van de twee groepen zijn kleiner en niet langer consistent qua richting. Zij bedragen als fractie van de over de twee groepen gepoolde standaardeviatie .20.
Opmerkelijk in Tabel 2 zijn de waarden van de standaarddeviaties. Deze bedragen gemiddeld 1.14. Deze waarde duidt erop dat er aanzienlijke verschillen van mening bestaan over wat de studenten minstens zouden moeten kunnen (de eisen), over wat zij eigenlijk zouden moeten kunnen (de wensen) en over wat ze feitelijk kunnen (de | |
| |
verwachtingen). Uit de gegevens in de tabel kan verder opgemaakt worden dat de docenten Nederlands onderling sterker verschillen dan de vakdocenten. Het verschil tussen de twee groepen is op dit punt overigens gering. Het treedt het sterkst aan het licht bij de verwachtingen.
De conclusie moet zijn dat de docenten maar beperkt overeenstemmen over hun normen en voorspellingen. Op het interpretatiekader dat wij aan hun eisen, wensen en verwachtingen ontlenen, valt daarom wel iets af te dingen. Wanneer wij hierna de prestaties van de studenten binnen het interpretatiekader plaatsen, zullen wij op deze constatering nog terugkomen.
Tabel 2: De variatie in de eisen, de wensen en de verwachtingen van de docenten Nederlands (DN), de vakdocenten (VD) en de totale groep docenten (TD). Gemiddelde (G) en standaarddeviatie (SD) voor vijf schalen: inhoud van de samenvatting (SAM); inhoud van de schrijfopdracht (I-SCHR), organisatie van de schrijfopdracht (O-SCHR) en taalfouten (TF-SCHR); en inhoud van het dictaat van de luistertoets (LUI).
|
| Schaal |
DN |
|
VD |
|
TD |
|
|
G |
SD |
G |
SD |
G |
SD |
| Eisen |
|
|
|
|
|
|
| SAM |
5.55 |
0.52 |
6.00 |
1.50 |
5.82 |
1.22 |
| I-SCHR |
3.64 |
1.12 |
4.18 |
0.95 |
3.96 |
1.04 |
| O-SCHR |
3.36 |
0.67 |
3.77 |
0.90 |
3.61 |
0.83 |
| TF-SCHR |
3.55 |
1.64 |
4.00 |
1.54 |
3.82 |
1.57 |
| LUI |
4.09 |
2.12 |
5.00 |
0.87 |
4.64 |
1.52 |
| |
| Wensen |
|
|
|
|
|
|
| SAM |
6.27 |
1.56 |
6.69 |
1.49 |
6.52 |
1.50 |
| I-SCHR |
4.00 |
1.10 |
4.59 |
0.94 |
4.36 |
1.03 |
| O-SCHR |
3.55 |
0.52 |
4.24 |
1.09 |
3.96 |
0.96 |
| TF-SCHR |
4.00 |
1.61 |
4.47 |
1.38 |
4.29 |
1.46 |
| LUI |
4.82 |
1.66 |
5.38 |
0.89 |
5.15 |
1.26 |
| |
| Verwachtingen |
|
|
|
|
|
|
| SAM |
4.82 |
1.10 |
4.50 |
1.28 |
4.63 |
1.20 |
| I-SCHR |
3.45 |
1.08 |
3.44 |
0.81 |
3.45 |
0.91 |
| O-SCHR |
3.14 |
0.60 |
3.24 |
0.56 |
3.20 |
0.57 |
| TF-SCHR |
2.95 |
1.39 |
2.85 |
0.88 |
2.89 |
1.08 |
| LUI |
3.64 |
1.19 |
4.09 |
0.78 |
3.91 |
0.96 |
Van belang voor de waarde van het interpretatiekader is tevens de kwaliteit van de verwachtingen van de docenten. Uit Tabel 3 blijkt dat het groepsgemiddelde van de docenten het gemiddelde van de feitelijke prestaties op de toetsen niet nauwkeurig voorspelt. Voor de totale groep docenten bedraagt het gemiddelde absolute verschil tussen het voorspelde en het werkelijke gemiddelde .89: iets minder dan één schaalpunt. De beste voorspellingen betreffen de inhoud van de schrijfopdracht en de luistertoets; de slechtste | |
| |
voorspelling is die voor de samenvatting. De rangorde-correlatie tussen de voorspelde en de werkelijke gemiddelden bedraagt voor de totale groep docenten .70. Vanzelfsprekend is de kwaliteit van de voorspellingen van individuele docenten beduidend geringer.
Opvallend is dat de docenten de prestaties van de studenten in op één na alle gevallen lager inschatten dan zij in werkelijkheid zijn. Vooral voor de samenvatting zijn de verwachtingen over de prestaties veel lager dan het werkelijke niveau. Uit de tabel blijkt verder dat er zich tussen de docenten Nederlands of Taalbeheersing en de vakdocenten wat betreft de kwaliteit van de voorspellingen geen grote verschillen voordoen. De conclusie mag zijn dat de docenten als groep de prestaties niet meer dan redelijk kunnen voorspellen. Ook op dit punt kan dus op de kwaliteit van het interpretatiekader wel iets afgedongen worden.
Tabel 3: Gemiddeld voorspelde prestaties en feitelijke prestaties: voorspeld gemiddelde (VG) met bijbehorende standaardeviatie (SD), feitelijk gemiddelde (FG), verschil tussen voorspeld en feitelijk gemiddelde (V-F) en range (R) van de schalen voor de inhoud van de samenvatting (SAM), de inhoud van de schrijfopdracht (I-SCHR), de organisatie van de schrijfopdracht (O-SCHR), de taalfouten (TF-SCHR) en het dictaat van de luistertoets (LUI)
|
| Schaal |
VG |
SD |
FG |
V-F |
R |
| Totale groep |
|
|
|
|
|
| SAM |
4.63 |
1.20 |
6.52 |
-1.89 |
1-9 |
| I-SCHR |
3.45 |
0.91 |
3.18 |
0.27 |
1-6 |
| O-SCHR |
3.20 |
0.57 |
4.13 |
-0.93 |
1-6 |
| TF-SCHR |
2.89 |
1.08 |
3.77 |
-0.88 |
1-6 |
| LUI |
3.91 |
0.96 |
4.37 |
-0.46 |
1-7 |
| |
| Nederlands |
|
|
|
|
|
| SAM |
4.82 |
1.10 |
6.52 |
-1.70 |
1-9 |
| I-SCHR |
3.45 |
1.08 |
3.18 |
0.27 |
1-6 |
| O-SCHR |
3.14 |
0.60 |
4.13 |
-0.99 |
1-6 |
| TF-SCHR |
2.95 |
1.39 |
3.77 |
-0.82 |
1-6 |
| LUI |
3.64 |
1.19 |
4.37 |
-0.73 |
1-7 |
| |
| Vakdocenten |
|
|
|
|
|
| SAM |
4.50 |
1.28 |
6.52 |
-2.02 |
1-9 |
| I-SCHR |
3.44 |
0.81 |
3.18 |
0.26 |
1-6 |
| O-SCHR |
3.24 |
0.56 |
4.13 |
-0.89 |
1-6 |
| TF-SCHR |
2.85 |
0.88 |
3.77 |
-0.92 |
1-6 |
| LUI |
4.09 |
0.78 |
4.37 |
-0.28 |
1-7 |
| |
5 Resultaten: toetsprestaties, eisen, wensen en verwachtingen
In Figuur 1 zijn de prestaties op de samenvattingsopdracht weergegeven. De figuur bevat de verdeling van de prestaties over de schaal met negen voorbeeldprodukten die aan de | |
| |
docenten uit het normeringsonderzoek is voorgelegd. In de tabel worden verder de gegevens over de gemiddelde eisen, wensen en verwachtingen vermeld.
Uit Figuur 1 kan opgemaakt worden dat de docenten de prestaties van de HBO-studenten sterk onderschat hebben. De docenten verwachtten een gemiddelde prestatie tussen de schaalpunten 4 en 5; het gemiddelde van de feitelijke prestaties ligt twee schaalpunten hoger. Uit de figuur kan verder afgelezen worden dat de docenten gemiddeld genomen een minimumnorm eisen die iets meer dan een half schaalpunt onder het feitelijk gemiddelde ligt. De minimumnorm ligt boven de prestaties van een aanzienlijke groep studenten: 32% heeft een samenvatting geschreven waarvan de kwaliteit onder de minimumnorm ligt. Tenslotte laat de figuur zien hoe de feitelijke prestaties en het gewenste niveau zich tot elkaar verhouden. Het niveau dat de docenten eigenlijk wensen, valt toevallig samen met het feitelijke gemiddelde. Onder het gewenste niveau ligt 40% van de prestaties.
Bij de resultaten moet aangetekend worden dat de prestaties op de verschillende items of vragen sterk uiteenlopen. Met twee items die nagaan of het hoofdonderwerp van het artikel begrepen is, hebben de studenten weinig moeite. Twee andere items bleken veel moeilijker; de studenten konden hiervoor alleen een hoge score krijgen als zij het héle artikel begrepen hadden.
Figuur 1: Samenvattingsopdracht: verdeling van de prestaties, schaalpunten met bijbehorende somscores en eisen, wensen en verwachtingen vergeleken met de feitelijke prestaties.
| |
Schaalpunt |
% studenten onder norm |
| Feitelijk gemiddelde |
6.5 |
|
| Verwacht niveau |
4.6 |
|
| Minimumnorm |
5.8 |
32.3 |
| Gewenst niveau |
6.5 |
39.4 |
In Figuur 2 zijn de prestaties met betrekking tot de inhoud van de schrijfopdracht weergegeven. De prestaties op de verschillende items lopen opnieuw sterk uiteen. Vier | |
| |
items zijn middelmatig moeilijk voor de studenten. Met deze items wordt respectievelijk nagegaan in hoeverre het begrip ‘voetbalvandalisme’ omschreven wordt, in hoeverre beschreven wordt welke mensen zich aan voetbalvandalisme schuldig maken, welke oorzaken van voetbalvandalisme er te onderscheiden zijn en welke maatregelen er getroffen kunnen worden. De moeilijke items zijn bedoeld om te verifiëren of er uit de verschillende bronnen voldoende relevante informatie verstrekt wordt om de beweringen uit drie van de vier bovengenoemde items te ondersteunen. De prestaties van de studenten op deze items zijn laag; zij geven dus weinig ondersteuning voor de beweringen die zij in hun teksten doen. Met het makkelijkste item werd nagegaan of de studenten veel overbodige informatie verstrekten; dit bleek niet het geval te zijn.
Figuur 2: Inhoud van de schrijfopdracht: verdeling van de prestaties, schaalpunten met bijbehorende somscores en eisen, wensen en verwachtingen vergeleken met de feitelijke prestaties.
| |
Schaalpunt |
% studenten onder norm |
| Feitelijk gemiddelde |
3.2 |
|
| Verwacht niveau |
3.5 |
|
| Minimumnorm |
4.0 |
87.9 |
| Gewenst niveau |
4.4 |
91.0 |
Uit Figuur 2 kan opgemaakt worden dat de docenten de prestaties van de studenten in lichte mate overschat hebben. De docenten verwachtten een gemiddelde prestatie tussen de schaalpunten 3 en 4; het gemiddelde van de feitelijke prestaties ligt net boven schaalpunt 3. Uit de figuur kan verder afgelezen worden dat de docenten gemiddeld genomen een minimumnorm eisen die iets minder dan een heel schaalpunt boven het feitelijke gemiddelde ligt. De minimumnorm ligt boven de prestaties van de overgrote meerderheid van de studenten: 88% heeft een tekst geschreven waarvan de kwaliteit van de inhoud onder de minimumnorm ligt. Tenslotte laat de figuur zien hoe de feitelijke prestaties en het gewenste niveau zich tot elkaar verhouden. Het niveau dat de docenten eigenlijk wensen, ligt meer dan een vol schaalpunt boven het feitelijke gemiddelde. Onder het gewenste niveau ligt maar liefst 91% van de prestaties.
| |
| |
In Figuur 3 zijn de prestaties met betrekking tot de organisatie van de schrijfopdracht weergegeven. De prestaties op de verschillende items lopen opnieuw sterk uiteen. Twee items zijn gemakkelijk voor de studenten. Deze items hebben betrekking op de alinea-indeling van de teksten. Twee andere items bleken middelmatig moeilijk; zij hebben betrekking op de kwaliteit van de inleiding en op de wijze waarop de verschillende alinea's met elkaar verbonden zijn. De meeste moeite hadden de studenten met de items die gericht waren op de kwaliteit van de afsluitende conclusie en de aansluiting van de conclusie op de rest van het artikel. Op deze items presteren de studenten gemiddeld genomen laag.
Figuur 3: Organisatie van de schrijfopdracht: verdeling van de prestaties, schaalpunten met bijbehorende somscores en eisen, wensen en verwachtingen vergeleken met de feitelijke prestaties.
| |
Schaalpunt |
% studenten onder norm |
| Feitelijk gemiddelde |
4.1 |
|
| Verwacht niveau |
3.2 |
|
| Minimumnorm |
3.6 |
27.7 |
| Gewenst niveau |
4.0 |
43.0 |
Uit Figuur 3 kan opgemaakt worden dat de docenten de prestaties van de studenten duidelijk onderschat hebben. Uit de figuur kan verder afgelezen worden dat de docenten gemiddeld genomen een minimumnorm eisen die ongeveer een half schaalpunt boven het feitelijke gemiddelde ligt. De minimumnorm ligt boven de prestaties van een flinke groep studenten: 28% heeft een tekst geschreven waarvan de kwaliteit van de organisatie onder de minimumnorm ligt. Tenslotte laat de figuur zien hoe de feitelijke prestaties en het gewenste niveau zich tot elkaar verhouden. Het niveau dat de docenten eigenlijk wensen, ligt driekwart schaalpunt boven het feitelijke gemiddelde. Onder het gewenste niveau ligt 43% van de prestaties.
In Figuur 4 zijn de prestaties met betrekking tot de taalfouten van de schrijfopdracht | |
| |
weergegeven. De figuur laat zien dat de verdeling twee toppen heeft, een eerste top bij schaalpunt 2 en een tweede top bij schaalpunt 6. Waarschijnlijk is de tweetoppigheid een gevolg van het feit dat er twee groepen studenten te onderscheiden zijn waarvan de gemiddelde vaardigheid op het aspect taalfouten sterk verschilt. Via kruistabel-analyse zijn wij nagegaan of de tweetoppigheid samenhangt met de volgende kenmerken: het type HBO-opleiding dat de studenten volgen, hun geslacht en de gevolgde vooropleiding. Bij analyse bleek dat de studenten uit de vijf verschillende HBO-strata ongeveer even goed presteren. Wel van invloed bleken het geslacht en de vooropleiding van de studenten. Een gamma berekend over kruistabellen waarbij gesplitst is op de gemiddelde minimumnorm bedraagt .16 voor het kenmerk geslacht en .67 voor het kenmerk vooropleiding. Vooral het laatste kenmerk is van invloed: van de studenten met een HAVO-vooropleiding scoort 52% onder de zo dadelijk te behandelen gemiddelde minimumnorm tegen 17% van de studenten met een VWO-vooropleiding.
Figuur 4: Taalfouten schrijfopdracht: verdeling van de prestaties, schaalpunten met bijbehorende somscores en eisen, wensen en verwachtingen vergeleken met de feitelijke prestaties.
| |
Schaalpunt |
% studenten onder norm |
| Feitelijk gemiddelde |
3.8 |
|
| Verwacht niveau |
2.9 |
|
| Minimumnorm |
3.8 |
39.7 |
| Gewenst niveau |
4.3 |
44.9 |
Uit Figuur 4 kan opgemaakt worden dat de docenten de prestaties van de studenten duidelijk onderschat hebben. De docenten verwachtten een gemiddelde prestatie net onder het derde schaalpunt; het gemiddelde van de feitelijke prestaties ligt iets onder het vierde schaalpunt. Uit de figuur kan verder afgelezen worden dat de docenten gemiddeld genomen een minimumnorm eisen die vrijwel gelijk is aan het feitelijke gemiddelde. De minimumnorm ligt boven de prestaties van een grote groep studenten: 40% heeft een tekst geschreven die meer taalfouten bevat dan de minimumnorm toelaat. Tenslotte laat de | |
| |
figuur zien hoe de feitelijke prestaties en het gewenste niveau zich tot elkaar verhouden. Het niveau dat de docenten eigenlijk wensen, ligt een half schaalpunt boven het feitelijke gemiddelde. Onder het gewenste niveau ligt 45% van de prestaties.
Nadere gegevens over de prestaties van de studenten zijn te vinden in Tabel 4. Deze tabel bevat een uitsplitsing van de resultaten naar de afzonderlijke typen fouten die bij de beoordeling onderscheiden zijn. Uit de tabel blijkt dat de studenten per 600 woorden gemiddeld 20 taalfouten maken.
Tabel 4: Taalfouten in de schrijfopdracht: gemiddeld aantal fouten per 600 woorden (G), standaarddeviatie (SD) en aantal proefpersonen (N).
|
| Categorie |
G |
SD |
N |
| Spelling (algemeen) |
5.8 |
4.7 |
229 |
| Spelling (werkwv.) |
0.9 |
1.1 |
229 |
| Interpunctie |
6.4 |
5.3 |
229 |
| Grammatica |
5.5 |
3.7 |
229 |
| Idioom |
1.8 |
1.4 |
229 |
| Totaal |
20.4 |
11.7 |
229 |
De meeste fouten worden gemaakt in de spelling (exclusief fouten in de werkwoordspelling), in de grammatica en in de interpunctie. Voor deze drie categorieën bedraagt het aantal fouten per 100 woorden gemiddeld 1. De studenten maken gemiddeld veel minder fouten in de werkwoordspelling en in het idioom. Bij dit laatste moet wel bedacht worden dat er zich in deze laatste twee categorieën minder gelegenheden tot het maken van fouten voordoen.
In Figuur 5 zijn tenslotte de prestaties met betrekking tot de luistertoets weergegeven. De prestaties op de verschillende items lopen opnieuw sterk uiteen. De prestaties op de items die betrekking hebben op de vijf thema-beweringen zijn relatief beter dan de prestaties op de items die betrekking hebben op de overige beweringen. Veel items uit deze laatste groep bleken moeilijk voor de studenten. Dit is niet verwonderlijk, omdat deze items betrekking hebben op details van de lezing.
Uit Figuur 5 kan opgemaakt worden dat de docenten de prestaties van de studenten onderschat hebben. Uit de figuur kan verder afgelezen worden dat de docenten gemiddeld genomen een minimumnorm eisen die driekwart schaalpunt boven het feitelijke gemiddelde ligt. De minimumnorm ligt boven de prestaties van de meerderheid van de studenten: 57% heeft een dictaat geschreven waarvan de kwaliteit van de inhoud onder de minimumnorm ligt.
Tenslotte laat de figuur zien hoe de feitelijke prestaties en het gewenste niveau zich tot elkaar verhouden. Het niveau dat de docenten eigenlijk wensen, ligt iets minder dan een vol schaalpunt boven het feitelijke gemiddelde. Onder het gewenste niveau ligt niet minder dan 71% van de prestaties.
| |
| |
Figuur 5: Luistertoets: verdeling van de prestaties, schaalpunten met bijbehorende somscores en eisen, wensen en verwachtingen vergeleken met de feitelijke prestaties.
| |
Schaalpunt |
% studenten onder norm |
| Feitelijk gemiddelde |
4.4 |
|
| Verwacht niveau |
3.9 |
|
| Minimumnorm |
4.6 |
57.3 |
| Gewenst niveau |
5.2 |
71.6 |
In het voorafgaande zijn de prestaties van de studenten vergeleken met de eisen, de wensen en de verwachtingen van de HBO-docenten. Gebleken is dat de docenten de prestaties over het algemeen onderschatten. Dit geldt vooral voor de inhoud van de samenvattingen. De inhoud van de schrijfopdracht vormt de enige uitzondering op de regel: hier hebben de docenten de prestaties van de studenten overschat.
De confrontatie van de prestaties met de eisen en de wensen van de docenten laat zien dat aanzienlijke tot zeer grote groepen van de studenten onder de gestelde normen presteren. De prestaties voor de inhoud van de schrijfopdracht schieten het meest tekort in de ogen van de docenten; de prestaties voor de organisatie van de schrijfopdracht voldoen nog het meest aan de gestelde normen. Tabel 5 vat de resultaten van de confrontatie samen.
Bij de gegevens in Tabel 5 moet bedacht worden dat de normen die de docenten stellen aanzienlijk variëren. De minimumnorm van de ene docent kan sterk afwijken van de minimumnorm van de andere docent. Hetzelfde geldt voor de opinies over het gewenste niveau. Er is blijkbaar veel verschil van mening over de mate van taalvaardigheid waarover HBO-studenten dienen te beschikken. In paragraaf 2 hebben wij reeds opgemerkt dat deze variatie de kwaliteit van het interpretatiekader aantast. In het bovenstaande hebben wij daarom steeds gewag gemaakt van de gemiddelde minimumnorm en van het gemiddelde gewenste niveau. Hoewel deze gemiddelden geen consensus vertegen- | |
| |
woordigen, beschrijven zij wel de norm ten opzichte waarvan alle individuele docenten de kleinste afstand innemen.
Tabel 5: Prestaties vergeleken met de eisen en de wensen van de docenten: percentage studenten dat lager presteert dan de gemiddelde minimumnorm (GM) en percentage studenten dat lager presteert dan het gemiddelde gewenste niveau (GG).
|
| Toets(onderdeel) |
GM |
GG |
| Inhoud schr. |
88% |
91% |
| Luistertoets |
57% |
72% |
| Taalfouten schr. |
40% |
45% |
| Samenvatting |
32% |
39% |
| Organisatie schr. |
28% |
43% |
Natuurlijk zijn ook andere keuzen mogelijk, met andere consequenties voor het percentage studenten dat onder de norm presteert. Dit wordt zichtbaar gemaakt in Figuur 6.
In Figuur 6 bevat de horizontale as het cumulatieve percentage docenten dat een minimumnorm stelt van dezelfde of een geringere hoogte. De 50%-minimumnorm is bij voorbeeld de mediane of middelste waarde van de verdeling van de individuele minimumnormen. De helft van de docenten legt een minder strenge minimumnorm aan, de helft legt een strengere minimumnorm aan. Van links naar rechts op de horizontale as neemt de strengheid van de minimumnormen toe.
Op de verticale as is het cumulatieve percentage studenten weergegeven dat een prestatie levert onder de door de docenten gestelde minimumnorm. Uit het eerste deel van Figuur 6, dat betrekking heeft op de samenvatting, valt bij voorbeeld af te lezen dat iets meer dan 30% van de studenten onder de mediane minimumnorm van de docenten presteert.
De figuur laat zien hoezeer de minimumnormen van de docenten variëren. Uit de figuur kunnen ook de consequenties van andere keuzen dan de door ons gemaakte afgeleid worden. Eén alternatieve keuze willen wij hier in overweging geven: de 20%- minimumnorm. Dit is de norm die door 80% van de docenten minstens wordt aangelegd. Minder strenge eisen worden maar door een kleine minderheid van 20% gesteld. De consequenties van de 20%-minimumnorm zijn vanzelfsprekend minder ernstig dan de consequenties van de door ons gekozen gemiddelde minimumnorm. Onder de 20%-minimumnorm presteren de volgende percentages studenten: 4% bij de samenvatting, 19% bij de inhoud van de schrijfopdracht, 10% bij de organisatie van de schrijfopdracht, 12% bij de taalfouten en 26% bij de luistertoets. Ook blijkens deze norm doen de grootste problemen zich bij de luistertoets en bij de inhoud van de schrijfopdracht voor.
| |
| |
| |
| |
Figuur 6: Relatie tussen de strengheid van de normen en de percentages studenten die onder de desbetreffende normen presteren. Horizontaal: het cumulatieve percentage docenten dat een gelijke of minder strenge minimumnorm stelt (CPD). Verticaal: het cumulatieve percentage studenten dat een prestatie levert onder de door de docenten gestelde minimumnorm (CPS).
| |
6 Relaties tussen prestaties en andere variabelen
Om na te gaan in hoeverre de prestaties op de toetsen met de overige variabelen samenhangen, zijn kruistabel- en correlatie-analyses verricht. Bij de kruistabel-analyses is de steekproef in twee helften gesplitst: studenten die boven de mediane minimumnorm presteren en studenten die eronder presteren. In het onderstaande worden de resultaten van deze analyses gepresenteerd.
Er bestaan zwakke verbanden tussen het geslacht van de studenten en hun toetspres-taties; de over de kruistabellen berekende gamma's bedragen: .40 voor de samenvatting, .10 voor de inhoud van de schrijfopdracht, -.38 voor de organisatie van de schrijfopdracht, .16 voor de taalfouten en -.10 voor de luistertoets.
| |
| |
Bij de samenvatting presteerde 42% van de mannelijke studenten onder de mediane minimumnorm, tegen 24% van de vrouwelijke studenten. Bij de overige toetsen presteren de volgende percentages mannelijke respectievelijk vrouwelijke studenten onder de mediane minimumnorm: 85% en 82% (inhoud van de schrijfopdracht), 18% en 32% (organisatie van de schrijfopdracht), 44% en 36% (de taalfouten) en 63% en 68% (de luistertoets).
De verschillen tussen de prestaties van de mannelijke en de vrouwelijke studenten zijn niet consistent: op de ene toets presteert de ene groep beter, op de andere toets presteert de andere groep beter.
Er bestaan zwakke tot redelijk sterke verbanden tussen de vooropleiding van de studenten en hun toetsprestaties; de over de kruistabellen berekende gamma's bedragen: .42 voor de samenvatting, .02 voor de inhoud van de schrijfopdracht, .16 voor de organisatie van de schrijfopdracht, .67 voor taalfouten en .69 voor de luistertoets.
Bij de samenvatting presteerde 39% van de ex-HAVO-leerlingen onder de mediane minimumnorm, tegen 21% van de ex-VWO-leerlingen. Bij de overige toetsen presteren de volgende percentages ex-HAVO-respectievelijk ex-VWO-leerlingen onder de mediane minimumnorm: 83% en 83% (inhoud van de schrijfopdracht), 27% en 21% (organisatie van de schrijfopdracht), 52% en 18% (de taalfouten) en 79% en 41% (de luistertoets).
De verschillen tussen de twee groepen zijn consistent en in een richting die verwacht kon worden.
Alleen de prestaties met betrekking tot het aspect taalfouten hangen enigszins samen met het genoten onderwijs in het Voortgezet Onderwijs. De hoeveelheid genoten onderwijs in spelling en interpunctie correleert .21 met de betreffende toetsprestatie. Voor de overige toetsprestaties waren de correlaties lager.
De samenhang tussen het eindexamencijfer voor het vak Nederlands in het Voortgezet Onderwijs en de toetsprestaties is apart berekend voor ex-leerlingen van het HAVO en het VWO. Voor de ex-HAVO-leerlingen vertonen de prestaties op de luistertoets en de prestaties voor de organisatie van de schrijfopdracht een zwakke positieve samenhang met het eindexamencijfer (r = .26 bij n = 134 respectievelijk .16 bij n = 140).
Voor de ex-VWO-leerlingen vertonen de prestaties op de luistertoets en de prestaties met betrekking tot de taalfouten bij de schrijfopdracht een zwakke positieve samenhang met het eindexamencijfer (r = .38 bij n = 68 respectievelijk .21 bij n = 21). De overige toetsprestaties vertonen geen noemenswaardige samenhang met de eindexamencijfers.
De lage correlaties tussen de toetsprestaties en de eindexamencijfers kunnen voor een deel veroorzaakt zijn door de geringe spreiding in de eindexamencijfers. Bijna alle studenten hadden een 6 of een 7.
Er bestaan geen duidelijke verbanden tussen de HBO-strata waaruit de studenten afkomstig zijn en hun toetsprestaties. De verschillen die er zijn, betreffen vooral het Technische en Agrarische stratum; de afwijkingen van dit stratum ten opzichte van de andere strata zijn te verklaren door de wisselende verhoudingen tussen mannelijke en vrouwelijke studenten binnen de strata. Zoals hierboven werd gemeld, presteren de mannelijke studenten duidelijk slechter op de samenvatting, slechter op de taalfouten en beter op de organisatie van de schrijfopdracht. Door de kleine steekproefomvang per stratum kan op de gevonden verschillen overigens weinig staat gemaakt worden.
Daar er slechts 12 studenten uit de steekproef geen lessen Nederlands of Taalbeheersing op hun lesrooster hadden staan, kon het verband van deze variabele met de toetsprestaties niet worden geëvalueerd.
De toetsprestaties hangen niet samen met het in de taaltaken genoten onderwijs in het
| |
| |
HBO.
Voor de meeste toetsprestaties is de samenhang met de ervaren moeilijkheid van de taken verwaarloosbaar. Zwakke samenhangen doen zich alleen voor bij de categorieën spelling en interpunctie (een correlatie van .40) en grammatica en idioom (correlatie van .20).
Aan de hand van de vragen over de doorstroming, hebben wij drie studietempo-categorieën onderscheiden: studenten die zonder vertraging naar het tweede studiejaar doorstromen (directe doorstromers), studenten die na herexamens naar het tweede jaar doorstromen (vertraagde doorstromers) en studenten die na afloop van het eerste studiejaar opnieuw zijn begonnen aan het eerste jaar van dezelfde, een gelijkwaardige of een lagere opleiding (herstarters). De studenten die met studeren gestopt zijn, zijn niet verder bij de analyse betrokken. Het ging hier slechts om twee studenten. Uit Tabel 6 kan de samenhang tussen de toetsprestaties en de doorstroming vanuit het eerste HBO-jaar opgemaakt worden.
Tabel 6: Percentages studenten per studietempocategorie die onder de mediane minimumnorm presteren voor de toetsen: samenvatting (SAM), inhoud van de schrijfopdracht (I-S), organisatie van de schrijfopdracht (O-S), taalfouten (TF) en luistertoets (LUI). (Aantal proefpersonen = N)
|
| Categorie |
SAM |
I-S |
O-S |
TF |
LUI |
N |
| Directe doorstromers |
23% |
84% |
21% |
33% |
58% |
139 |
| Vertraagde doorstromers |
44% |
80% |
23% |
50% |
73% |
42 |
| Herstarters |
49% |
81% |
35% |
50% |
85% |
38 |
Uit de tabel blijken de prestaties van de drie categorieën te verschillen. De verschillen komen overeen met wat verwacht mocht worden: de toetsprestaties van de directe doorstromers zijn het best, de toetsprestaties van de herstarters zijn het slechtst. De verschillen zijn het sterkst bij de samenvatting en bij de luistertoets. Bij de inhoud van de schrijfopdracht doen zich geen noemenswaardige verschillen voor.
| |
7 Discussie
De resultaten overziend kan geconcludeerd worden dat de taalvaardigheid van een aanzienlijk deel van de eerstejaars studenten uit het HBO niet voldoet aan de eisen en wensen van HBO-docenten. Bij deze conclusie zijn twee kanttekeningen op hun plaats. Eén: de taalvaardigheid voldoet weliswaar niet aan de gestelde normen, maar is op vrijwel alle onderdelen hoger dan de HBO-docenten verwachten. Twéé: de normen die de docenten aanleggen variëren sterk. Er is blijkbaar veel verschil van mening over het taalvaardigheidsniveau dat in het HBO vereist is.
De sterke variatie in de normen van de docenten zou door selectie en training van de beoordelende docenten wellicht bestreden kunnen worden. In het onderhavige onderzoek hebben we echter van selectie en training afgezien. De criteria die daarvoor nodig zijn, ontbreken. Bovendien geldt dat alle docenten, door de aard van hun werkzaamheden, in principe ter zake kundig zijn en recht van spreken hebben.
Toch menen wij dat onze onderzoeksresultaten de klachten over de taalvaardigheid van | |
| |
HBO-studenten ondersteunen. Ook bij zeer soepele normen zijn er niet te verwaarlozen aantallen studenten die onder norm presteren. Dit geldt in het bijzonder voor de luistertoets en voor de inhoud van de schrijfopdracht. Aandacht voor de taalvaardigheidsproblemen van studenten is daarom geboden, door middel van gerichte instructie in die (deel)vaardigheden die problemen opleveren. Het taalvaardigheidsonderwijs dat in het HBO nodig is, moet zich niet alleen tot het luisteren en samenvatten beperken. Aandacht voor het schrijven is ook gewenst. Het schrijven van teksten met een goede argumentatiestructuur wordt door studenten immers wel als een knelpunt ervaren. Bovendien geldt voor de meeste opleidingen dat in de hogere studiejaren (b.v. bij het schrijven van scripties) aan de schrijfvaardigheid toenemende eisen worden gesteld.
De toetsprestaties vertonen met allerlei andere variabelen op zijn best zwakke relaties. Dit geldt voor het geslacht van de studenten en voor hun eindexamencijfer voor Nederlands in het VO. Bij deze laatste variabele kan de geringe spreiding van de examencijfers de sterkte van de gevonden samenhang negatief beïnvloed hebben. Hetzelfde zou kunnen gelden voor de variabelen die het aanbod van het onderwijs Nederlands in het VO en in het HBO betreffen. De studenten gaven te kennen dat zij in de meeste taaltaken maar weinig onderwijs genoten hebben; ook hier was de variatie dus beperkt. Het ontbreken van een verband tussen de toetsprestaties en de ervaren moeilijkheid van de taaltaken is opvallend. Het zou kunnen dat de studenten zich niet bewust zijn van de tekorten in hun eigen taalvaardigheid. Waarschijnlijk leggen zij heel andere normen aan dan hun docenten. De verschillen tussen de prestaties van de studenten uit de verschillende HBO-strata bleken tenslotte grotendeels teruggevoerd te kunnen worden op sexe-verschillen.
Sterkere verbanden vonden wij wel tussen de vooropleiding van de studenten, HAVO dan wel VWO, en hun toetsprestaties. De ex-HAVO-leerlingen presteerden beduidend slechter dan de ex-VWO-leerlingen. In hoeverre dit verschil een gevolg is van verschillen tussen het onderwijs Nederlands in het HAVO en het VWO valt niet met zekerheid te zeggen. Effecten van het curriculum zijn niet uitgesloten, maar er kan in dit verband zeker ook gedacht worden aan verschillen in leervermogen. Bovendien moet niet vergeten worden dat de HAVO-opleiding één jaar minder bedraagt dan de VWO-opleiding.
Opmerkelijk is het verband tussen de doorstroming vanuit het eerste studiejaar HBO en de toetsprestaties. De prestaties van drie categorieën studenten bleken te verschillen. De toetsprestaties van de directe doorstromers zijn het best; de toetsprestaties van de vertraagde doorstromers zijn minder; het slechtst zijn de toetsprestaties van de herstarters. De verschillen tussen de categorieën studenten zijn het sterkst bij de samenvatting en bij de luistertoets. Hierbij kan aangetekend worden dat samenvatten en luisteren van groot belang zijn bij de verwerking van schriftelijk en mondeling aangeboden leerstof. Het is goed om hier te waarschuwen tegen causale interpretaties van dit verband: het is niet aannemelijk dat de lagere prestaties van de herstarters de enige oorzaak van hun door-stromingsproblemen zijn. Er zijn tal van andere variabelen in het spel die de invloed van de taalvaardigheidsproblemen kunnen versterken of compenseren. Dat dit het geval kan zijn, blijkt alleen al uit het feit dat een niet onaanzienlijk deel van de studenten die boven de gemiddelde minimumnorm presteren, niet direct doorstromen. Omgekeerd stroomt een aanzienlijk deel van de studenten die onder de norm presteren, wel direct door. Dit gegeven relativeert enerzijds de betekenis van de gemiddelde minimumnorm, anderzijds is het waarschijnlijk dat het onderwijs in het HBO zich aanpast aan de gemiddeld te laag geachte taalvaardigheid van de studenten.
| |
| |
| |
Bibliografie
| Baltzer, J., Taalvaardigheid in het Hoger Onderwijs; Inleidend en samenvattend rapport. SCO, Amsterdam, 1986 |
| Baltzer, J., K. de Glopper & E. van Schooten, De taalvaardigheid van eerstejaars HBO-studenten. SCO, Amsterdam, 1988 |
| Bochardt, I.M., Taalvaardigheid in het Hoger Onderwijs; Een enquête onder de eerstejaars studenten. SCO, Amsterdam, 1985 |
| Bochardt, LM., I. Breetvelt & M. Klopman, Taalvaardigheid in het Hoger Onderwijs. Een enquête-onderzoekonder docenten Nederlands. SCO, Amsterdam, 1985 |
| Cohen, J., Statistical Power Analysis for the Behavioral Sciences. Revised Edition. Academic Press, New York, 1977 |
| Dijck, M. van, J. van den Elshout & K. Hoogeveen, Van voortgezet onderwijs naar HBO: Problemen, Oorzaken, Oplossingen. SVO, ‘s-Gravenhage, 1985 |
| Er wort steets meer fout gesgrefen. Verkennende nota over het moedertaalonderwijs. Staatsuitgeverij, ‘s-Gravenhage, juli 1981 |
| Es, M. van, Taalvaardigheid in het Hoger Onderwijs. Een enquête-onderzoek onder vakdocenten. COWO, Amsterdam, 1986 |
| Steehouder, M., Taalvaardigheidsonderwijs in het HBO. Technische Universiteit Twente, Enschede, 1985 |
| Zwitserlood, F. (red.), Taalvaardigheid in het Hoger Beroeps Onderwijs, tweede verslag. SLO, Enschede, 1984 |
|
|
Auteursrechtelijk beschermd
