Tijdschrift voor Taalbeheersing. Jaargang 15
(1993)– [tijdschrift] Tijdschrift voor Taalbeheersing–
Auteursrechtelijk beschermd
[pagina 82]
| |||||||||||||||||
ALEXIS: ervaringen met software voor schrijfvaardigheidsdocenten
| |||||||||||||||||
1 InleidingIn 1986/1987 verscheen in dit tijdschrift een dubbel-artikel over ALEXIS, een computer-programma bedoeld om docenten te helpen bij hun steeds terugkerende feedback-taken (Looijmans & Schrauwen, 1986; Looijmans, Maat & Schrauwen, 1987). De auteurs legden uit voor welke problemen in het schrijfvaardigheidsonderwijs ALEXIS een oplossing zou kunnen bieden, beschreven hoe het programma was opgebouwd en hoe docenten er mee zouden kunnen werken, en gingen in op de eerste ervaringen die er met ALEXIS waren opgedaan. Over systematisch onderzoek naar de effecten van ALEXIS konden ze op dat moment nog niet veel meer zeggen dan dat zulk onderzoek erg wenselijk zou zijn. Het programma was toen immers nog maar nauwelijks in gebruik. Inmiddels is de situatie veranderd. In de zes jaar die achter ons liggen, is ALEXIS op behoorlijke schaal verspreid, is er met wisselende intensiteit op een aantal plaatsen mee gewerkt en zijn er ook gegevens verzameld over effecten van ALEXIS in het onderwijs. In dit artikel doen we verslag van de belangrijkste conclusies van drie recente deelonderzoeken die rond ALEXIS zijn uitgevoerd, één als scriptie-projectGa naar eind1 en twee in het kader van een doctoraal-collegeGa naar eind2. Voordat we op dat onderzoek ingaan, bespreken we de belangrijkste kenmerken van het onderwerp van onderzoek: het feedback-programma zelf. | |||||||||||||||||
2 ALEXIS: een schetsDe ontwikkelaars van ALEXISGa naar eind3 zagen twee belangrijke functies voor ALEXIS in het schrijfvaardigheidsonderwijs. In de eerste plaats zou ALEXIS het docenten mogelijk maken om meer schrijfprodukten in minder tijd van commentaar te voorzien. Daarnaast zou met ALEXIS de kwaliteit van het onderwijs kunnen worden verhoogd, vooral door de gedetailleerde en gedifferentieerde feedback die kan worden verstrekt. Gedetailleerd kan ALEXIS-feedback zijn doordat de commentaar-database waaruit kan worden geput, gevuld is met veel verschillende tekstjes. De meeste daarvan zijn verder uitgewerkt dan wat een docent die ‘klassiek’ commentaar geeft, zich meestal zal kunnen | |||||||||||||||||
[pagina 83]
| |||||||||||||||||
veroorloven. Gedifferentieerd kan ALEXIS-feedback zijn doordat ALEXIS de docent steeds verschillende opties biedt. Bij de keuzes die hijGa naar eind4 daaruit moet maken, kan hij zich laten leiden door zijn eigen onderwijskundige inzichten, door zijn inschatting van de behoeften van de student in kwestie, en natuurlijk door de sterke en zwakke kanten van het specifieke produkt dat hij van commentaar voorziet. Zo kan de docent bij een fout die hij aantreft in het werk van een student kiezen voor opdrachtspecifiek commentaar, dat speciaal bij een bepaalde opgave is aangemaakt, of voor opdrachtonafhankelijk commentaar, dat in principe op elke tekst van toepassing kan zijn. Binnen de laatste categorie wordt er in de ALEXIS-database onderscheid gemaakt tussen commentaren op categorieën als stofbehandeling, structuur, moeilijkheid, aanvaardbaarheid, spelling en interpunctie. Binnen deze categorieën worden weer sub-categorieën, sub-sub-categorieën en soms ook sub-sub-sub-categorieën onderscheiden. Die hiërarchische opbouw biedt de mogelijkheid om te variëren in gedetailleerdheid. De docent kan ervoor kiezen de student in globale termen toe te spreken (structuur laat te wensen over), maar hij kan ook een veel specifiekere aanwijzing geven (indelingsfout: één kernantwoord in verschillende alinea's). Voorts kan hij beslissen of hij een fout wil signaleren, dan wel een compliment wil geven. Weliswaar heeft het grootste deel van de commentaren in ALEXIS betrekking op tekortkomingen die een tekst kan vertonen, maar er zijn in alle categorieën ook commentaren voorhanden die de sterke punten in een tekst beklemtonen. Ten slotte kan de docent bij de tekortkomingen die hij aantreft, nog differentiëren in de didactische strekking van het commentaar dat op de print verschijnt. | |||||||||||||||||
Manier van werkenHoe gaat een docent te werk als hij met ALEXIS een aantal teksten van commentaar wil voorzien? Kort gezegd komt het hierop neer. Aan het begin van de cursus moet hij (eenmalig) de namen en groepsnummers van zijn studenten invoeren. Heeft hij dat gedaan en hebben de studenten de eerste teksten (op papier) ingeleverd, dan kan het nakijken beginnen. Daarbij werkt de docent met twee instrumenten: de vertrouwde, desgewenst rode pen en de computer. Met de pen geeft hij op het papier van de student aan welke ALEXIS-commentaren uit de print die straks wordt bijgevoegd, bij welke passages horen. Daarnaast gebruikt hij de pen om de student persoonlijke feedback te geven. Zo kan de docent aandacht besteden aan fouten die volgens hem commentaar verdienen, maar die niet zijn voorzien in de ALEXIS -database. De computer gebruikt de docent om commentaarcodes in te tikken. Die codes bestaan uit drie hoofdcomponenten: het nummer van de tekstpassage waar het commentaar bij hoort, de cijfercombinatie die staat voor de fout die de student gemaakt heeft en de lettercombinatie waarmee de docent aangeeft hoe de fout in de print voor de student moet worden omschreven. Op dit punt gekomen, kan de docent kiezen uit vier mogelijkheden, die elk een verschillende didactische strekking hebben.
| |||||||||||||||||
[pagina 84]
| |||||||||||||||||
Er kan ook worden gekozen voor een combinatie van deze mogelijkheden: de titel plus de foutbeschrijving en het verbeteradvies bijvoorbeeld, of de titel plus het studieadvies. Welke keuze de beste is, zal onder meer afhangen van de voorgeschiedenis van de student. Heeft de student deze fout al veel vaker gemaakt, en wat voor commentaar heeft hij toen gekregen? Of is dit de eerste keer? Informatie daarover kan de docent in ALEXIS opvragen door de leergeschiedenis te raadplegen. Daarin vindt hij een overzicht van de commentaren die hij bij eerdere gelegenheden aan deze student heeft toegewezen. Is de docent klaar met het corrigeren van de opdrachten, dan kunnen de codes worden omgezet in een commentaar-file, bestaand uit de feedback-rapporten voor de verschillende studenten. Vervolgens worden de rapporten geprint en aan de studenten verstrekt, samen met de tekst die ze hadden ingeleverd en die met de pen van aantekeningen is voorzien. De docent is overigens niet verplicht om te werken met de commentaren die standaard in de ALEXIS-database zijn opgenomen. Desgewenst kan hij in die database wijzigingen aanbrengen door commentaren toe te voegen, te verwijderen of te veranderen. Een andere ALEXIS-optie is dat de docent tussentijds of aan het eind van een cursus een overzicht maakt van de commentaren die hij in de loop van de cursus aan zijn studenten heeft toegewezen. Constateert hij dat veel studenten dezelfde fouten maken of dat de fouten die gemaakt worden vaak betrekking hebben op dezelfde ALEXIS-categorie, dan kan hij die informatie gebruiken om de inhoud van zijn onderwijs bij te stellen. | |||||||||||||||||
Verschillende versies van ALEXISZoals bij veel software het geval is, kent ook ALEXIS verschillende versies. Het is hier niet zinvol om alle varianten die er zijn geweest in detail te beschrijven. Wel is het nuttig aan te geven wat de belangrijkste verschillen zijn tussen de versie die op dit moment in omloop is (ALEXIS 4.00) en de versie die Looijmans, Maat en Schrauwen in hun dubbelartikel beschreven. Die verschillen zijn de volgende.
| |||||||||||||||||
[pagina 85]
| |||||||||||||||||
| |||||||||||||||||
3 Onderzoek naar ALEXISWat gebeurt er nu precies als een docent of een vakgroep besluit om ALEXIS in te zetten in het schrijfvaardigheidsonderwijs? Hoe reageren studenten op de soms grote hoeveelheden uitgeprinte feedback die ze bij hun opdrachten ontvangen? Verwerken ze die feedback zoals de docent en de ontwikkelaars van ALEXIS dat hadden bedoeld? Wat zijn de leereffecten op de korte en langere termijn? En wat betekent het voor de werkzaamheden van een docent als hij ALEXIS gaat gebruiken? Moet hij zijn onderwijs helemaal anders inrichten, boekt hij inderdaad de gehoopte tijdwinst, vindt hij zijn feedback echt van grotere kwaliteit dan het commentaar dat hij vroeger gaf? Het heeft meer dan vijfjaar geduurd voordat er aan vragen als deze enige systematische aandacht kon worden besteed. Enerzijds mag dat misschien verbazing wekken (het spreekt toch vanzelf dat je nagaat wat het rendement is van een onderwijsvernieuwing waartoe je hebt besloten...); anderzijds moet worden geconstateerd dat evaluatie-onderzoek op het terrein van computer-ondersteund onderwijs eerder uitzondering is dan regel. Om in de sfeer van ALEXIS te blijven: er zijn ons geen effect-publikaties bekend die verschenen zijn na de introductie van drie in de jaren tachtig ontwikkelde Engelstalige feedback-programma's: RSVP-Camelot, Report en Writer, Grader, Reader (zie resp. Anandam (1983), Marling (1984) en Marshall (1985) en ook Van der Geest e.a., 1987)Ga naar eind5. De bescheiden opgezette deelonderzoeken die wij hieronder bespreken, geven geen antwoord op alle evaluatievragen die er rond ALEXIS te stellen zijn. Maar de verzamelde resultaten geven wellicht toch een beeld met redelijk duidelijke contouren. | |||||||||||||||||
Hoe wordt ALEXIS gebruikt op onderwijsinstellingen?In de scriptie van Bouwhuis (1992) wordt verslag gedaan van een enquête-onderzoek waarin is nagegaan in hoeverre er anno 1992 feitelijk gebruik wordt gemaakt van ALEXIS op de Nederlandse en Vlaamse instellingen die het programma hebben aangeschaft. De volgende vragen stonden daarbij centraal.
De namen van potentiële respondenten waren afkomstig van een lijst van de uitgever met 66 instellingen die een versie van ALEXIS hadden ontvangenGa naar eind6. Zestig vermeldingen betroffen (afdelingen van) instellingen voor hoger onderwijs of commerciële organisaties waar schrijfcursussen worden aangeboden. De zes andere vermeldingen betroffen onder- wijs-ondersteunende instanties en afdelingen van de uitgever. Deze instanties en afdelin-gen blijven hier verder buiten beschouwing. Met alle instellingen en organisaties die ALEXIS toegestuurd hadden gekregen, werd telefonisch contact opgenomen. Steeds werd gepoogd de docent telefonisch te interviewen die ALEXIS had besteld of daartoe opdracht had gegeven. Lukte dat niet, dan werd een interview gehouden (ook telefonisch) met een andere docent. In de interviews kwamen de volgende vragen aan de orde. | |||||||||||||||||
[pagina 86]
| |||||||||||||||||
Op grond van de gegevens uit de gesprekken konden de onderwijsinstellingen worden ondergebracht in vier categorieën. We bespreken ze kort. | |||||||||||||||||
1. Er is nooit iets gedaan met het programmaTot deze categorie behoren 7 van de 60 onderwijsinstellingen. De redenen voor het niet gebruiken van ALEXIS blijken divers. Enerzijds speelde de onderwijssituatie een rol, anderzijds voelde men bij nader inzien toch geen behoefte meer aan een programma als ALEXIS, zeker niet als de leerfase naar verwachting veel tijd en energie zou vragen. | |||||||||||||||||
2. Men heeft het programma bekeken en er wat mee geëxperimenteerd, echter zonder het daadwerkelijk als hulpmiddel in te zettenDeze categorie telt 22 onderwij sinstellingen. Voor deze instellingen geldt dat het ALEXIS- pakket in zekere mate is uitgeprobeerd, zij het niet in een onderwijssituatie. Vooral organisatorische randvoorwaarden bleken een belangrijke barrière. Daarnaast valt er bij de respondenten in deze categorie ook kritiek te beluisteren op de uitwerking die het ALEXIS-concept gekregen heeft. Veel gehoorde opmerkingen zijn dat het werken met het programma te arbeidsintensief bleek, en dat men de indruk had dat het programma door zijn complexiteit zijn doel voorbijschiet. | |||||||||||||||||
3. ALEXIS is gedurende een bepaalde periode ingezet. Daarna besloot men van verder gebruik (voorlopig) af te zienTot deze categorie behoren 17 instellingen. In sommige van deze instellingen bleef het gebruik beperkt tot ‘een keer op een klas uitgeprobeerd, toen er wat tijd over was’. In andere instellingen in deze categorie is er ‘een paar jaar redelijk intensief met ALEXIS gewerkt’. De redenen die worden genoemd om met ALEXIS te stoppen, zijn deels van organisatorische en deels van inhoudelijke aard. Soms ontbrak de benodigde tijd en/of energie voor het aanpassen van het commentaarbestand. In andere gevallen vond men het werken met het programma uiteindelijk toch te omslachtig. Soms ook oordeelde men dat ALEXIS alleen voldoet in een situatie waarin regelmatig gestandaardiseerde schrijf-opdrachten gegeven worden, waarvan de uitwerkingen op basis van het ALEXIS- commentaar herschreven moeten worden. Praktische problemen traden op bij onvoldoende computers, trage printers, en bij ziekte en vertrek van docenten die op het punt van informatisering een voortrekkersrol hadden gespeeld. Oordeelden de docenten in deze onderwijsinstellingen uiteindelijk negatief over ALEXIS, tegelijkertijd bleek uit de interviews dat de reacties van hun studenten overwegend positief waren geweest. Waardering hadden de studenten naar zeggen van hun docenten vooral voor de systematiek, uitgebreidheid en inhoudelijkheid van het commentaar. Als er door de studenten kritiek werd geúit, dan ging het om de afstandelijkheid, de onpersoonlijkheid en de moeilijke formulering van sommige feedback-teksten. Of ALEXIS in de toekomst alsnog in gebruik zal worden genomen, hangt voor de meeste docenten in deze groep vooral af van situationele en organisatorische randvoor- | |||||||||||||||||
[pagina 87]
| |||||||||||||||||
waarden in de onderwijsopzet. Alleen als er voldoende tijd kan worden vrijgemaakt voor de aanpassing van de database aan de eigen behoeften, zouden zij een nieuwe start met ALEXIS overwegen. | |||||||||||||||||
4. ALEXIS wordt nog steeds gebruikt als hulpmiddel voor het verstrekken van feedbackHet blijkt dat 14 van de oorspronkelijke 60 onderwijsinstellingen ALEXIS anno 1992 nog daadwerkelijk inzettenGa naar eind7. Opmerkelijk is dat op al deze instellingen de commentaar-database in de loop van de jaren is uitgebreid, meestal met opdrachtspecifiek commentaar. Ook valt op dat de meeste instanties in deze categorie een moderne variant van schrijf-vaardigheidsonderwijs zeggen te verzorgen, met ruime aandacht voor schrijfproces-aspecten. Revisie-opdrachten, waarbij studenten hun eerste versie moeten herschrijven, nemen daarbij een belangrijke plaats in, en ALEXIS bewijst dan goede diensten. Studenten hebben in zo'n situatie veel plezier van gedetailleerde aanwijzingen. Behalve lof voor het programma is er in deze categorie ook kritiek, met name op de gebruiksvriendelijkheid. ALEXIS wordt soms te traag gevonden en te handelingsintensief. Niet alleen de docenten in deze categorie staan nog steeds positief tegenover ALEXIS, ook hun studenten waarderen volgens hen de mogelijkheden die het programma biedt. Volgens de betrokken docenten kwalificeren de studenten de ALEXIS-commentaren als duidelijk, uitgebreid, nuttig en interessant.
Overzien we nu de uitkomsten van de interviews, dan concluderen we dat 23 % van de oorspronkelijke afnemers van ALEXIS gebruik is blijven maken van het programma. Van een in kwantitatief opzicht succesvolle implementatie kan dus niet worden gesproken. Naast veel genoemde tekortkomingen in de software zelf (te complex, te arbeidsintensief) blijken het vooral organisatorische problemen te zijn die veel instellingen ertoe gebracht hebben ALEXIS niet langer in te zetten. Onze conclusie uit de gesprekken is dat er ten minste drie voorwaarden zijn voor een effectief gebruik van het programma.
In de gesprekken die met de docenten zijn gevoerd, kon het aspect ‘evaluatie door studenten’ slechts globaal besproken worden. Op dat punt kunnen uit dit onderzoek dan ook slechts voorzichtige conclusies worden getrokken. Hieronder besteden we aandacht aan een evaluatie-onderzoek dat meer precieze uitspraken mogelijk maakt. | |||||||||||||||||
Hoe denken studenten over ALEXIS?Op de afdeling Taalbeheersing van de Vakgroep Nederlands van de Universiteit Utrecht wordt sinds 1989 op uitgebreide schaal gebruik gemaakt van ALEXIS. Elk jaar wordt aan circa 400 eerstejaars studenten Algemene Letteren (in cohorten van 200) een cursus aangeboden met als centraal thema het schrijven van een probleemstelling, of bij uitbreiding: het ontwikkelen van een onderzoeksplan. Vijf weken lang leveren studenten schrijfopdrachten in die vervolgens becommentarieerd worden met ALEXIS. Bij elke schrijfopdracht ontvangen de studenten een feedback-rapport. Daarnaast krijgen ze hun oorspronkelijke tekst terug, met handgeschreven aantekeningen van de docent. Op basis | |||||||||||||||||
[pagina 88]
| |||||||||||||||||
van ALEXIS-commentaar en aantekeningen herschrijft de student vervolgens zijn tekst. Ook die wordt weer ingeleverd en door de docent bekeken. In 1991 werd nagegaan wat eerstejaarsstudenten vinden van deze vorm van schrijfonderwijs. Tegelijk werd onderzocht hoe hun docenten gebruik maken van ALEXISGa naar eind8. Aan één cohort studenten werden onmiddellijk na afloop van de cursus evaluatieformulieren aangeboden met vragen over allerlei aspecten van de cursus, onder meer over de rol van ALEXIS. Om inzicht te krijgen in het ALEXIS-gebruik van de docenten, werden (automatisch in ALEXIS gegenereerde) overzichten geanalyseerd van de feedback die ze in de loop van de cursus hadden verstrekt. Het handgeschreven commentaar bleef in dit onderzoek buiten beschouwing. Eén van de (gesloten) vragen op het evaluatieformulier had specifiek betrekking op het verstrekte ALEXIS-commentaar. Uit de antwoorden komt geen eensluidend oordeel naar voren. 15.4 % van de respondenten vond het commentaar heel erg goed, 45.4 % vond het behoorlijk, 33.8 % vondhet matig, 23 % niet goed. Studenten die niet tevreden waren over het commentaar, wezen bijvoorbeeld op de ironische toon die hun niet beviel. Vaker echter gaven ze aan dat ze het commentaar te abstract vonden, en dat ze moeite hadden het te betrekken op hun eigen tekst. Was het oordeel over de concrete commentaarteksten dus nogal wisselend, over de inzet van ALEXIS op zichzelf bleken de studenten aanmerkelijk eenduidiger en positiever te denken. Veel voorkomende kwalificaties bij de (open) vraag die er over het programma werd gesteld, waren goed/duidelijk (40.8 %), nuttig/leerzaam (12.0 %), redelijk/best (19.2 %). Een negatief oordeel als niet zinvol werd hier veel minder vaak gegeven (11.2 %). Blijkbaar waardeerden de studenten het idee achter ALEXIS en de manier waarop het programma in de cursus wordt gebruikt, maar dachten ze verschillend over de concrete ALEXIS-feedback die ze van hun docent ontvingen. Interessant is het dan om na te gaan hoe de (tien) docenten van wie de studenten het ALEXIS-commentaar hadden ontvangen te werk gingen. Op welke fouten legden zij in hun feedback de nadruk, en hoe ontwikkelden hun commentaren zich in de loop van de cursus? | |||||||||||||||||
Hoe werken docenten met ALEXIS?Via de analyse van de automatisch gegenereerde feedback-overzichten werd onder meer nagegaan welke commentaarsoorten bij de docenten het meest populair waren. Daarbij werd primair een onderscheid gemaakt tussen opdrachtonafhankelijk commentaar dat in de standaarduitvoering van ALEXIS is opgenomen (vgl. het voorbeeld van de t/tt- spelfout), en opdrachtspecifiek commentaar dat aan de Universiteit Utrecht voor de cursus Schrijven van probleemstellingen was ontwikkeld (over bijvoorbeeld tekortkomingen bij de formulering van een onderzoeksvraag of bij uiteenzettingen over het zogenaamde theoretisch kader). Het bleek dat vier docenten vaker gebruik maakten van opdrachtspecifiek commentaar dan van opdrachtonafhankelijk commentaar. Bij drie docenten was het andersom, en bij drie andere docenten waren de percentages vrijwel identiekGa naar eind9. Binnen de categorie opdrachtonafhankelijk commentaar bleken vijf van de tien docenten meer commentaren toe te kennen naar aanleiding van structuurfouten dan naar aanleiding van andere typen fouten. Bij structuurfouten moet dan worden gedacht aan fouten in de uiterlijke structuur van een tekst als alinea te kort, maar ook aan meer fundamentele tekortkomingen als relevante vragen uit de probleemstructuur ten onrechte niet behandeld. Vier andere docenten leverden vooral commentaar op de formulering (op | |||||||||||||||||
[pagina 89]
| |||||||||||||||||
woord-en zinsniveau). Duidelijk minder prominent in het verstrekte ALEXIS-commentaar was de aandacht voor afwerkingsproblemen met betrekking tot bijvoorbeeld spelling en interpunctie. Daarop legde slechts één docent de meeste nadruk. Dat hoeft overigens niet te betekenen dat de andere docenten op het punt van de afwerking maar weinig fouten tegenkwamen. Heel wel denkbaar is dat ze veel van die fouten van handgeschreven commentaar voorzagen, zodat ze er via ALEXIS niet op in hoefden te gaan. Een volgende vraag betrof de richting waarin zich de commentaren van de tien docenten in de loop van de cursus ontwikkelden. Gaven ze in het begin van de cursus vooral gedetailleerd commentaar, en werd dat later globaler? Ging het misschien juist andersom? Of waren ze op dit punt tamelijk constant, en hield hun feedback dus gedurende de hele cursus een globaal, of juist een gedetailleerd karakter? Van een duidelijk gevolgde beleidslijn bleek bij analyse van de ALEXIS-gegevens geen sprake. Bij vier docenten werd het commentaar steeds globaler, bij drie docenten bleef het commentaar steeds op een globaal niveau, bij twee docenten werd het commentaar in de loop van de cursus gedetailleerder en één docent gaf steeds gedetailleerd commentaar. In de praktijk van een schrijfcursus is het blijkbaar niet vanzelfsprekend om de feedback-strategie toe te passen die door Looijmans, Maat en Schrauwen (1987) werd bepleit. Stelden zij dat het commentaar in de loop van de cursus steeds globaler zou moeten worden zodat de student steeds minder afhankelijk zou worden van de aanwijzingen van de docent, in een concrete onderwijssituatie zijn er blijkbaar argumenten om toch voor een andere aanpak te kiezen. | |||||||||||||||||
Hoe verwerken studenten ALEXIS-commentaar?Behalve kwantitatief onderzoek met betrekking tot de evaluatie van ALEXIS, is er ook op bescheiden schaal kwalitatief onderzoek verricht naar de manier waarop studenten gebruik maken van ALEXIS-feedback bij de revisie van hun schrijfproduktenGa naar eind10. Vier proefpersonen (studenten uit de schrijfvaardigheidscursus voor Algemene Letteren) werd verzocht hardopdenkend een complete opdrachtuitwerking te reviseren aan de hand van de feedback op de eerste versie. De hardopdenk-uitingen werden vastgelegd in protocollen, die vervolgens werden geanalyseerd volgens een zelf ontwikkeld taakmodel voor het reviseren van een tekst. Wat leverde dat op? Ten eerste bleek dat de vier proefpersonen dezelfde werkwijze hanteerden. Ze gingen in hun eigen tekst op zoek naar de eerste verwijzing naar een ALEXIS-commentaar, raadpleegden vervolgens dat commentaar, probeerden de betreffende passage te verbeteren, gingen daarna door naar de tweede verwijzing naar een ALEXIS-commentaar, enzovoort. Het ALEXIS-commentaar bepaalde dus met welke tekstdelen de studenten zich bezighielden. Wat niet becommentarieerd was, werd overgeslagen. Verder bleek dat het ALEXIS-commentaar steeds goed werd begrepen, beter dan het handgeschreven commentaar. De verklaring ligt voor de hand: het handgeschreven commentaar is vaak bondig, soms zelfs kryptisch van aard, bijvoorbeeld als volstaan wordt met een kringel onder een foute zin of met een vraagteken in de kantlijn. Ook bleek dat de relatie tussen ALEXIS-commentaar en de eigen tekst door de studenten gemakkelijk kon worden gelegd. Opvallend was hoe goed de proefpersonen probeerden elk ALEXIS-commentaar te verwerken, ook als ze het er niet helemaal mee eens waren of als ze het eigenlijk niet nodig vonden om de tekst aan te passen. Deze uitkomst sluit goed aan bij ervaringen van de docenten die in Utrecht met ALEXIS werken: het ALEXIS-commentaar wordt meestal zeer serieus genomen. Verder bleek dat er geen misverstanden waren over de herkomst | |||||||||||||||||
[pagina 90]
| |||||||||||||||||
van de feedback. De proefpersonen waren zich er steeds goed van bewust dat elk commentaar berust op een keuze van de docent en niet volautomatisch door de computer wordt gegenereerd.
Overzien we de besproken deelonderzoeken rond ALEXIS, dan komen we tot de volgende constateringen:
Daarmee is een aantal evaluatievragen rond ALEXIS beantwoord. Compleet is het beeld echter nog niet. We kunnen geen resultaten melden van onderzoek naar bijvoorbeeld het effect van ALEXIS-commentaar op de kwaliteit van het werk van de studenten op kortere of op langere termijn. Ook is nog niet nagegaan of docenten met ALEXIS de tijdwinst boeken die de ontwikkelaars hadden voorzien, en evenmin is precies bekend wat voor andere voor- en nadelen docenten zien in het werken met het programma. Toch zijn dat zeker relevante kwesties, die centraal kunnen worden gesteld in vervolgstudies. Maar ook voordat die studies zijn verricht, vallen er misschien al conclusies te trekken over de toekomst van ALEXIS. In ieder geval is er aanleiding om inhoud en toon van de commentaarteksten nog eens kritisch te bezien om te voorkomen dat studenten het systeem op zichzelf hoger blijven waarderen dan de concrete feedback die ze ermee krijgen. Daarnaast moet het programma zo mogelijk wat gebruiksvriendelijker worden; ten minste moet het docenten gemakkelijker worden gemaakt om de feedback-database aan te passen aan de eigen behoeften. Ten slotte moet in de voorlichting over ALEXIS duidelijker naar voren worden gebracht voor welke vormen van schrijfonderwijs het systeem meer of minder geschikt is. | |||||||||||||||||
4 Nieuwe ontwikkelingenEr hoeft niet te worden volstaan met verbeteringen van ALEXIS. De huidige stand van de technologie maakt het zinvol te gaan denken aan software die studenten al tijdens het schrijfproces helpt problemen op te lossen en fouten te voorkomen. Dat kan in principe | |||||||||||||||||
[pagina 91]
| |||||||||||||||||
op twee manieren. De eerste mogelijkheid is dat het programma de schrijver automatisch wijst op onvolkomenheden in zijn tekst, en zelfs concrete verbeteringen voorstelt. De tweede mogelijkheid is dat de hulp beperkt blijft tot een permanent aanwezige adviesdatabase die de schrijver desgewenst kan raadplegen. Recent ontwikkelde Engelstalige grammar- en stylecheckers als Grammatik V en Rightwriter 5.0 laten overtuigend zien dat we nog ver verwijderd zijn van een goed functionerende automatische foutdetectie. Een permanent aanwezig adviessysteem lijkt dan ook vooralsnog een realistischer optie. Wordt zo'n systeem voor Nederlandse tekstschrijvers ontwikkeldGa naar eind11, dan valt te overwegen om delen van de huidige ALEXIS- database in bewerkte vorm in zo'n adviessysteem op te nemen. De student/schrijver hoeft dan niet meer te wachten op de feedback van zijn docent om aanwijzingen te krijgen voor het inrichten van zijn tekst, en de docent kan zijn commentaar beperken tot die kwesties die de student niet zelf met zijn advies-software op kon lossen. | |||||||||||||||||
[pagina 92]
| |||||||||||||||||
Bibliografie
|
|