Tijdschrift voor Taalbeheersing. Jaargang 28

[p. 198]

Luuk van Waes en Mariëlle Leijten
Schrijfprocessen registreren met Inputlog
Een data-analyse van de interactie met de ‘reeds geproduceerde tekst’

Samenvatting

Dankzij de ontwikkeling van toetsregistratieprogramma's is het mogelijk geworden om digitale schrijfprocessen nauwkeurig te registreren en te analyseren. Dit artikel beschrijft Inputlog, een registratieprogramma dat onderzoekers de mogelijkheid biedt om schrijfprocessen te loggen in Windowstoepassingen om die daarna vanuit een aantal invalshoeken te analyseren. We beschrijven de technische en functionele kenmerken van dit onderzoeksinstrument en illustreren een aantal toepassings-mogelijkheden aan de hand van data uit een experimenteel onderzoek. Het centrale thema in dit experiment is de interactie met de ‘reeds geproduceerde tekst’ (‘text produced so far’ - TPSF) bij het formuleren van nieuwe tekst. De resultaten tonen aan dat de foutgrootte in de TPSF een determinerende factor is voor de belasting van het werkgeheugen van de schrijver. Ook blijkt dat de aard van de fouten in de TPSF de manier bepaalt waarop de schrijver in interactie treedt met de bestaande tekst. Het artikel sluit af met een vooruitblik op nieuwe toepassingen van Inputlog die nog in ontwikkeling zijn.

1. Inleiding

De laatste jaren is de computer niet alleen een schrijfinstrument maar ook steeds meer een onderzoeksinstrument dat we kunnen inzetten bij schrijfonderzoek. In dit artikel stellen we Inputlog voor. Inputlog is een computerprogramma dat onderzoekers in staat stelt digitale schrijfprocessen in detail te registreren en te analyseren. Spelman Miller & Sullivan (2006) beschrijven in de introductie van hun boek over toetsregistratie de functie van dit soort onderzoeksinstrumenten als volgt: ‘As an observational tool, keystroke logging offers the opportunity to capture details of the activity of writing, not only for the purposes of the linguistic, textual and cognitive study of writing, but also for the broader applications concerning the development of language learning, literacy, and language pedagogy.’ (p. 1).

Op dit moment bestaan er verschillende registratie-instrumenten met een vergelijkbaar concept. In essentie hebben ze met elkaar gemeen dat ze allemaal toetsaanslagen en muisbewegingen als data opslaan zodat die later beschikbaar zijn voor verwerking. Deze voortdurende registratie van inputgegevens infereert niet met het normale gebruik van de computer. Toetsregistratie-instrumenten vormen dus geen (technische) belasting tijdens het schrijven, waardoor er een ecologisch valide onderzoekscontext ontstaat. De geregistreerde data vormen de basis voor verdere analyses. Die analyses kunnen gedaan worden in de registratieprogramma's zelf, of kunnen geëxporteerd worden naar statistische programma's zoals SPSS of SAS. De dataregistratie en -verwerking kan veel sneller gebeuren dan handmatig ooit het geval was.

[p. 199]

Afhankelijk van de onderzoeksvraag kunnen onderzoekers verschillende aspecten van het (cognitieve) schrijfproces of het schrijfgedrag analyseren door bijvoorbeeld temporele data (zoals absolute tijd en pauzes) en procesdata (toetsaanslagen en muisbewegingen) te combineren en te interpreteren. Pauzegedrag is al geruime tijd een belangrijk onderzoeksthema in het domein van de gesproken taal. In het schrijfonderzoek heeft de rol van pauzes meer aandacht gekregen toen niet langer alleen schrijfproducten, maar ook schrijfprocessen object van onderzoek werden. Het onderzoek van Matsuhashi (1981) heeft daartoe de aanzet gegeven; voor een overzicht van het onderzoek op dit terrein de laatste 25 jaar, verwijzen we graag naar een artikel van Wengelin (2006). Pauzes vormen in de eerste plaats een interessante invalshoek om een beter beeld te krijgen van de mentale activiteit tijdens het schrijven. Elke (langere) pauze kunnen we immers opvatten als een onderbreking van een vloeiend proces, waarbij de schrijver tijd kan nemen voor drie mogelijke activiteiten (Goldman-Eisler, 1972): fysiologische activiteiten (bijvoorbeeld overgang van toetsenbord naar muis); cognitieve (bijvoorbeeld planning van een revisie) of communicatief-retorische (afstemming van de formulering op het doelpubliek). Die onderbrekingen vormen telkens indicatoren van een afwijkende (grotere) mentale belasting. Het aantal pauzes, de lengte van de pauzes, de distributie ervan en de (syntactische) plaats vormen daarom allemaal invalshoeken voor analyses die tot doel hebben het onderliggende cognitieve schrijfproces beter te begrijpen (Jansen et al., 1996; Spelman Miller, 2006). Bij de analyse van het pauzegedrag moeten we uiteraard altijd beseffen dat het enkel om een indirecte meting gaat van de cognitieve belasting en dat we dus altijd afhankelijk zijn van interpretaties en inferenties met alle onvolkomenheden vandien. Daarom is het vaak aan te raden om complementaire analyses en observatiemethodes in te zetten (zie andere bijdragen in dit nummer).

In deze bijdrage voor het themanummer over ‘onderzoeksinstrumenten’ voor schrijf-en leesonderzoek’ beschrijven we Inputlog: een (toets) registratieprogramma voor schrijfprocesonderzoek in Windowsomgevingen. Eerst gaan we in op de technische en functionele kenmerken van het programma. Daarna lichten we het gebruik van Inputlog toe aan de hand van een experiment waarbij foutdetectie tijdens het schrijfproces centraal stond¹. We sluiten af met de toekomstplannen voor Inputlog.

1 Dit onderzoek is gefinancierd in het kader van de Bijzonder Onderzoeksfinanciering (BOF) van de Universiteit Antwerpen (project 2002-2006).

2. Kenmerken van Inputlog

Voor de ontwikkeling van Inputlog konden we terugvallen op de functionaliteit van twee bestaande toetsregistratieprogramma's: enerzijds JEdit and Trace-it (Severinsson Eklundh, 1994; Severinsson Eklundh & Kollberg, 1992; Severinsson Eklundh, 1996; Severinsson Eklundh & Kollberg, 1996; 2003; Kollberg, 1998; Spelman Miller & Sullivan, 2006), en anderzijds ScriptLog (Strömqvist & Malmsten, 1997). JEdit en Trace-it zijn enkel geschikt voor Macintosh computers. JEdit registreert bovendien alleen data in een zelfontwikkelde en beperkte tekstverwerker. ScriptLog registreert ook voornamelijk in een tekstverwerker die speciaal ontwikkeld is voor onderzoeksdoeleinden, nl. schrijfexperimenten met jonge kinderen op basis van plaatjes. Een belangrijk onderscheidend kenmerk van Trace-it is de uitgebreide interactieve revisiemodule² (Severinsson Eklundh, 1994) terwijl ScriptLog bijvoorbeeld als enige tot nu toe de mogelijkheid biedt om schrijfprocesdata te combineren met oogbewegingregistratie (zie ook Cozijn en Lentz, Mak & Pander Maat in dit nummer).

2 De revisiemodule in Trace-It (Mac) maakt het mogelijk om een schrijfproces opnieuw af te spelen van revisie tot revisie, zowel voorwaarts als achterwaarts. Een dergelijke interface (en analysemodule) maakt het veel eenvoudiger om de precieze tekstontwikkeling en de rol van revisies daarin te analyseren.

[p. 200]

Zoals blijkt uit deze beschrijving, zijn de meeste toetsregistratie-instrumenten ontwikkeld voor een specifieke computeromgeving en/of functioneren ze niet in een Windowsomgeving³. Dit betekent dat ze niet gebruikt kunnen worden in een van de meest gebruikte schrijfomgevingen waar schrijvers gebruikmaken van commerciële tekstverwerkers zoals MS Word of WordPerfect. Dit is een van de belangrijkste redenen geweest om in 2003 te starten met de ontwikkeling van Inputlog. Een tweede reden om Inputlog te ontwikkelen is de opkomst van spraakherkenning als schrijfmodus voor tekstverwerking. De bestaande toetsregistratieprogramma's bieden namelijk niet de mogelijkheid om input van spraakherkenning te registreren. In vorig onderzoek (Leijten & Van Waes, 2005) hebben we de procesdata van teksten die met spraakherkenningssoftware geschreven waren, nog handmatig geanalyseerd. In het follow-up experiment willen we deze analyses via Inputlog uitvoeren om op die manier het zeer tijdsintensieve codeerwerk op te vangen.

Kort samengevat is het doel van Inputlog om analyses van schrijfprocesdata sneller en accurater te maken. De belangrijkste functies van dit registratieprogramma zijn:

•	opslaan van data van schrijfsessies in een Windowsomgeving;
•	genereren van databestanden als input voor verdere (statistische) analyse van tekst-, proces-, pauze-, revisie-en moduskenmerken van de schrijfsessie(s);
•	integreren van loggingdata uit andere programma's;
•	afspelen van geregistreerde schrijfprocessen met verschillende snelheden.

Inputlog is in eerste instantie ontwikkeld om schrijfprocessen in MS Word te registreren en te analyseren. Daarnaast registreert het echter ook toetsaanslagen en muisbewegingen in elk ander Windowsprogramma. Dit maakt Inputlog met andere woorden ook inzetbaar bij onderzoek naar bijvoorbeeld invullen van webformulieren of programmeren in eender welke Windowsgebaseerde programmeertaal. Het programma is beschikbaar via de website www.inputlog.net.Voor onderzoeksdoeleinden is het gratis op voorwaarde dat bij de publicatie van onderzoeksresultaten verwezen wordt naar de aangegeven basispublicatie. We stellen commentaar en suggesties van gebruikers sterk op prijs.

3 In juni 2006 heeft Noldus ook een toetsregistratieprogramma uitgebracht, uLog, als aanvulling op hun Observer software. Ook dit programma werkt in een Windowsomgeving.

2.1 Technische beschrijving.

In deze paragraaf beschrijven we Inputlog vanuit een technisch perspectief. Het centrale uitgangspunt van het programma is dat het alle inputdata registreert voordat ze naar scherminformatie worden omgezet. Concreet wil dit zeggen dat Inputlog het volgende registreert:

•	scancodes van toetsen (bijvoorbeeld scancode ‘12’ verwijst naar de letter ‘e’);
•	muisbewegingen (kliks, bewegingen, schermlocaties);
•	tijdsaanduidingen van alle ‘input events’.

Al deze data worden bewaard in een zogenaamd IDF-bestand. IDF staat voor Inputlog Data File. In dit bronbestand wordt iedere ‘event’ of actie van het schrijfproces afzonderlijk bewaard. Dit bestand wordt achteraf geconverteerd⁴ naar verschillende leesbare output-bestanden; hierdoor worden de ruwe data geschikt gemaakt voor kwalitatieve en kwantitatieve analyses.

Het bronbestand kan op twee manieren gebruikt worden. Aan de ene kant voor de conversie van bestanden (generate). Aan de andere kant als input voor de afspeelmodule (play). Bij de conversie van bestanden worden de data in het bronbestand vertaald naar verschillende

4 Inputlog 2.0 Beta is geprogrammeerd in Visual C ++ en de interface is geprogrammeerd in Visual Basic. NET. De conversie van de IDF-bestanden naar (tussenliggende) XML-bestanden verloopt via parsing waarbij we gebruik maken van Flex en Bison. De snelheid en het geheugengebruik van het programma - en in het bijzonder die van de gebruikte hooks - is erg belangrijk omdat het residente registratieprogramma niet mag interfereren met het normale gebruik van de tekstverwerker. Voor het registreren en afspelen van het schrijfproces gebruikt Inputlog twee Windows-hooks: Journalrecord en Journalplayback. Journalrecord registreert iedere toetsaanslag, muisbeweging en -klik telkens in combinatie met de gerelateerde tijdsaanduidingen. De Journalplayback ondersteunt de afspeelmodule. Elk deel van Inputlog is geprogrammeerd als een verschillende klasse. Dit stelt ons in staat om gemakkelijk updates uit te voeren, huidige analyses te debuggen en om de functionaliteit van het programma verder uit te breiden.

[p. 201]

analyses. Dit stelt onderzoekers in staat om pauze-, modus-en tekstdata op een geaggregeerd niveau te analyseren. De integratiemodule (integrate) maakt het bovendien mogelijk om loggingdata uit andere programma's (bijvoorbeeld Morae, zie paragraaf 4.3) te integreren met data van Inputlog. Op die manier is het mogelijk de data te verrijken met complementaire gegevens. De afspeelmodule ten slotte zorgt ervoor dat onderzoekers het schrijfproces precies zo kunnen afspelen zoals het verlopen is, inclusief alle pauzes en revisies. Stap voor stap kan zo de tekstontwikkeling opnieuw bekeken worden. In de toekomst zal deze afspeelmodule ook de intermediaire basis vormen voor de revisieanalyse.

2.2 Functionele beschrijving.

De interface van Inputlog bestaat uit een openingsscherm en vier tabbladen die de belangrijkste functies van het programma aangeven: record, generate, integrate en play (zie Figuur 1). In deze paragraaf geven we een kort overzicht van die basisfuncties. Voor meer gedetailleerde informatie verwijzen we naar het helpbestand van het programma.

Figuur 1: Schermafdruk van het openingsscherm en het ‘record’ tabblad.

Door de opnamefunctie (record) te selecteren, kunnen onderzoekers een loggingsessie configureren en starten. De configuratie gebeurt door de sessie te koppelen aan een (bestands) naam en een aantal kenmerken. Inputlog biedt de mogelijkheid om zes voorgedefinieerde schrijverskenmerken met een sessie te verbinden (o.a. deelnemer, leeftijd, geslacht) en ook nog vier extra variabelen te bepalen. Omdat die variabelen aan elke dataregel toegevoegd worden bij het genereren van analysebestanden, is het eenvoudig om achteraf de loggingsessie te identificeren en eventueel verschillende datasets samen te brengen voor verdere analyse, bijvoorbeeld in SPSS.

De generatiefunctie (generate) biedt een overzicht van de beschikbare analyses. De functie maakt het mogelijk om een IDF-bestand te openen en op basis van dat bronbestand een aantal analyses te genereren. Dat hoeft niet onmiddellijk na de registratie te gebeuren, maar kan ook later. Inputlog 2.0 Beta biedt de mogelijkheid om de volgende analyses⁵ uit te voeren:

1.	Algemene analyse: De output van de algemene analyse bestaat uit een XML-bestand met daarin een zeer gedetailleerde weergave van de logging van een schrijfsessie. Voor

5 Op dit moment zijn nog een aantal aanvullende analyses in ontwikkeling (zie toekomstplannen).

[p. 202]

	elke input-actie (gegenereerd met toetsenbord, muis of spraaktechnologie) wordt een dataregel gecreëerd met daarin de identificatie van de sessie, een representatie van de input, tijdsinformatie, en - voor muisactiviteiten - de schermpositie. Het XML-bestand kan geconverteerd worden naar een Excel-bestand of ingelezen worden in bijvoorbeeld SPSS voor verdere analyse.
2.	Lineaire tekst: De lineaire tekstrepresentatie geeft de tekstevolutie actie per actie weer. Bij een deletie zien we bijvoorbeeld eerst het oorspronkelijke woord, dan de deletieoperatie en ten slotte de nieuwe input. Extra opties maken het mogelijk om de lineaire tekst in tijdsperiodes of -intervallen te verdelen. Ten slotte kunnen ook pauzes getoond worden in deze representatie. De onderzoeker bepaalt zelf de pauzedrempel die hij of zij wil hanteren.
3.	Statistische analyse: De statistische analyse genereert een overzicht met basisstatistieken die op een geaggregeerd niveau een aantal sessie- en proceskenmerken (o.a. geproduceerde woorden en zinnen) weergeven en ook het pauzegedrag en het modusgebruik (toetsenbord vs. spraak) beschrijven.
4.	Pauze-analyse: In de pauze-analyse wordt een XML-bestand gegenereerd die elke periode waarin niet actief geschreven wordt weergeeft en van een aantal kenmerken voorziet (o.a. lengte en positie). De pauzedrempel kan standaard op bijvoorbeeld 1, 2 of 5 seconden gedefinieerd worden of vrij bepaald worden door de onderzoeke
5.	Modusanalyse: Voor schrijfprocessen waarin verschillende inputmodi gebruikt worden (toetsenbord, muis en/ of spraaktechnologie) is het mogelijk een modusanalyse te genereren die aangeeft wat het aandeel is in de schrijfproductie van elk van die schrijfmodi.

De integratiefunctie biedt de mogelijkheid om de XML-output van andere logging-en observatieprogramma's te combineren met de logging van Inputlog. Inputlog 2.0 Beta voorziet in een integratie van logbestanden die we genereren in Dragon Naturally Speaking 8.1⁶. De integratie met logbestanden uit andere programma's staat op de agenda zodat de huidige analyses verder gecomplementeerd kunnen worden en er een nog ruimere interpretatiebasis ontstaat (zie paragraaf 4).

Ten slotte biedt Inputlog ook de mogelijkheid om een gelogde schrijfsessie opnieuw af te spelen. Het IDF-bestand wordt daarbij als input gebruikt. Het betreft dus geen video-opname⁷. Dit heeft onder meer tot gevolg dat de programma- en scherminstellingen van de beginsituatie bij het afspelen identiek moeten zijn aan degene die gebruikt werden bij de start van de gelogde sessie. Het programma biedt ook de mogelijkheid om pauzelengtes tot een bepaald minimum te reduceren of procentueel te verkorten om op die manier de weergave te versnellen.

6 Deze logging van de spraakinput via Dragon Naturally Speaking kwam tot stand in nauwe samenwerking met Nuance (vroeger Scansoft). We danken in het bijzonder Guido Gallopyn, Stijn van Even, Neil Grant en Hans Geuns (Boston) voor hun grote bereidheid om samen te werken in dit project.

7 Wie de afspeelfunctie wil gebruiken als basis voor bijvoorbeeld een retrospectief protocol, raden we aan om de registratie via Inputlog te combineren met een online videoregistratie (bijvoorbeeld Camtasia van Techsmith; www.techsmith.com). Een combinatie van observatie-instrumenten levert in principe geen systeemconflicten op.

3. Toepassing bij schrijfprocesonderzoek (TPSF)

Om aan te geven hoe Inputlog allerlei soorten schrijfprocesonderzoek kan ondersteunen, werken we in deze paragraaf een voorbeeld uit waarmee we een aantal van de mogelijkheden illustreren. Het betreft een onderzoek waarbij we het effect op het werkgeheugen nagingen van verschillende soorten fouten in de ‘reeds geproduceerde tekst’ (‘text produced so far’- TPSF). Voor een algemeen verslag van het onderzoek verwijzen we naar Leijten, Ransdell & Van Waes (in voorbereiding). In dit artikel gaan we dieper in op een aantal resultaten

[p. 203]

van het onderzoek en complementeren die met data die we tijdens het experiment verzameld hebben met Inputlog. Op die manier willen we aantonen hoe loggingdata kunnen bijdragen tot een scherpere interpretatie van algemene schrijfprocesdata.

Uiteraard zijn er binnen het schrijfonderzoek nog vele andere toepassingen mogelijk voor toetsregistratieprogramma's. In essentie gaat het steeds over toepassingen waarbij de onderzoekers vooral geïnteresseerd zijn in het verloop van het schrijfproces (plannings-en revisieprocessen) en minder in het product. Een combinatie van beide invalshoeken behoort uiteraard tot de mogelijkheden. Lindgren en Sullivan (2006) onderscheiden o.m. de volgende toepassingsgebieden: schrijven in de moedertaal en in vreemde talen, schrijfmoeilijkheden, beginnende en expertschrijvers, vertaalprocessen en valideringen van schrijfprocesmodellen. Ook als basis voor (gestimuleerde) retrospectieve protocollen biedt toetsregistratie zeker mogelijkheden omdat de play-functie de onderzoeker in staat stelt om de schrijver direct te ‘confronteren’ met de ontwikkeling van zijn of haar eigen schrijfproces. Dit levert een veel concretere input op voor een uitgesteld hardopdenkprotocol⁸ (zie ook Van den Haak, De Jong & Schellens in dit nummer).

Het TPSF-experiment dat we hieronder beschrijven, is een voorbeeld waarbij we stilstaan bij een specifiek deelproces van de schrijfactiviteit, namelijk de interactie van de schrijver met de ‘reeds geproduceerde tekst’ (‘text produced so far’ of TPSF) op het moment dat die nieuwe tekst moet formuleren.

8 Ook de programma's Camtasia en Morae van Techsmith (www.techsmith.com) kunnen zeer bruikbaar zijn voor dergelijke toepassingen. Deze programma's maken een online videoregistratie (in bijvoorbeeld AVI-formaat) door voortdurend schermfoto's te bewaren en die achter elkaar te plaatsen.

3.1 Beschrijving experiment.

Schrijfprocesmodellen tonen duidelijk aan dat bij de productie van nieuwe tekst de ‘reeds geproduceerde tekst’ (TPSF) een belangrijke rol speelt (zie o.a. herziene schrijfprocesmodel van Hayes 1996). Ook in ons onderzoek naar het gebruik van spraaktechnologie bij professionele schrijfprocessen kwam dat duidelijk naar voren (Leijten & Van Waes, 2005). Het blijkt namelijk dat schrijvers voortdurend in interactie treden met de TPSF, bijvoorbeeld om een zin of een alinea verder af te werken. Die interactie kan echter verstoord worden door allerlei fouten. In schrijfprocessen met toetsenbord en muis kunnen dat bijvoorbeeld typefouten zijn; in schrijfprocessen met spraaktechnologie kan dat foutieve herkenning door de spraakherkenningssoftware zijn. Als dergelijke fouten optreden, moeten schrijvers beslissen of ze in eerste instantie de fout corrigeren, dan wel of ze eerst de tekst die ze in hun hoofd hadden uitschrijven of dicteren. We gaan ervan uit dat die overweging leidt tot een extra belasting van het werkgeheugen. In het voorliggende onderzoek gingen we na of er een verband bestaat tussen verschillende soorten fouten en de belasting van het werkgeheugen.

Drie thema's stonden daarbij centraal:

1.	het effect van de spraakconditie op de foutanalyse: in het experiment werd de TPSF in twee verschillende condities aangeboden, namelijk enerzijds enkel geschreven en anderzijds zowel gesproken (voorgelezen) als geschreven (latin square design waarbij dezelfde zinnen gekruist werden aangeboden met en zonder spraak vooraf);
2.	het effect van de lexicaliteit: de foutmanipulatie resulteerde enerzijds in onbestaande woorden, anderzijds in (andere) bestaande woorden (bijvoorbeeld: ‘drongen’ vs. ‘donrgen’ en ‘conferentie’ vs. ‘concurrentie’);
3.	het effect van de foutgrootte: de foutmanipulatie in de TPSF betrof kleine fouten (één of twee letters, bijvoorbeeld ‘ze voeg’ i.p.v. ‘ze vroeg’) versus grote fouten (bijvoorbeeld ‘on-

[p. 204]

der de brief’ i.p.v. ‘onder de brug’ of zelfs ‘ongedaan maken’ ‘ogen dan maken’). De grote fouten werden verzameld uit een procescorpus van teksten die met spraakherkenning werden geschreven. We hebben beide soorten fouten in beide condities (met en zonder voorafgaande spraak) aangeboden om op die manier na te gaan of de sterkere verstoring van het woordbeeld bij grote fouten leidt tot een andere benadering van de bestaande tekst. Ook wilden we nagaan of de aan- of afwezigheid van een spraakconditie daarop een invloed heeft.

In dit artikel behandelen we enkel het derde thema, met name het effect van de foutgrootte op het werkgeheugen en de interactie van de schrijver met de reeds bestaande tekst, de TPSF. We beschrijven eerst bondig de opzet van het experiment en presenteren dan de belangrijkste resultaten. Daarbij besteden we ook expliciet aandacht aan de technische aspecten van de registratie en de analyse.

Deelnemers

Zestig studenten namen deel aan het experiment. Alle studenten spraken Nederlands als moedertaal en waren tussen 18 en 22 jaar oud. Ze werden willekeurig verdeeld in vier groepen. De studenten ontvingen een gratis filmkaartje als vergoeding.

Design

De kern van het experiment bestond erin dat de proefpersonen deelzinnen (TPSF) moesten afmaken die hen werden voorgelegd. In sommige van die deelzinnen kwamen fouten voor uit een van de gedefinieerde foutcategorieën (zie hieronder). Om ervoor te zorgen dat de deelzinnen een TPSF-karakter kregen, werd eerst een context gecreëerd. Daarbij werden telkens twee deelzinnen gepresenteerd die causaal verbonden waren. De proefpersonen konden ze rustig lezen en dan beslissen om de context weg te klikken. Door de zinnen op die manier te presenteren werd de context in het kortetermijngeheugen opgeslagen als basis voor de productietaak. In het experiment werden ook enkele afleiders (fillerzinnen) gebruikt waarbij de deelzinnen temporeel verbonden waren. Die laatste zinnen werden niet gebruikt in de analyses.

Voorbeeld

(1)	context: Omdat hij mijn resultaten wilde bekijken, haalde hij het verslag uit mijn kast.
(2)	TPSF-correct: Hij haalde het verslag uit mijn kast, want ...
(3)	TPSF-incorrect: Hij haalde het verslag uit mij kast, want ...

In het experiment werd een gekruist 2×2 design toegepast. De studenten kregen elk twee reeksen zinnen en de TPSF-zinnen werden de ene keer alleen schriftelijk aangeboden en de andere keer eerst voorgelezen (spraakconditie) voordat ze op het scherm verschenen. Het aantal fouten werd in elke set op een vergelijkbare manier gevarieerd. In elke reeks werd ervoor gezorgd dat de correcte zinnen het meest voorkwamen, om ervoor te zorgen dat de proefpersonen niet te sterk op foutcorrectie geconditioneerd werden. Een resultaatscontrole van de experimentele data toont aan dat ongeveer 90% van de fouten door de studenten werd opgemerkt en correct werd verbeterd. De aanvulling van de zinnen bleek ook in zeer hoge mate overeen te stemmen met de gegeven context (gemiddeld slechts een afwijking van 1.3 karakters t.o.v. het theoretische optimum).

[p. 205]

Om de belasting van het werkgeheugen te meten werd gebruikgemaakt van de zogenaamde ‘tweede-taaktechniek’ (Kellogg 1994, 1996, 2001a, 2001b; Levy & Ransdell 2001; Olive 2004). Daarbij krijgen de proefpersonen een pieptoon te horen waarop ze zo snel moeten reageren door op een speciale schakelaar te drukken. Korte reactietijden bij een tweede taak, wijzen op een relatief lage belasting van het werkgeheugen; langere tijden op een hogere belasting. De pieptoon werden semi-willekeurig aangeboden tijdens het lezen van de TPSF. Om conditionering te voorkomen, werden sommige zinnen niet vergezeld van een pieptoon, of soms werd de toon zeer laat aangeboden (met name in afleidende zinnen, cf. materiaalbeschrijving).

Procedure

Het experiment werd afgenomen in een computerklas en de software voor de verschillende onderdelen van het experiment werd volledig geprogrammeerd in Visual Basic. NET. De deelnemers kregen eerst algemene informatie over het verloop van het experiment in gesproken en geschreven vorm (voorgelezen schermtekst). Het experiment bestond uit verschillende delen. Voor elk deel werd een specifieke instructie gepresenteerd gevolgd door enkele oefentaken.

Het experiment werd als volgt opgebouwd:

(1)	reactietest: procedure om de neutrale, mediane reactietijd per persoon te meten als basis voor de tweede-taaktechniek (cf. supra);
(2)	eerste lees-en schrijfsessie (gevolgd door een korte pauze);
(3)	weede lees-en schrijfsessie met identieke opdracht maar in andere conditie (met of zonder spraak).

Voor de logging werd enerzijds gebruik gemaakt van het. NET-programma en van Inputlog. Algemene tijden en tussentijdse product-output na elke schrijftaak werden geregistreerd met het. NET programma; het verloop van het schrijfproces bij het formuleren en reviseren van de zinnen, werd in een IDF-bestand van Inputlog opgeslagen.

Materiaal

De hoofdtaak van het experiment was een lees-en schrijftaak. Daarvoor kregen de proefpersonen 60 zinnen aangeboden in twee sets. In elke set fungeerden zes zinnen als testzinnen. In 24 van de 60 zinnen werd een fout gepresenteerd in het TPSF-gedeelte. Die fouten waren gebaseerd op een foutenanalyse uit een vorige studie waarbij professionele schrijvers die gebruik maakten van spraaktechnologie werden geobserveerd (Leijten & Van Waes, 2003; 2005).

De fouten werden gecategoriseerd in vier groepen (zie tabel 1). De foutenclassificatie is gebaseerd op combinaties van drie factoren:

•	foutgrootte: meer of minder dan twee karakters verschillend t.o.v. het bedoelde woord (voorbeeld: ‘kast’ wordt resp. ‘kroost’ en ‘krast’)
•	schrijfmodus: fouten zijn kenmerkend voor spraakherkenning dan wel typisch voor toetsenbord en muis (bijvoorbeeld: ‘concurrentie’ wordt ‘conferentie’ (spraak) vs. concurretnie (typefout));
•	lexicaliteit: de fout resulteert al dan niet in een ander bestaand woord (zie bovenstaand voorbeeld: fouten bij spraakherkenning resulteren steeds in andere bestaande woorden).

[p. 206]

Tabel 1: Foutenclassificatie

	Soort fout
Categorie	Foutgrootte	Schrijfmodus	Lexicaliteit
SR groot	groot: > 2 karakters	alleen in spraakherkenning (SR)	bestaand
SR klein	klein: ≤ 2 karakters	alleen in spraakherkenning (SR)	bestaand
SR | Toetsenbord klein	klein: ≤ 2 karakters	in spraakherkenning (SR) en in toetsenbord & muismodus	bestaand
Toetsenbord klein	klein: ≤ 2 karakters	Alleen toetsenbord&muis	niet-bestaand

Alle zinnen waren ongeveer even lang: de context varieerde tussen de 70 en de 90 karakters; de deelzinnen bestonden uit 31 tot 43 karakters. De manipulatie van de foutgrootte in het materiaal voor het experiment werd gepretest door 32 studenten. Die beoordeelden de ernst van de fout op een 7-puntschaal. Met een clusteranalyse werd de beoogde technische categorisering vergeleken met de gescoorde, subjectieve inschatting van de ernst van de fout. Items die niet overeenstemden met het uitgangspunt werden verwijderd.

Analyses

Zes afhankelijke variabelen werden geselecteerd uit de loggingbestanden:

(a) Starttijd: De tijd die verloopt tussen het moment dat het contextscherm gesloten wordt en de eerste muisklik om de TPSF af te maken dan wel te corrigeren (zie Figuur 2). Voor de items waarbij de TPSF eerst werd voorgelezen, werd de spreektijd van de starttijd afgetrokken.

(b) Cursorpositie: Voor elk item werd bepaald of de cursor initieel gepositioneerd werd in het TPSF-gedeelte, dan wel of de proefpersonen de cursor achter de TPSF plaatsten om eerst de zin af te maken. In Inputlog zijn deze data bijvoorbeeld codeerbaar omdat in dit experiment het beginpunt van elke te vervolledigen zin op een vaste schermpositie geprogrammeerd was. Dat punt komt overeen met een vaste x-waarde in de geregistreerde cursorpositie, i.c. 380. Waarden die kleiner zijn verwijzen naar een klik in de TPSF en vice versa⁹.

Voorbeeld van logging-output:

(1)	Left Button: 00:00.15,109 (tijd) 274 (x-waarde) 345 (y-waarde) = in TPSF-zone
(2)	Left Button: 00:00.18,329 (tijd) 390 (x-waarde) 339 (y-waarde) = in productiezone

In het experiment kozen in 89.2% (SD: 15.6) van de gevallen de proefpersonen ervoor om eerst de zin af te maken. De individuele variatie schommelde tussen 50% en 100%.

9 Met de functie conditionele opmaak in Excel is het bijvoorbeeld mogelijk om die waarden te markeren in een bestand om ze sneller toegankelijk te maken voor codering.

[p. 207]

Figuur 2: Schermafdruk van het context-en schrijfgedeelte van het TPSF-experiment.

(d) Pauzetijd voor revisie: De pauzetijd die de revisie in de TPSF voorafgaat, is een belangrijke indicator voor de cognitieve belasting. Om deze variabele te coderen maakten we gebruik van de lineaire representatie die Inputlog genereert. In die XML-output is het mogelijk om elke pauze voor een effectieve revisie te identificeren. In dit onderzoek hebben we de pauzedrempel bepaald op 500 ms. Als eerst de revisie in de TPSF plaatsheeft, valt de pauzetijd samen met de starttijd (= directe revisie); als de revisie volgt op de productie, dan vinden we de pauze terug op het einde van de afgemaakte zin en gaat ze een muis-of cursorbeweging vooraf (= uitgestelde revisie).

Voorbeeld: het woord ‘concurrentie’ wordt vervangen door ‘conferentie’

(1) Directe revisie: eerst foutcorrectie, dan vervolledigen van de zin

tijd	Lineaire representatie	Toelichting
860000-899999	Left Button[947,710]	Klik op OK ([x, y] binnen zone ‘ok’-knop)
	Movement[340,342]	positionering in TPSF-zone
	{4000} Left Button[340,342] Movement [454,350] {672}	pauze van 4 sec voor revisie (= pauzetijd direct)
	BS BS BS BS BS BS BS BS BS	verwijderen van ‘concurrentie’
	{688}fer{766}entie{547}	typen van ‘ferentie’
	Movement[414,352]	beweging naar productie-zone
	{844}het . thema . interesseert . mij.	afmaken van zin
	Movement[904,697] {1141} Left Button[904,697]	Klik op OK

[p. 208]

(2) Uitgestelde revisie: eerst vervolledigen van de zin, dan foutcorrectie

Tijd	Lineaire representatie	Toelichting
1020000	Left Button[893,711]	Klik op OK
-	{3266}	pauze van ruim 3 seconden
1039999	Movement[388,345] {547} Left Button[389,345]	positionering in productiezone
	{687} het . thema . inte{672} resseeer BS BS rt . mij.	afmaken van zin (correctie typefout)
	{1203}	pauze van 1.2 sec voor revisie (= pauzetijd uitgesteld)
	Movement[280,346] Left Button[295,345] Movement [308,350]	beweging naar TPSF-zone pauze en selectie van ‘cur’
	fe	overtypen met ‘fe’
	Movement[912,702] {3328} Left Button[912,702]	Klik op OK

(e) Productietijd (schrijven): De productietijd is de tijd tussen het afsluiten van het contextscherm en het afsluiten van het itemscherm met de ‘ok’-knop. In die tijd lezen de proefpersonen de TPSF, vullen ze de zin aan, herlezen ze die en brengen ze eventueel correcties aan. Omdat de ‘ok’-knop op een vaste plaats op het scherm aangeboden werd (rechts onderaan) is het mogelijk om de coördinaten van de muiskliks hieraan te koppelen. In ons geval betrof het x-waarden tussen 855 en 950 en y-waarden tussen 675 en 720.

(f) Geproduceerde karakters: In de tekstanalyse werd in het. NET-programma per item het aantal geproduceerde en gerealiseerde karakters geteld. Post-hoc werd ook een vergelijking gemaakt tussen het aantal karakters dat we in een correcte zin verwachten (op basis van de aangeboden contextzin) en het aantal karakters in de eindzin van de proefpersoon. Dit vormde een eerste indicatie van de kwaliteit van de taakuitvoering. Het verschil bedroeg amper 1.3 karakter.

(g) Reactietijd: De reactietijd geeft de tijd aan die verstrijkt tussen het aanbieden van de pieptoon en het moment waarop de drukknop werd ingedrukt (cf. beschrijving van de tweedetaaktechniek hierboven). De logging hiervan gebeurde via het. NET-programma.

(h) Succesratio (correctie van de fouten in de TPSF): Voor elk item met een fout in de TPSF werd nagegaan of het correct werd verbeterd. De succesratio geeft het percentage zinnen aan dat correct werd aangepast. De deelnemers aan ons experiment corrigeerden gemiddeld 86.6 procent van de fouten (SD: 8.4). Alleen die zinnen die correct verbeterd werden, zijn in de verdere analyses opgenomen¹⁰.

10 Voor zinnen die niet verbeterd werden, gaan we er m.a.w. vanuit dat de fout niet werd opgemerkt. Het gedrag van de proefpersoon in kwestie voor dergelijke zinnen is in die gevallen in feite vergelijkbaar met het leesgedrag van correcte zinnen. Uiteraard is het ook interessant om in post-hoconderzoek na te gaan welke fouten het makkelijkst over het hoofd worden gezien.

3.1 Resultaten.

Voordat we ingaan op de analyse van de foutgrootte, presenteren we in Tabel 2 kort enkele algemene resultaten voor de vergelijking tussen de correcte en de incorrecte items.

Tabel 2 geeft aan dat wanneer schrijvers een correcte TPSF-deelzin gepresenteerd krijgen, ze minder tijd nodig hebben om te beslissen hoe ze de zin gaan aanpassen dan wanneer er een deficiënte TPSF getoond wordt (t(59) = - 5.25, p <. 001). Ook de totale productietijd om een correcte TPSF-deelzin te vervolledigen is korter (M = 14.34 sec, SD = 3.46) in

[p. 209]

vergelijking met de incorrecte items (M = 17.17 sec, SD = 2.16 t(59) = - 10.956, p <. 001). Dat verschil ligt natuurlijk voor de hand omdat er geen tijd nodig is om de fout in de TPSF te corrigeren in dat laatste geval. De extra productietijd houdt echter ook verband met de langere starttijd. Tijdens die pauze wordt in een aantal gevallen waarschijnlijk de strategie overwogen om al dan niet eerst de correctie uit te voeren (cf. infra).

Tabel 2: Gemiddelde waarden voor de correcte vs. de incorrecte items

	Correct		Incorrect
	Gemiddelde	SD	Gemiddelde	SD	p
Starttijd(sec)	1.46	0.51	1.70	0.60	★★
Cursorpositie (%)	98.43	6.15	80.31	2.16	★★
Productietijd (sec)	14.34	3.46	17.17	4.35	★★
Reactietijd (ms)	332	173	347	170	-

★ significantieniveau <.05; ★★ significantieniveau <.01

De analyse van de cursorpositie bij de aanvang van de taak geeft aan dat de schrijvers in ongeveer 20% van de gevallen er de voorkeur aan gaven om eerst de fout te corrigeren en dan pas de zin te vervolledigen¹¹.

Tot slot geeft deze algemene analyse aan dat er geen verschil gemeten werd tussen de reactietijden bij het lezen van correcte en incorrecte items. Een meer specifieke spiegelanalyse waarbij alleen die items bekeken werden die zowel correct als incorrect aangeboden werden (n=4), resulteerde in een significant verschil in reactietijd (t(59) = - 2.284, p <. 05). Dit toont aan dat het werkgeheugen op een bepaalde manier door de interactie met een (deficiënte) TPSF beïnvloed wordt. De onderstaande analyse waarbij het gedrag bij kleine en grote fouten vergeleken wordt, vormt daar al een eerste verduidelijking van.

Zoals aangegeven, kunnen we in deze bijdrage niet ingaan op alle deelresultaten. We beperken ons hier tot de analyse van de verschillen tijdens de interactie tussen grote en kleine fouten in de TPSF. Concreet gaat het om de vergelijking van items waarbij de fout resulteert in een ander bestaand woord waarvan minder of meer dan twee karakters verschillend zijn.

Voorbeeld

(1)	kleine fout
	context:	Omdat hij mijn resultaten wilde bekijken, haalde hij het verslag uit mijn kast.
	TPSF:	Hij haalde het verslag uit mij kast, want ...
(2)	grote fout
	context:	Omdat het thema mij interesseert, ga ik volgende week naar die conferentie.
	TPSF:	Ik ga volgende week naar die concurrentie, want ...

11 We moeten er rekening mee houden dat deze analyse van de initiële cursorpositie slechts een indicatie geeft van het correctiegedrag. Een schrijver kan immers aanvankelijk beslissen om de cursor in het productiegedeelte te positioneren om zo een zin te vervolledigen, maar dan toch beslissen om de fout te corrigeren. Het feit dat het percentage voor de cursorpositie bij correcte zinnen niet gelijk is aan 100%, is waarschijnlijk te wijten aan een vergelijkbare ruisfactor in deze meting.

[p. 210]

Tabel 3 geeft aan dat de schrijvers er beter in slagen om grote fouten te corrigeren in de TPSF dan kleine fouten. De succesratio is significant hoger bij grote fouten dan bij kleine (t(59)= 2.38, p <. 05). Kleine fouten worden sneller over het hoofd gezien, vooral in de spraakconditie waarbij de TPSF ook voorgelezen wordt. In dergelijke gevallen ontstaat er immers bij het beluisteren van de tekst al een mentale representatie in het geheugen die bij een snelle confrontatie met de TPSF op het scherm niet leidt tot een detectie van het kleine verschil.

Kleine fouten worden dus niet altijd gedetecteerd, maar als ze gedetecteerd worden creeren ze een lagere belasting voor het werkgeheugen. Uit de analyse van de reactietijd blijkt namelijk dat de schrijvers over het algemeen meer tijd nodig hebben om op de pieptoon te reageren bij grote fouten dan bij kleine fouten (F(1,59)= 4.35, p <. 05). Dat bevestigt ons uitgangspunt. Grotere fouten vormen immers een grotere verstoring bij de afstemming tussen de mentale en de fysieke representatie en vergen daardoor meer van het werkgeheugen. Ook de diagnose is daardoor vaak complexer.

Ook de starttijden voor de items met een grote fout blijken in de TPSF langer zijn dan die voor de kleinere fouten (grote fouten: M= 2.07, SD 0.47 vs. kleine fouten: M=1.48, SD=0.54, F(1,59)= 36.39, p <. 001). Ook de interactie tussen foutgrootte en de spraakconditie is significant (F(1,59)= 13.37, p <. 01). Grote fouten vergen dus iets meer initiële verwerkingstijd dan kleinere fouten, vooral als ze voorafgegaan niet worden voorgelezen.

Tabel 3: Gemiddelde waarden voor het effect van de foutgrootte in de TPSF

	Grote fouten (SR)		Kleine fouten (SR)		p
	Gemiddelde	SD	Gemiddelde	SD
Succesratio (%)	92.50	16.14	84.17	19.51	★
Met spraak	92.50	22.22	85.00	26.52	-
Zonder spraak	92.50	22.22	83.34	23.77	★
Reactietijd (mil. sec)	372	255	303	161	★
Met spraak	332	344	270	172	-
Zonder spraak	423	309	345	233	★★
Productietijd (sec)	20.48	6.40	15.61	4.39	★★
Met spraak	20.83	7.97	15.32	5.05	★★
Zonder spraak	20.12	8.22	15.89	5.25	★★
Pauzetijd revisie (sec)	2.27	1.32	1.64	1.16	★★
Direct	4.72	2.34	2.93	0.88	★★
Uitgesteld	0.92	0.42	1.07	0.70	★★

★ significantieniveau <.05; ★★ significantieniveau <.01

Verder blijkt er geen verschil in de voorkeur om eerst de zin af te maken dan wel te corrigeren bij grote of kleine fouten. In beide gevallen geven de proefpersonen in vier van de vijf gevallen er de voorkeur aan om de tekstproductie voorrang te geven (F(1,59)=2.57, p= 115). Er is wel een significant interactie-effect (F (1,59)= 5.53, p <. 05), wat erop wijst dat het aanbieden van een gesproken TPSF het gedrag om eerst de zin af te maken nog versterkt. Dit wijst er waarschijnlijk op dat het aanbieden van de TPSF in gesproken vorm aanleiding

[p. 211]

geeft tot een meer oppervlakkige, conceptuele verwerking van de geschreven tekst en dat een meer grondige lectuur van de gepresenteerde TPSF pas plaatsheeft nadat de zin volledig is afgemaakt.

In beide condities hebben de schrijvers meer tijd nodig om de zinnen met een grote fout correct af te werken dan die met een kleine fout (F(1,59) = 115.95, p <. 001), hoewel het aantal te produceren karakters niet verschilde. De spraakconditie heeft geen invloed daarop.

De analyse van de gedetailleerde pauzetijden uit de logging van Inputlog stellen ons in staat dit beeld nog te verfijnen. De resultaten wijzen erop dat er significant langer gepauzeerd wordt voor een grotere fout dan wel voor een kleinere fout (F(1,17) =. 359, p <. 01). De spraakconditie beïnvloedt dit gedrag niet. Wel blijkt er een beduidend en versterkend verschil tussen het pauzegedrag bij directe en uitgestelde revisies (zie Tabel 3; interactieffect: F (1,17)=. 350, p <. 01). Bij directe correctie van de fout in de TPSF wordt de pauzetijd hoogstwaarschijnlijk verdeeld tussen het lezen van de TPSF, de detectie van de fout en misschien wordt in sommige gevallen ook al een mentale aanzet geformuleerd om de zin te vervolledigen (niet noodzakelijk in die volgorde). Dit verklaart waarschijnlijk de langere initiële pauzetijden. Bij uitgestelde revisie is de focus duidelijk op de foutdetectie, - diagnose en -correctie gericht. Bovendien blijkt uit het onderstaande voorbeeld (zie voorbeeld 1) dat in die gevallen de foutdetectie soms al gebeurd is tijdens de initiële starttijd, maar dat de correctie uitgesteld wordt. De schrijvers lijken in die gevallen voorrang te geven aan de tekstproductie, waarschijnlijk om het werkgeheugen niet te blijven belasten met de contextinformatie die in het kortetermijngeheugen (KTG) opgeslagen is.

Voorbeeld van niet-directe revisie:

Lineaire representatie van Inputlog	Toelichting
Left Button[905,706]	klik op OK
{2891} Movement[437,340]	startpauze van bijna 3 sec en positionering in productiezone
{563} het . t{750} hema . interesseert . mij.	vervolledigen van zin (pauze in ‘thema’)
{531} Movement[286,348]	korte pauze voor muisbeweging naar in TPSF
{2156} Left Button[293,348]	pauze van 2 sec en positionering van cursor
{1141} Movement[303,346]	pauze van 1 sec en kleine muisbeweging
{703} BS BS BS fe{672} Movement[929,707]	korte pauze en wijziging van ‘concurrentie’ in ‘conferentie’
{1000} Left Button[928,706]	pauze van 1 sec en klik op OK

Dit voorbeeld geeft aan dat de detectie van de fout in de TPSF hoogstwaarschijnlijk al plaatsgevonden heeft tijdens de startpauze. Dit verklaart waarom een pauze van een halve seconde volstaat om de cursor in de buurt van de fout in de TPSF te positioneren. In andere voorbeelden is die pauzetijd zelfs kleiner dan 0.5 sec. De diagnose van de fout en het bepalen van een correctiestrategie (bijvoorbeeld hele woord schrappen, of toch voor lettersubstitutie kiezen) neemt beduidend meer tijd in beslag en verloopt gefaseerd.

In onze data zijn vier dominante profielen herkenbaar die de interactie met de deficiënte TPSF kenmerken. Op basis van onze observaties formuleren we de volgende interpretatie die we in replicatief vervolgonderzoek met oogbewegingsregistratie verder willen verifiëren:

[p. 212]

(1)	korte initiële pauzes die leiden tot directe correctie: tijdens de initiële pauze richt de schrijver zich op de productie van de zin om de zin af te maken; pas daarna gaat de aandacht naar de correctie van eventuele fouten in de TPSF.
(2)	korte initiële pauzes die leiden tot uitgestelde correctie: tijdens de initiële pauze richt de schrijver zich op foutdetectie (evaluatief lezen); pas daarna gaat de aandacht naar het vervolledigen van de zin.
(3)	langere initiële pauzes die leiden tot directe correctie van de TPSF-fout: de schrijver richt zich op het vervolledigen van de zin tijdens de initiële pauze; in functie daarvan herleest hij de TPSF (oriënterend lezen) en wordt dan geconfronteerd/afgeleid door de fout, wat leidt tot correctie ervan.
(4)	langere initiële pauzes die leiden tot uitgestelde correctie: de schrijver doorloopt (waarschijnlijk) eerst een vergelijkbaar proces als in het vorige profiel, maar beslist dan om de voorrang te geven aan het vervolledigen van de zin en pas daarna de TPSF-fout te corrigeren; de detectie wordt opgeslagen in het kortetermijngeheugen (KTG) om daarna snel de fout te kunnen lokaliseren.

Dat die laatste strategie soms tot verlies van informatie kan leiden, toont het onderstaande voorbeeld misschien aan. (Door het ontbreken van oogbewegingen kunnen we natuurlijk niet met zekerheid vaststellen of de fout bij de start al gedetecteerd is.) Ook hier hebben we een relatief lange starttijd en geen directe correctie. Een aarzeling binnen een woord en een typefout, leiden de schrijver tijdens de productie af, wat leidt tot een lange (her?) oriëntering op de TPSF. (zie voorbeeld 2)

Voorbeeld van uitgestelde revisie met extra foutcorrectie:

Lineaire representatie van Inputlog	Toelichting
Button[907,693] Movement[393,346]	klik op OK en directe beweging naar productiezone
{3468} Left Button[393,345] {687} het .	startpauze van 3.5 sec en bevestiging positionering
thema{796} . {907}inter{594} esser	vervolledigen van zin (pauze tussen en in woorden)
{640} BS et BS rt . mij	korte pauze, dubbele correctie van typefout en afwerken zin
{3281}.{859} Movement[297,348]	pauze voor en na het punt en positionering in TPSF
{2515}	pauze van 2.5
Left Button[296,348] Left Button[297,348]	selectie van TPSF-fout (volledige woord door dubbelklik)
{1094} conferentie	pauze van 1 sec en correctie van fout
{1531}	pauze van 1.5 sec
Movement[916,702] Left Button[916,700]	klik op OK

Bovenstaande analyses tonen aan dat de nauwkeurige registratie van schrijfprocesdata een belangrijke meerwaarde kan vormen bij de analyse van schrijfprocessen, zowel in ecologische omgevingen als in experimentele contexten. Loggingdata bieden de onderzoeker immers de mogelijkheid om - in veel gevallen na een zeer gerichte selectie uit de veelheid van data - aspecten van het schrijfproces scherper in beeld te krijgen en zuiverder te interpreteren.

[p. 213]

4. Toekomstplannen

Inputlog is een programma dat nog volop in ontwikkeling is. In de eerste plaats streven we ernaar om de huidige functionaliteit te stabiliseren en te optimaliseren. Zo zijn de gebruikte algoritmes voor de bepaling van woord-en zinsgrenzen nog erg beperkt en dus onvoldoende onnauwkeurig. Een extra complicatie daarbij is dat de algoritmes ook geldig moeten zijn voor procesdata. Moet je bijvoorbeeld een pauze voor een punt anders interpreteren dan een pauze na een punt? Uiteraard vergt de compatibiliteit met nieuwe versies van Windows en Office ook voortdurende aandacht.

Een andere invalshoek bij de verdere ontwikkeling is erop gericht de huidige functionaliteit verder uit te breiden. Daarbij gaat onze aandacht voornamelijk naar de volgende modules:

1.	revisiemodule
2.	progressiemodule
3.	integratiemodule (Morae / Eyelink / I-Pad)

4.1 Revisiemodule.

Revisie vormt een cruciale invalshoek voor de analyse van (cognitieve) schrijfprocessen. Een (semi-)automatische analyse van het revisieproces zou dan ook een belangrijk hulpmiddel kunnen vormen voor schrijfonderzoekers. In de revisiemodule streven we ernaar om elke revisie op een aantal verschillende dimensies te beschrijven, o.a. tijd, operatie, niveau, locatie en positie t.o.v. de laatste schrijfactie (‘point of inscription’). Een eerste aanzet voor een dergelijke analyse is ondertussen geprogrammeerd, maar de complexiteit van deze analyse leidt ertoe dat het erg tijdrovend is om tot een betrouwbaar en stabiel eindresultaat te komen.

Om revisies te detecteren hebben we een aantal algoritmes ontwikkeld in combinatie met regelsets. Aan de hand daarvan identificeert de revisieanalyse in eerste instantie zogenaamde critical events die kunnen wijzen op een revisie of een revisiecluster. Vervolgens evalueert de analyse elke mogelijke revisiekandidaat door het procesverloop direct erna te monitoren. Inputlog bevriest m.a.w. de situatie direct voor en direct na een revisie door muisbewegingen, selecties, cursorhandelingen en specifieke functies te isoleren en als afwijkend te interpreteren t.o.v. productiehandelingen die erop gericht zijn nieuwe tekst te produceren.

Onderstaand voorbeeld beschrijft bondig de werkwijze en geeft aan hoe verschillende technische operaties kunnen leiden tot een vergelijkbare revisie, i.c. de substitutie van een woord op het einde van een zin. Het woord ‘gebracht ‘door ‘geleid’ (S-notatie¹²).

(1)	Toen de prinses uit haar bad kwam, werd ze naar de logeerkamer [gebracht]^1.|1 {geleid}

Een eerste mogelijkheid is dat de schrijver de revisie uitvoert door de cursor een positie naar links te verplaatsen met de pijltjestoets en vervolgens het woord ‘gebracht’ verwijdert met de backspace-toets (8x). Door het vervangende woord ‘geleid’ te typen¹³ en de cursor weer naar rechts te plaatsen, sluit de schrijver de revisie af (zie regel 1, Figuur 3). Een andere mogelijkheid om deze substitutie uit te voeren is bijvoorbeeld het te vervangen woord dubbelklikken, de selectie verwijderen met de delete-toets en dan het nieuwe woord typen. De revisie kan in dat geval afgerond worden door de cursor met de muis te verplaatsen naar het einde van de tekst (zie regel 2, Figuur 3).

12 Zie Kollberg (1998) voor een beschrijving van deze notatiemethode.

13 Om de revisieregels zo eenvoudig mogelijk te houden, wordt nieuw gegeneerde tekst niet opgenomen in de regels.

[p. 214]

	begin (beweging)	selectie/positionering	deletie	einde (beweging)
1	-	cursorbeweging links	backspace	cursorbeweging rechts
2	muisbeweging links	dubbele muisklik links	delete	muisbeweging rechts
n	...	...	...	...

Figuur 3: Voorbeeld van revisieregels.

Uiteraard zijn er nog veel meer mogelijkheden om deze operatie uit te voeren. Het is onze bedoeling om de set van een vijftigtal regels die we nu voor deze operatie hebben opgebouwd, verder te testen en uit te breiden, ook voor andere revisietypes.

4.2 Progressie-analyse.

Op dit moment representeert Inputlog de ontwikkeling van de tekst in een lineair tekstbestand. Om de tekstproductie ook visueel te kunnen voorstellen, willen we het programma uitbreiden met twee grafische voorstellingen van de tekstontwikkeling: een statische en een dynamische. In de statische progressie-representatie is het de bedoeling om het aantal geproduceerde karakters op een tijdlijn te plaatsen waarbij we uiteraard rekening houden met de tekens die in het verloop van het schrijfproces verwijderd worden. Die representatie kan de basis vormen voor een progressie-analyse zoals die bijvoorbeeld beschreven is door Perrin (2003; 2006).

De statische weergave zouden we willen aanvullen met een dynamische, interactieve weergave van de ontwikkeling van het schrijfproces. Daarbij laten we ons inspireren door het onderzoek van Lindgren (2006). Zij gebruikt Geografische Informatiesystemen (GIS) om het verloop van het schrijfproces te visualiseren en toegankelijker te maken voor verdere analyse. GIS stelt de onderzoeker in staat om via een grafische representatie van het schrijfproces te interageren met de onderliggende data. Door representatieve variabelen te selecteren (bijvoorbeeld langere pauzetijden) wordt een dynamische (kwalitatieve) analyse van schrijfprocesdata een heel stuk eenvoudiger en inzichtelijker.

Figuur 4 toont een voorbeeld van een GIS-representatie. De x-as vormt een tijdslijn; de y-as stelt het aantal karakters voor dat geproduceerd is (bovenste lijn), cq. overgebleven is in de tekst (onderste lijn).

Figuur 4: Grafische representatie van schrijfdata in een GIS-applicatie.

[p. 215]

Als die laatste lijn een daling vertoont, wijst dit erop dat er tekst verwijderd werd. De stippellijn stelt de schrijf(in) activiteit voor: de grootte van de stippen geeft de lengte van de pauzes aan. Dit voorbeeld is opgebouwd op basis van een manueel aangepaste dataset uit Inputlog. Om een dergelijke figuur automatisch te genereren moet eerst de revisie-analyse afgewerkt worden, omdat het anders niet mogelijk is om de tekstevolutie correct te interpreteren.

4.3 Integratiemodule.

De logdata van Inputlog kunnen op verschillende manieren gecomplementeerd worden. De toevoeging van spraakdata uit het dicteerprogramma Dragon Naturally Speaking is daar een voorbeeld van. Op dit moment verkennen we nog drie andere uitbreidingen:

1.	Morae: een programma voor gebruikersonderzoek;
2.	Eyelink: een programma voor de registratie van oogbewegingen;
3.	I-Pad: een experimentele tekstverwerker.

Inputlog is in de eerste plaats een instrument dat micro-analytische analyses van schrijfprocessen ondersteunt. De combinatie met meer macro-analytische data opent echter nieuwe perspectieven. Daarbij denken we in de eerste plaats aan de integratie van logdata uit het programma Morae (Techsmith). Dit is een programma voor gebruikersonderzoek dat o.m. videodata genereert, online codering mogelijk maakt en ook schermwisselingen tussen programma's registreert (bijvoorbeeld url-adressen van websites die geraadpleegd werden). Omdat de logdata ook een tijdsaanduiding meekrijgen is integratie met Inputlog via een intermediair XML-formaat mogelijk. Voor de analyse van schrijfprocessen in meer geïntegreerde schrijfomgevingen biedt die extra informatie zeker mogelijkheden. We denken hierbij bijvoorbeeld aan de analyse van schrijfopdrachten waarbij gebruik gemaakt wordt van verschillende documenten en/of websites. Omdat Morae bijvoorbeeld ook url-adressen bewaart, is het mogelijk de inputlogdata te verdelen over de verschillende toepassingen (cq. webpagina's) om zo een beter beeld te krijgen van het gebruik van verschillende bronnen.

Daarnaast verkennen we de mogelijkheden om de data van oogbewegingsregistraties te integreren met Inputlogdata (zie ook Cozijn en Lentz, Mak & Pander Maat in dit nummer). Het logbestand van Eyelink (SR Research) bijvoorbeeld biedt daartoe een aantal mogelijkheden. Een dergelijke integratie opent vooral nieuwe perspectieven voor onderzoek waarbij ook de interactie tussen lees-en schrijfprocessen een belangrijke component is. Een geïntegreerd XML-bestand zou immers de mogelijkheid bieden om de micro-analyses aan te vullen met gedetailleerde en geaggregeerde gegevens over de oogbewegingen. We denken daarbij vooral aan de beschrijving van bijvoorbeeld oogbewegingen en -fixaties tijdens schrijfpauzes. Dit zou ons in staat moeten stellen om het leesgedrag tijdens inactieve periodes beter te interpreteren. Als basis voor deze uitbreiding van het programma willen we de data gebruiken van de replicatie van het hierboven beschreven experiment. We hebben namelijk in een vergelijkbare setting het experiment opnieuw uitgevoerd en daarbij gebruikt gemaakt van een eyetracker¹⁴. In dit experiment werden de fouten in de ‘reeds geproduceerde tekst’ als kijkzones gemarkeerd om zo een betere interpretatiebasis te creëren voor de interactie van de schrijver met de TPSF-fouten in de verschillende fases van de tekstproductie.

Ten slotte is er ook een integratie gepland met loggingdata van een experimentele tekstverwerker, I-Pad. Dit is een eigen tekstverwerker met beperkte functies die ingezet kan worden voor schrijfonderzoek waar de ecologische aspecten van de schrijfomgeving - en

14 Het experiment werd gecoördineerd door Thomas Quinlan, post-doconderzoeker aan de Universiteit Antwerpen. We danken de collega's van de Universiteit van Tilburg (Bedrijfscommunicatie en Digitale Media) voor de gastvrijheid om het onderzoek in hun laboratorium uit te voeren.

[p. 216]

meer bepaald de tekstverwerker - niet belangrijk zijn. Het grote voordeel van een dergelijke integratie is dat het op die manier ook mogelijk is om voor elk getypt karakter nauwkeurige schermposities te bepalen, zowel absoluut (x/y-positie op het scherm) als relatief (aantal karakters t.o.v. het einde van de alinea of de tekst). Die informatie opent weer extra mogelijkheden voor aanvullende analyses waarbij het bijvoorbeeld van belang is om na te gaan in welke mate schrijvers hun tekst recursief opbouwen. Ook in combinatie met oogbewegingsregistraties biedt deze heel precieze benadering veel voordelen voor een nauwkeurige interpretatie van het leesgedrag.

5. Conclusie

Toetsregistratieprogramma's maken het mogelijk om zeer gedetailleerd schrijfprocessen te registreren, te registreren en te analyseren. De toepassingen van deze programma's bieden ruime mogelijkheden voor linguïstisch, tekstueel en cognitief georiënteerd schrijfprocesonderzoek. Maar ook ruimere toepassingen in het domein van schrijfontwikkeling, schrijfstoornissen of schrijfdidactiek behoren tot de mogelijkheden. In dit artikel hebben we de technische en functionele kenmerken van Inputlog beschreven. Het grote verschil met andere registratieprogramma's is dat Inputlog ontwikkeld is om schrijfprocessen in Word te loggen (Windowsomgeving) en dat niet alleen toets- en muisinput geregistreerd wordt, maar dat ook de spraakinput van dicteerprogramma's (Dragon Naturally Speaking) in de logging verwerkt wordt. Voor meer details verwijzen we graag naar de website van het programma: www.inputlog.net. Op die locatie wordt het programma ook beschikbaar gesteld voor onderzoekers.

De toepassing die we in dit artikel bespreken, maakt duidelijk wat de meerwaarde van schrijfprocesobservatie is voor de analyse van schrijfprocessen. De algemene analyse - en vooral de pauze-analyse in combinatie met de lineaire output - die Inputlog genereert, biedt een zeer bruikbare basis om ook meer theoretische onderzoeksvragen te beantwoorden. Zo hebben we in dit artikel voorbeelden gegeven van de verschillende strategieën die schrijvers ontwikkelen om te interageren met (deficiënte) representaties van de ‘reeds geproduceerde tekst’ (TPSF). De analyse van de data van het experimentele onderzoek geven onder meer aan dat de aard van de fouten in de TPSF bepalend kunnen zijn voor de manier waarop een schrijver in interactie treedt met de bestaande tekst. Uit de lineaire weergave van de gelogde data leiden we ook af dat het pauzegedrag bij het begin van de interactie met de TPSF en vóór de (uitgestelde) revisie een specifiek profiel vertoont. Die profielen willen we in verder onderzoek scherper omschrijven.

In vervolgonderzoek hopen we ook verslag te kunnen uitbrengen over de ontwikkelingen van nieuwe toepassingen en analyses in Inputlog. Vooral de revisie-, de progressie-analyse en de integratie met Eyelink (oogbewegingsregistratie), Morae (usability programma) en I-Pad (een experimentele tekstverwerker gekoppeld aan Inputlog) moeten extra mogelijkheden creëren voor een nog meer gedetailleerde registratie van schrijfprocesdata en een gerichtere analyse ervan.

[p. 217]

* Hierbij bedanken we Wesley Cabus, Ahmed Essahli, Bart van de Velde, Mathia van de Poel en Wim Claessens voor hun uitstekende programmeerwerk van Inputlog. Bart van de Velde schreef ook het Visual Basic. NET programma voor het TPSF-experiment. Graag danken we ook Thea van der Geest, Maaike van den Haak en Menno de Jong voor hun kritische opmerkingen bij een eerste versie van deze bijdrage.

[p. 218]

Bibliografie

Degenhardt, M. (2005). Camtasia and Catmovie: Two digital tools for observing, documenting and ana-lysing writing processes of university students. In L. Van Waes, M. Leijten and C. Neuwirth (Eds), Writing and Digital Media (pp. 180-186). Oxford: Elsevier.

Goldman-Eisler, F. (1972). Pauses, clauses, sentences. Language and Speech, 15, 103-113.

Janssen, D., Waes, L. van, & Bergh, H. van den (1996). Effects of thinking aloud on writing processes. In M. Levy & S. Ransdell (edit.), The science of writing: Theories, methods, individual differences, and applications (pp.233-250). Mahwah, N.J., Lawrence Erbaum.

Kellogg, R.T. (1994). The psychology of writing. New York: Oxford University Press.

Kellogg, R.T. (1996). A model of working memory in writing. In C.M. Levy & S. Ransdell (Eds.). The science of writing: Theories, methods, individual differences and applications. Hillsdale, NJ: Erlbaum.

Kellogg, R.T. (2001a). Competition for working memory among writing processes. American Journal of Psychology, 114, 175-191.

Kellogg, R.T. (2001b). Long-term working memory in text production. Memory & Cognition, 29, 43-52.

Kollberg, P. (1998). S-Notation - a computer based method for studying and representing text composition. Stockholm: Stockholm University.

Leijten, M., & Waes, L. van (2003). The writing processes and learning strategies of initial users of speech recognition: A case study on the adaptation process of two professional writers. Antwerp: Faculty of Applied Economics, University of Antwerp (Research paper, beschikbaar op http://www.ua.ac.be/luuk.vanwaes/publications.html).

Leijten, M., & Waes, L. van (2005). Writing with speech recognition: The adaptation process of professional writers with and without dictating experience. Interacting with Computers, 17(6), 736-772.

Leijten, M., Ransdell, S., & Waes, L. van (in voorbereiding). Working Memory and Error Analysis in Writing: Strategy decisions based on error span, lexicality, and mode of writing.

Levy, C.M., & Ransdell, S. (2001). Writing with concurrent memory loads. In T. Olive and C.M. Levy (Eds.) Contemporary Tools and Techniques for Studying Writing, (pp. 9-29). Dordrecht, The Netherlands: Kluwer Academic Publishers.

Lindgren, E. (2006, to be published). GIS for writing: applying geographic information system techniques to data-mine writing's cognitive processes. In D. Galbraith, M. Torrance and L. Van Waes, Writing and Cognition. Oxford: Elsevier.

Lindgren, E., & Sullivan K.P.H. (2002). The LS graph: A methodology for visualising writing revision. Language Learning, 52(3), 565-595.

Lindgren, E., & Sullivan, K.P.H. (2006). Key-stroke Logging: An Introduction. In K.P.H. Sullivan & E. Lindgren, Computer Key-Stroke Logging and Writing: Methods and Applications (pp. 1-10). Elsevier Science.

Matsuhashi (1981). Pausing and Planning: The Tempo of Written Discourse Production. Research in the Teaching of English, 15(2), 113-134.

Olive, T. (2004). Working memory in writing: Empirical evidences from the dual-task technique. European Psychologist, 9(1), 32-42

Perrin, D. (2003). Progression analysis: Investigating writing strategies at the workplace. Journal of Pragmatics, 35(6), 907-921.

[p. 219]

Perrin, D. (2006). Progression Analysis: An Ethnographic, Computer-Based Multi-Method Approach to Investigate Natural Writing Processes. In L. Van Waes, M. Leijten and C. Neuwirth, Wrting and Digital Media (pp. 173-179). Oxford: Elsevier Science.

Severinsson Eklundh, K.S. (1994). Linear and Non-linear strategies in computer-based writing. Computers and Com-position, 11, 203-216.

Severinsson Eklundh, K.S., & Kollberg, P. (1992). Translating keystroke records into a general notation for the writing process. Royal Institute of Technology, Stockholm: IPLab, Department of Numerical Analysis and Computing Science.

Severinson Eklundh, K.S., & Kollberg, P. (1996). Computer tools for tracing the writing process: From keystroke records to S-notation. In G. Rijlaarsdam, H. van den Bergh & M. Couzijn, Theories, models and methodology in writing research, pp. 526-541. Amsterdam: Amsterdam University Press.

Severinson Eklundh, K.S., & Kollberg, P. (2003). Emerging discourse structure: Computer-assisted episode analysis as a window to global revision in university students' writing. Journal of Pragmatics, 35 (4), 869-891.

Spelman Miller, K. (2006). Pausing, Productivity and the Processing of Topic in Online Writing. In K.P.H. Sullivan & E. Lindgren, Computer Key-Stroke Logging and Writing: Methods and Applications. Elsevier Science.

Strömqvist, S., & Malmsten, L. (1997). ScriptLog Pro User's manual. Göteborg University, Dept of Linguistics.

Waes, L. van, & Leijten, M. (2006). Logging writing processes with Inputlog. In L. Van Waes, M. Leijten & C. Neuwirth (Eds.) Writing and Digital Media (pp. 158-166). Oxford: Elsevier Science.

Wengelin, A. (2006). Examining Pauses in Writing: Theory, Methods and Empirical Data. In K.P.H. Sullivan & E. Lindgren, Computer Key-Stroke Logging and Writing: Methods and Applications. Oxford: Elsevier Science.