Logo DBNL
Tijdschrift voor Taalbeheersing. Jaargang 25 (2003)

Tijdschrift voor Taalbeheersing. Jaargang 25

(2003)– [tijdschrift] Tijdschrift voor Taalbeheersing–rechtenstatus Auteursrechtelijk beschermd

Vorige Volgende

Mariëlle Leijten en Luuk van Waes
Schrijven zoals je spreekt - spreken zoals je schrijft
De invloed van spraakherkenning op het schrijfproces van dicteerders met verschillende leerstijlen

Samenvatting

Spraakherkenningsprogramma's maken het mogelijk om een tekst te dicteren aan de computer. De software zet immers de steminput om in tekst op het scherm, net zoals een toetsaanslag resulteert in een teken op het scherm. De vraag die in dit artikel centraal staat, is of het gebruik van die technologie een invloed heeft op de cognitieve processen van schrijvers. In deze bijdrage concentreren we ons op een casestudy1 waarin we het schrijfproces van twee ervaren dicteerders beschrijven. We hebben deze schrijvers gedurende enkele weken geobserveerd om na te gaan hoe ze zich in die initiële leerperiode aanpassen aan de nieuwe technologie. Beide schrijvers hebben een vergelijkbare schrijf- en beroepservaring, maar verschillen qua leerprofiel. Uit de casestudy blijkt dat precies die verschillen in leerstijl doorslaggevend zijn in het adaptatieproces. De ‘accommodator’ handhaaft in hoge mate zijn vertrouwde schrijfstrategie en exploreert slechts beperkt de mogelijkheden van de nieuwe modus; de ‘divergeerder’ daarentegen exploreert veel explicieter het hybride karakter van de nieuwe dicteermodus en past gaandeweg zijn initiële schrijfgedrag aan.

1. Inleiding

De mogelijkheden van spraakherkenning voor dicteertoepassingen zijn de laatste jaren duidelijk in een stroomversnelling gekomen. Nieuwe technologische ontwikkelingen in de (taal)technologie hebben het mogelijk gemaakt om niet alleen discrete spraak te dicteren aan een computer (woord voor woord met pauzes), maar stellen ons in staat om continue spraak te gebruiken en te laten herkennen. De foutmarge van die herkenning is in de meeste (professionele) programma's stilaan op een aanvaardbaar niveau gekomen, op voorwaarde ten minste dat je als gebruiker vooraf tijd maakt voor ‘training’. Dicteerprogramma's zijn namelijk sprekerafhankelijk en vergen dus eerst een gestandaardiseerde stemherkenning.

De bedoeling van dicteerprogramma's is dat een gebruiker alles wat hij vroeger met toetsenbord en muis deed, nu (ook) met spraakinput kan doen. Het programma voegt enkel een extra werkbalk toe aan je interface (zie figuur 1). Spraaktechnologie maakt het mogelijk om een microfoon te gebruiken om bijvoorbeeld in je favoriete tekstverwer-

ker tekst te dicteren, door een tekst te scrollen, de lay-out aan te passen of tekstwijzigingen door te voeren. Aanvankelijk waren de meeste gebruikers RSI-patiënten of gehandicapten die noodgedwongen gebruikmaakten van spraaktechnologie. Ook bepaalde beroepsgroepen zoals radiologen en advocaten maakten al in een vroeg stadium gebruik van de technologie, ook omdat de meeste producenten al snel speciaal voor die doelgroepen specifieke pakketten ontwikkelden met bijvoorbeeld aangepaste lexica.



illustratie
Figuur 1: Menubalk van de interface van de Lernout & Hauspie Voice Xpresstm Legaltm 5.0


In de eerste ontwikkelingsfase van spraaktechnologie was het onderzoek vooral gericht op de technische ontwikkeling. Pas aan het einde van de jaren negentig werden onderzoeks-resultaten gerapporteerd die toegespitst waren op het gebruik van spraakherkenning als schrijfinstrument (Halverson et al, 1999; Karat et al, 1999; Karat et al, 2000). De nadruk in die onderzoeken ligt vooral op het gebruiksgemak van spraaktechnologie als schrijfinstrument.

In het onderzoek van Karat e.a. (1999) bijvoorbeeld wordt het gebruik van drie spraakherkenners vergeleken. Hierbij kregen beginnende, professionele gebruikers twee verschillende schrijftaken; waarvan ze er een met spraakherkenning moesten uitvoeren en de andere met toetsenbord&muis. De gebruikers hadden vooral veel problemen om ontstane fouten met spraakherkenning op te lossen. De participanten probeerden de fouten langer alleen met spraak op te lossen dan de onderzoekers verwachtten. Een mogelijke verklaring hiervoor is het doel van het onderzoek: ‘het gebruik van en het oplossen van fouten met spraakherkenning’. Een andere stimulans was wellicht de uitgebreide training in het werken met spraakherkenning en - belangrijker - het corrigeren van fouten met spraak die de participanten net voor het onderzoek hadden gehad. Bovendien werden ze voortdurend geobserveerd, wat wellicht de vrijheid tot exploreren beperkte.

Hartley et al. (2001) hebben aandacht besteed aan de verschillen in schrijfproducten tussen toetsenbord&muis en spraakherkenning. Ze hebben hiervoor ook de schrijfproducten van drie deskundige schrijvers, geschreven met verschillende schrijftechnologieën over een periode van dertig jaar, vergeleken. Hoewel de schrijfstijlen van de participanten verschilden, bleven de individuele schrijfstijlen hoegenaamd constant over de periode.

In een ander onderzoek hebben Hartley et al. (2002) de schrijfproducten van twee ervaren schrijvers vergeleken, waarbij de een met toetsenbord en muis schreef en de ander met spraakherkenning. De schrijfproducten van de twee schrijvers varieerden alleen in zinslengte, het aantal lange zinnen en het gebruik van de eerste-persoonsvorm.

Het gebruik van spraakherkenning door mensen met leermoeilijkheden heeft ook enige aandacht gekregen. Quinlan (2002) bijvoorbeeld heeft het schrijfproces en -product van veertig 11- tot 14-jarige kinderen bekeken. De helft van die kinderen ondervond schrijfmoeilijkheden. De kinderen schreven een serie van vier verhalen in vier schrijfcondities: met pen&papier en met spraakherkenning, met en zonder planning vooraf. Quinlans hypothese was dat spraakherkenning een cognitief voordeel zou opleveren voor kinderen met schrijfmoeilijkheden en dat planning vooraf positief zou zijn voor het real-time planningsproces. Kinderen met schrijfproblemen produceerden langere teksten met spraakherkenning dan met pen&papier. Spraakherkenning lijkt de transcriptiegerelateerde belemme-

ring te verminderen. Hierdoor kunnen de kinderen vloeiender - en ook langere - teksten produceren. Voor de ‘vloeiende’ schrijvers leidde spraakherkenning niet tot betere of langere teksten. Planning vooraf had een positief significant effect op de tekstkwaliteit voor beide groepen.

 

Over de invloed van spraakherkenning op de cognitieve processen van schrijvers is nog maar weinig bekend. Uit vroeger schrijfonderzoek blijkt wel dat naast sociale en individuele factoren ook het medium waarmee teksten geschreven worden (zoals pen en papier versus computer) de organisatie van het schrijfproces beïnvloedt (Van Waes, 1991;Van Waes en Schellens, 2003). Op basis van die bevindingen ligt het voor de hand om de vraag naar voren te schuiven of ook spraaktechnologie als een nieuw schrijfinstrument een effect kan hebben op de organisatie van het schrijfproces.

In tegenstelling tot het klassieke dicteren, waarbij de schrijver een analoog dicteerapparaat gebruikt, biedt spraakherkenning onmiddellijke feedback op het scherm. Schrijven met spraakherkenning zou je daarom kunnen beschouwen als een hybride modus tussen dicteren en schrijven met toetsenbord&muis.

Traditioneel dicteren wordt gekarakteriseerd door een hoge graad van lineariteit in de tekstproductie. (Gould, 1978; Gould & Alfaro, 1984; Schilperoord, 1996). Er wordt slechts beperkt gereviseerd. Zinnen of zinsdelen worden na elkaar gedicteerd. De enige revisie die eigenlijk plaatsvindt, is een mentale revisie voordat de tekst aan de recorder wordt toevertrouwd. In contrast met wat er gebeurt bij traditioneel dicteren, krijgen schrijvers met spraakherkenning directe, geschreven feedback op het computerscherm. Hierdoor wordt het mogelijk om de tekst in ieder stadium van het schrijfproces te herzien en wordt het makkelijker om de lineariteit van het productieproces te doorbreken. Die non-lineariteit is in de eerste plaats karakteristiek voor ‘traditionele computerschrijfprocessen’ (Eklundh 1994;Van Waes 1991). De meeste computerschrijvers beschouwen immers de alinea - en soms zelfs de zin - als een basiseenheid die in korte non-lineaire cycli geformuleerd, herzien en gereviseerd wordt. De uiteindelijke tekst is in dat opzicht te beschouwen als een graduele aaneenschakeling van recursief bewerkte alinea's. Veel computerschrijvers vormen hun ideeën al formulerend, in voortdurende dialoog met de schermtekst. De vluchtigheid van het scherm biedt hun de mogelijkheid om vele revisies door te voeren, zonder dat dit ten koste gaat van de overzichtelijkheid van de eindtekst.

Vanuit de bovenstaande invalshoek kunnen we spraakherkenning beschouwen als een hybride schrijfmodus met kenmerken van zowel de tekstverwerker als klassieke dicteer-apparatuur.

 

In dit artikel gaan we voornamelijk in op een casestudy waarin we nagaan of de methode die we in dit kader hebben ontwikkeld - en het daarbij horende instrumentarium - perspectieven biedt voor ruimere toepassing in schrijfproces- en schrijfproductonderzoek. We spitsen de vraagstelling in deze casestudy toe op de manier waarop schrijvers, die voor het eerst gebruik maken van spraaktechnologie om teksten te schrijven, zich aanpassen aan de dicteertechnologie. In de studie vergelijken we de schrijf- en adaptatieprocessen van twee advocaten die reeds ruime dicteerervaringen hebben opgebouwd in een traditionele dicteeromgeving (analoge dicteerapparaten). Beide participanten hebben een contrasterende leerstijl. De analyses zijn voornamelijk gericht op het gebruik van de schrijfmodi en de non-lineaire onderbrekingen die het schrijfproces kenmerken.

In het artikel staat methodologisch dus de haalbaarheidsstudie centraal en thematisch het gebruik van spraaktechnologie. We willen er echter op wijzen dat we er in het bredere onderzoekskader niet alleen naar streven de specifieke invloed van die schrijfmodus beter te beschrijven. We hopen ook via de analyses een beter inzicht te verwerven in bepaalde algemene cognitieve processen die het schrijfproces kenmerken en die door de focus op deze specifieke modus duidelijker tot uiting komen. Daarbij denken we bijvoorbeeld aan de manier waarop mentale planningsprocessen interageren met planningsprocessen die geïnitieerd worden via het herlezen van (pas) gerealiseerde tekst.

2. Methode

In deze paragraaf stellen we kort de methode voor die we voor het onderzoeksproject hebben ontwikkeld om de kenmerken van het schrijfproces en de aanpassingsstrategieën in kaart te brengen. We beschrijven eerst de opzet en de instrumentatie van het onderzoek en stellen dan kort de proefpersonen voor die we voor deze casestudy selecteerden. Tot slot geven we een overzicht van de teksten die de proefpersonen voor dit experiment hebben geschreven.

2.1 Opzet en instrumentatie.

De deelnemers aan het experiment vulden eerst twee vragenlijsten in. De eerste vragenlijst bevatte vragen over (voor)kennis over spraaktechnologie, attitudes t.o.v. schrijven met de computer, (subjectieve) leerstrategieën en schrijfprofielen. Ook de vertrouwdheid van de proefpersonen met verschillende soorten zakelijke teksten en hun dicteerervaring werden bevraagd. De tweede lijst betrof een Nederlandse vertaling van de ‘Learning Style Inventory’ (Kolb, 1984). Op die manier was het mogelijk om (post hoc) verschillen in leerstijlen te identificeren (cf.infra). Kolb plaatst vier verschillende leertypes op twee assen (zie figuur 2): de accommodator (doener), de divergeerder (dromer), de assimilator (denker) en de convergeerder (beslisser).



illustratie
Figuur 2: Overzicht van leerstijlen in de taxonomie van Kolb (1984)


‘Doeners’ en ‘dromers’ vertrouwen erg op concrete ervaringen bij het leren.’Doeners’ experimenteren bovendien graag en ze worden dan ook wel beschreven als mensen die van aanpakken weten en die ‘dingen gedaan krijgen’. Nieuwe dingen krijgen ze vaak snel onder de knie door op allerlei manieren hun doel te proberen te bereiken. ‘Dromers’ hebben als kenmerk dat ze vanuit verschillende gezichtspunten naar een leersituatie kunnen kijken. Dit

zorgt er wel voor dat ze moeilijk kunnen beslissen en dat ze vaak liever observeren dan participeren.

‘Denkers’ en ‘beslissers’ geven de voorkeur aan een hoger niveau van conceptualiseren, door op zoek te gaan naar modellen. ‘Denkers’ kunnen goed grote hoeveelheden informatie tot zich nemen en dit reduceren tot een beter verwerkbaar niveau. Zij geven de voorkeur aan theoretische modellen en deductief redeneren. ‘Beslissers’ geven de voorkeur aan leren door modellen en theorieën direct toe te passen op een bepaald probleem. Zowel de ‘denkers’ als de ‘beslissers’ werken graag alleen (Kolb, 1984;Terrell, 2002).

 

Na het invullen van de vragenlijsten kregen de proefpersonen een inleidende video te zien over het gebruik van spraakherkenning (cf. handleiding van Lernout & Hauspies Voice Xpress™ Legal™ 5.0) en kregen ze aanvullende informatie over het verloop van het experiment. Alle deelnemers werd gevraagd om het spraakherkenningsprogramma te gebruiken tijdens hun dagelijkse schrijfactiviteiten, en dit gedurende minstens 3 uur per week. Er werden hun geen verdere beperkingen over het gebruik opgelegd; ze konden dus spraakherkenning gebruiken in combinatie met toetsenbord en muis. In totaal werden alle deelnemers vijf maal geobserveerd in hun eigen werkomgeving terwijl ze aan het schrijven waren, respectievelijk nadat ze ongeveer 1, 3, 6, 9 en 12 uren geschreven hadden met de spraaktechnologie (zie figuur 3). Elke observatie nam ongeveer 20 tot 30 minuten in beslag.



illustratie
Figuur 3: Tijdslijn met de spreiding van de vijf observaties


De data werden verzameld door gebruik te maken van een on-linecamera (CamtasiaTM) en een geluidsrecorder (Quickrecord™). Omdat we hier te maken hadden met een combinatie van verschillende inputmodi (toetsenbord, muis en spraak) was het niet mogelijk om bestaande loggingprogramma's te gebruiken. Om het gebruikersgedrag te registreren dat niet via de schermcamera en de geluidsopname vastgelegd kon worden, maakten we manueel aanvullende notities (zie figuur 4). Die combinatie van registratiemethodes stelde ons in staat het schrijfproces zeer gedetailleerd te reconstrueren.

 

Tussen twee observatiesessies in vulden de proefpersonen een logboek in waarin ze kort de taak beschreven die ze met het dicteerprogramma hadden uitgevoerd. Ook vroegen we hen om aan te geven welke specifieke functies van het programma ze hadden verkend. Op die manier konden we ook informatie verzamelen over de tussentijdse schrijfactiviteiten en eventuele nieuwe (gebruiks)strategieën.



illustratie
Figuur 4: Setting van de observatie


2.2 Participanten.

Voor het onderzoek werden in totaal 20 personen geselecteerd: tien advocaten en tien wetenschappelijke medewerkers van de universiteit. De advocaten in onze studie hadden meestal dicteerervaring; de academici niet. Dit stelde ons in staat om de dicteerervaring als factor te hanteren in de analyse van het adaptatieproces.

 

Uit de beschikbare observaties selecteerden we twee participanten, Frederik en Bart, beiden uit de groep van advocaten. Allebei hadden ze een ruime ervaring met dicteren en ook een vergelijkbare computerdeskundigheid en beroepservaring.

Frederik, medewerker in een groot advocatenkantoor, heeft 5 jaar werkervaring en ongeveer 6 jaar ervaring met computers en klassieke dicteerapparatuur. In de inleidende vragenlijst gaf hij aan dat hij niet erg geduldig is met computerwerk. Hij gaf aan dat hij niet studeert op nieuwe computerprogramma's, maar dat hij wel bereid is om extra tijd en energie te steken in het leren werken met een nieuw programma. Frederik verwachtte dat schrijven met spraaktechnologie gemakkelijker en sneller zou zijn dan de traditionele manier van schrijven.

Bart is al iets langer actief als advocaat (9 jaar), maar heeft een vergelijkbare ervaring met computer- en dicteerapparatuur. In tegenstelling tot Frederik gaf hij in de vragenlijst aan dat hij redelijk geduldig is in de omgang met (nieuwe) computerprogramma's en dat hij bereid is om vrij uitgebreid tijd te investeren om de mogelijkheden van een nieuw programma te bestuderen, o.a. via de handleiding. De belangrijkste reden om met spraaktechnologie te gaan werken is dat hij verwacht dat de technologie minder vermoeiend zal zijn en hij hoopt er ook plezier aan te beleven, een attitude die typerend is voor zijn divergerende leerstijl.

 

De schrijf- en leerstijl van beide participanten is sterk verschillend. Uit de enquête bleek bijvoorbeeld dat Frederik vrijwel geen tijd besteedde aan de initiële planning van een schrijftaak; Bart daarentegen gaf aan dat die schrijffase voor hem zeer belangrijk was.

Op basis van de leerstijlanalyse met de vragenlijst van Kolb kunnen we Frederik karakteriseren als een ‘accommodator’, een doener (zie figuur 5, links). Dit leertype wordt gekenmerkt door een actief en nogal ongeduldig experimenteergedrag met nogal wat trial-and-error; daarnaast vormen concrete ervaringen een belangrijke basis voor de leerwinst. Bart blijkt veeleer een ‘divergeerder’ te zijn (zie figuur 5, rechts). Ook voor hem zijn concrete ervaringen belangrijk, maar ze vormen eerder de basis voor reflectie. Die reflectie is trouwens de manier bij uitstek voor dit type leerder om nieuwe kennis te verwerven.

Kolb (1984) geeft aan dat mensen die in de technologie en informatiewetenschappen werken voornamelijk de voorkeur geven aan de leerstijlen convergeerder (beslisser) en assimilator (denker). Voor het aanleren van een nieuw computerprogramma kun je verwachten dat mensen baat hebben bij deze leerstijlen. Hoewel Frederik en Bart als advocaten gekenmerkt worden door de twee overige leerstijlen, die bij hun baan als advocaat aansluiten, kunnen leerstijlen zich echter wel aanpassen aan verschillende situaties. Dit wil zeggen dat de actieve oriëntatie van beide participanten ervoor zal zorgen dat ze bepaalde taken kunnen aanleren en dat ze bepaalde vaardigheden kunnen verbeteren.



illustratie
Figuur 5: Grafische voorstelling van de leerprofielen van Frederik (links) en Bart (rechts)


2.3 Materiaal.

Tijdens de observaties hebben we zowel product- als procesdata verzameld. De productdata verschaffen onder andere inzicht in de lengte van de geproduceerde teksten en de duur van de observatie. De verschillende taken die de participanten hebben uitgevoerd, waren functioneel en maakten deel uit van hun dagelijkse werkzaamheden, zoals: brieven, e-mails en verslagen. Omdat de participanten vertrouwd zijn met deze taken, konden ze gestructureerd en geroutineerd uitgevoerd worden.

De geproduceerde teksten in de observatiesessies verschilden qua lengte. In de eerste observatie hebben de participanten voornamelijk het programma geëxploreerd en hebben ze daardoor erg korte teksten geschreven. Vanwege het exploratieve karakter van de eerste observatie hebben we gekozen om de data van de eerste observatie te verwijderen voor de verdere analyses. We zien deze eerste observatie als een introductiesessie op het onderzoek, waarbij de participanten kennismaken met de methodologie en de aanwezigheid van een observator. De resultaten in deze casestudy betreffen daarom steeds de data van observatie 2 tot en met 5.

De teksten in die observaties (2-5) zijn langer, maar variëren ook onderling nog sterk van lengte: ze bevatten tussen de 247 en 685 woorden per observatiesessie (Frederik: gemiddeld 355 woorden, Bart: gemiddeld 552 woorden). Tabel 1 geeft een beschrijving van de vijf observatiesessies.

 

Tabel 1. Beschrijving van de producten in de vijf observaties

Taak observatie Duur eindtekst Aantal woorden in Gemiddeld aantal woorden per minuut
Frederik        
1 brief 04’08’ 92 22.27
2 verzoekschrift 22’17’ 449 20.15
3 conclusie 21’23’ 419 19.59
4 conclusie 23’33’ 247 10.49
5 brief 19’46’ 305 15.43
Bart        
1 e-mail 6’00’ 62 10.33
2 conclusie 24’33’ 586 23.86
3 verzoekschrift 24’12’ 520 23.42
4 verslag 17’25’ 419 24.05
5 verzoekschrift 37’00’ 685 18.52

2.4 Analyses.

Voor de analyse van de data combineren we een product- en een procesbenadering. We kiezen daarbij voor een dubbele invalshoek. Enerzijds kijken we naar de manier waarop de beide schrijvers de verschillende schrijfmodi combineren (spraak - toetsenbord - muis), anderzijds presenteren we een analyse van de non-lineaire fases in de verschillende schrijfprocessen. We beschouwen de momenten die vooraf gaan aan die fases immers als cruciale cognitieve knooppunten in het schrijfproces. De schrijvers beslissen daar om het lineaire proces te doorbreken en recursief in te grijpen op de reeds geproduceerde tekst om een repair uit te voeren. Die repairs kunnen in deze context een dubbel doel hebben: ofwel lossen de schrijvers een technisch probleem op, ofwel voeren ze revisies uit.

Om de analyse mogelijk te maken hebben we eerst een categorisatie- en annotatiemodel uitgewerkt voor de beschrijving van het schrijfproces en daarnaast hebben we de video-opnames (CamtasiaTM & QuickrecordTM) gebruikt.

 

Analyse modusgebruik

Wie met een spraakherkenningsprogramma schrijft, heeft de keuze uit drie inputmogelijkheden: spraak (via microfoon), toetsenbord of muis. In de analyse van het modusgebruik gaan we in eerste instantie na wat het aandeel is van elk van deze inputmodi in het verloop van het schrijfproces. Ook bekijken we het aantal moduswisselingen en proberen we inzicht op te bouwen in de doelgerichtheid ervan.

 

Repairanalyse

Het begrip ‘repair’ hebben we ontleend aan de conversatieanalyse. Daar wordt het concept gebruikt om te verwijzen naar allerlei vormen van hersteloperaties, zoals correcties van versprekingen of misverstanden (cf. Schegloff et al., 1977). In deze context verwijzen we met ‘repairs’ zowel naar ‘problemen’ als naar ‘revisies’. Onder ‘problemen’ verstaan we hier allerlei technische problemen die gerelateerd zijn aan de spraakherkenner zelf, met name die

gevallen waarbij de spraakinput niet leidt tot datgene wat de schrijver voor ogen had. Enkele voorbeelden van technische problemen zijn:

•tekstuele misrecognitie: gedicteerde tekst wordt niet correct herkend en hierdoor verschijnt er een andere tekst op het scherm dan de bedoeling was;
•commando-misrecognitie: gedicteerde tekst die bedoeld is als een systeemcommando aan de tekstverwerker verschijnt als tekst op het scherm (zo verschijnt er bijvoorbeeld bij het commando ‘ga naar het einde van de zin’ deze tekst volledig op het scherm, in plaats van dat de handeling uitgevoerd wordt);
•geen herkenning: de computer reageert niet op de gesproken input.

In de repairanalyse hebben we een onderscheid gemaakt tussen dergelijke technische problemen en revisies. Revisies zijn in deze studie met name gedefinieerd als veranderingen in een tekst na evaluatie van de voorafgaande geschreven tekst. Deze veranderingen zijn niet geïnitieerd door de spraakherkenner, maar zijn bedoeld om de inhoud, de formulering of de layout van een tekst aan te passen. In de revisieanalyse bekijken we meer specifiek het niveau van de revisies (woord, zin of hoger), de schrijffase waarin de revisie plaatsvindt (eerste of tweede versie) en de richting waarin de revisies worden uitgevoerd (achterwaarts t.o.v. het schrijfpunt of voorwaarts verderop in de tekst)2.

3. Casestudy

In deze paragraaf beschrijven we de resultaten van de modus- en de repairanalyse voor beide deelnemers aan de studie, Frederik en Bart. Omdat het hier een casestudy betreft is het natuurlijk niet mogelijk om de resultaten te veralgemenen. Het is in de eerste plaats onze bedoeling om de resultaten voorzichtig te toetsen aan de algemene uitgangspunten van het onderzoek, maar vooral ook om de analyse-invalshoeken en de gebruikte methodologie meer expliciet te verkennen. De verschillen in leerstijl tussen beide participanten is daarbij een contrasterend element.

Modusanalyse.

Uit de modusanalyse blijkt dat beide participanten op een zeer verschillende manier gebruikmaken van de spraaktechnologische dicteermogelijkheden (zie tabel 1). Frederik gebruikt ongeveer evenveel de spraak- als de toetsenbordinput en het aandeel van de spraakmodus daalt geleidelijk van de tweede observatiesessie (56%) naar de laatste sessie (34%). Bart echter maakt ongeveer dubbel zo vaak gebruik van de spraakinput. Meer dan 80% van de tijd die hij schrijft, doet hij dat in de spraakmodus, een manier van schrijven die aansluit bij zijn traditionele dicteergewoonte en die in de loop van de tijd nauwelijks wijzigt.

 

Tabel 2. Gemiddelde procentuele verdeling van het modusgebruik (4 observatiesessies)

Frederik Bart
gemiddelde sd gemiddelde sd
toets 47.7 13.6 12.4 7.5
muis 10.9 9.0 4.5 1.8
spraak 41.4 10.0 83.1 7.1
totaal 100.0   100.0  

Als we het gebruik van de modi vergelijken in de eerste helft van het schrijfproces met dat in de tweede helft (zie tabel 3), dan valt het op dat er bij Bart nauwelijks een daling plaatsvindt in het gebruik van de spraakmodus. Dit blijft zijn geprefereerde modus, ook in de schrijffase waar vaak niet formuleren, maar reviseren een belangrijk subproces is. Frederik daarentegen gebruikt in de eerste helft van het schrijfproces nog voor meer dan 50% van de tijd de spraakinput, maar in de tweede helft geeft hij duidelijk de voorkeur aan het toetsenbord en de muis. Het gebruik van spraak om te dicteren valt terug naar een gemiddelde van 28.6%. In de eerste observatie gebruikte Frederik de spraakmodus nog in 40% van de tijd in de tweede helft van het schrijfproces; in de laatste observatie zien we echter dat hij de spraakmodus nog nauwelijks gebruikt in de afwerking van de tekst (cf. infra). Bij Bart zien we nauwelijks een verschuiving in het schrijfproces; het gebruik van de spraaktechnologie blijft vrij constant rond de 80% in de verschillende sessies en in de beide delen van het schrijfproces.

 

Tabel 3. Gemiddeld procentueel aandeel van de spraakmodus in beide helften van het schrijfproces (4 observatiesessies)

Frederik Bart
Gemiddelde sd Gemiddelde sd
deel 1 53.9 19.5 85.0 6.9
deel 2 28.6 20.9 80.9 7.3

In tabel 4 presenteren we de data van het aantal keren dat de participanten wisselen tussen de spraakmodus en de andere modi. De gemiddelden van de vier observaties liggen voor beide participanten vrij dicht bij elkaar: 158 voor Frederik vs. 164 voor Bart. Dat betekent dat ze gemiddeld één tot twee keer per minuut de spraakmodus verlaten (Frederik: 1.81 per minuut; Bart 1.62 per minuut). In de meeste gevallen doen ze dit om gebruik te maken van het toetsenbord.

 

Tabel 4. Aantal wisselingen tussen de spraakmodus en de andere inputmodi tijdens het schrijfproces (4 observatiesessies)

Frederik Bart
Aantal % sd Aantal % sd
Spraak → toetsenbord 115 72.8 10.2 130 82.3 26.9
Spraak → muis 43 27.2 6.2 34 20.7 7.7
Totaal aantal wisselingen vanuit spraak 158 100.0 16.4 164 100.0 34.5

De beginsituatie voor beide schrijvers is echter zeer verschillend. In de eerste sessies veran-dert Frederik ruim twee keer zo vaak van schrijfmodus als Bart; in de vierde sessie komen ze op hetzelfde niveau en veranderen ze ongeveer allebei 2 keer per minuut van modus. In de laatste sessie daalt het aantal modusswitches bij Frederik tenslotte beduidend onder het aantal van Bart. Het zeer beperkte gebruik van de spraakmodus in de tweede helft van de sessie is daarvoor medeverantwoordelijk.

Samengevat kunnen we zeggen dat de modusanalyse in grote lijnen de leerstijlen van beide participanten bevestigt. Frederik, de accommodator, gaat vooral in de eerste sessies actief de mogelijkheden van de spraakmodus exploreren, maar geeft na wat trial and error al snel op. Zijn gebruik van de spraaktechnologie is relatief beperkt. Bart daarentegen, de divergeerder, gebruikt de spraakmodus veel intensiever en exploreert de mogelijkheden ervan in de

verschillende fases van het schrijfproces. Bart blijft reflecteren over de mogelijkheden van spraakherkenning. Uit tabel 2 blijkt echter dat dit niet ten koste van het rendement gaat: Bart produceert zelfs iets meer woorden per minuut dan Frederik [gemiddeld per sessie: Frederik 16.6 (s.d. 4.5) vs. Bart 22.6 (sd. 2.7)woorden3 per minuut].

Repairanalyse.

In totaal werden ruim 500 repairs geobserveerd. Frederik onderbreekt de lineariteit van het schrijfproces 290 keer in de vier observatiesessies; Bart kiest 211 keer voor een recursieve ingreep (Frederik 72.50 gemiddeld per sessie vs. Bart: 52.75). Als we deze gegevens corrigeren voor tijdsverschillen tussen de verschillende observaties, resulteert dit in 3.34 repairs per minuut voor Frederik tegenover 2.07 repairs per minuut voor Bart. Dit lijkt wellicht veel, maar het aantal is min of meer in overeenstemming met bevindingen van Levy & Ransdell (2002) in een onderzoek naar ‘concurrent memory loads’. Levy & Ransdell beweren dat als je participanten te vaak een tweede taak (vergelijkbaar met bijvoorbeeld onderbrekingen door technische problemen) laat uitvoeren, het mogelijk is dat de aandacht volledig opgaat naar die tweede taak. Het veelvuldig moeten oplossen van technische problemen (2e taak) zal het moeilijker maken om een goede tekst (1e taak) te produceren. Levy & Ransdell hebben vastgesteld dat onderbrekingen voor een tweede taak maximaal 4 keer per minuut mogen voorkomen om de participanten geconcentreerd met de eerste taak bezig te laten zijn. Dit aantal van vier lijkt overeen te stemmen met het aantal keren dat Frederik en Bart hun schrijfproces per minuut (willen) onderbreken.

 

Tabel 5. Gebruik van spraak voor repairs (4 observatiesessies)

Frederik Bart
aandeel sd aandeel sd
Spraak 5.16 % 4.71 64.6 % 24.2
Toetsenbord & muis 89.85 8.90 24.76 19.72
Combinatie 4.95 4.28 10.63 10.37
Gemiddeld aantal repairs per sessie 72.50 25.65 52.75 21.85
Gemiddeld aantal repairs per minuut 3.34 1.08 2.07 0.29

De gegevens uit tabel 5 tonen duidelijk aan dat de manier waarop beide participanten met deze repairs omgaan zeer verschillend is. In de lijn van de vaststellingen die we bij de modusanalyse gemaakt hebben, zien we dat Frederik nauwelijks gebruik maakt van de spraakmodus om de problemen op te lossen of te reviseren (5.7%), terwijl Bart in 63.2% van de gevallen de spraaktechnologie probeert te gebruiken voor recursieve tekstingrepen. Als we bovendien de repairs eraan toevoegen die met een combinatie van de spraakmodus en een andere modus opgelost worden, dan is het verschil nog extremer: Frederik voert ruim 90% van de repairs exclusief uit met toetsenbord&muis; Bart slechts 10%. Hij kiest er dus expliciet voor om de mogelijkheden van de spraaktechnologie te exploreren. In de eerste sessies heeft Bart daardoor bijvoorbeeld in 30 tot 40% van de gevallen meer dan één poging nodig om een repair uit te voeren, maar geleidelijk daalt dit aantal tot minder dan 10%. Frederik daarentegen heeft slechts in weinig gevallen meer dan één poging nodig, omdat hij meestal kiest voor de zekere aanpak met toetsenbord&muis en blijkbaar minder geneigd is om de mogelijkheden van de spraakmodus op dit terrein verder te verkennen.

Als we de verhouding bekijken binnen de repairs tussen enerzijds de revisies en anderzijds de problemen die veroorzaakt werden door de spraakherkenning (zie tabel 6), dan is het duidelijk dat die tweede categorie zwaar doorweegt (Frederik: 81.4% vs. Bart: 88.9%). Dat dit eigen is aan het adaptatieproces blijkt o.m. uit het feit dat bij beide schrijvers dit aandeel van technische problemen het laagst is in de laatste sessie (Frederik: 70.7% vs. Bart: 79.8%).

De probleemanalyse toont wel een zeer verschillend beeld voor beide schrijvers. Frederik worstelt met name veel nadrukkelijker met de technologie: als we de problemen uitdrukken per 100 woorden, dan stellen we vast dat hij bijna twee keer zoveel geconfronteerd wordt met problemen als Bart (Frederik: gemiddeld 17.18 problemen per 100 woorden vs. Bart 8.19).

 

Tabel 6. Repairs per sessie en verdeling tussen problemen en revisies (4 observatiesessies)

Frederik Bart
gemiddelde sd gemiddelde sd
Problemen 59.25 20.89 45.75 14.86
Revisies 13.25 9.50 7.00 7.07
Repairs 72.50 25.65 52.75 21.85
Aandeel van de problemen t.o.v. total aantal repairs (%) 81.42 11.10 88.86 7.62
Gemiddeld aantal pogingen per probleem 1.22 0.35 1.39 0.31
Problemen per 100 woorden 17.18 6.94 8.19 1.30

Ook die vaststelling is in principe te relateren aan de leerstijl die beide participanten kenmerkt. Frederik is vrij ongeduldig en is sterk gericht op productiviteit. Hij handhaaft in hoge mate zijn traditioneel dicteergedrag en controleert het resultaat ervan op het scherm slechts zeer oppervlakkig. Daardoor is hij niet in staat om zijn gebruik van de dicteertechnologie aan te passen aan een aantal structurele herkenningsproblemen. Het herstellen van die problemen gebeurt in hoge mate pas in een latere schrijffase bij het herlezen van de geproduceerde tekst (cf. ook infra; tabel 7) en voornamelijk zonder gebruik te maken van de spraaktechnologie. Bart daarentegen maakt veel explicieter gebruik van de tekst op het scherm tijdens de formuleerfase. Hij reflecteert over de mogelijke oorzaken van de misrecognities en probeert vervolgens die problemen te anticiperen en te vermijden. Het resultaat is een veel lagere probleemratio.

 

Toch blijft het opvallend dat beide professionele schrijvers in totaal relatief weinig revisies uitvoeren. Voor een deel is dit waarschijnlijk te verklaren omdat ze routinetaken uitvoeren; daarnaast speelt zeker ook de mentale revisie die voorafgaat aan de mondelinge formulering bij deze dicteerders een belangrijke rol. Een groot deel van de revisies bij dicteerders vindt immers plaats in het hoofd, waardoor de schermrevisies beperkt blijven en meestal op een hoger niveau te situeren zijn (Frederik: 46.6% van de revisies boven het woordniveau vs. Bart: 72.4%; zie tabel 7). Beide schrijvers dragen dit patroon gedeeltelijk over naar de nieuwe modus, maar toch zien we dat ook de representatie van de tekst op het scherm een actieve rol gaat spelen in het dicteerproces. In vergelijking met het schrijfproces dat typerend is voor traditionele dicteerders (Gould 1978; Schilperoord 1996) stellen we nu vast dat recursiviteit veel nadrukkelijker het schrijfproces van deze schrijvers kenmerkt.

Beide schrijvers vertonen echter ook een verschillend revisiegedrag. Frederik reviseert 3.54 woorden per 100 woorden vs. Bart: 1.16. Als we ervan uitgaan dat de mentale revisie weerspiegelt wordt in het pauzegedrag, dan vormt die factor ook hier een goede verklaringsgrond. Bij Frederik beperkt de pauzetijd zich tot ongeveer 35% van de totale schrijfprocestijd. Bij Bart is de pauzeactiviteit goed voor ongeveer 60%. We nemen aan dat een deel van die extra pauzetijd bij Bart besteed wordt aan mentale revisie. Het verschil in pauzegedrag is trouwens duidelijk in overeenstemming met de leerstijl van beide participanten: experimenterend vs. reflectief.

 

Tabel 7. Overzicht van de verdeling van de revisies per niveau en per schrijffase (4 observatiesessies)

Frederik Bart
% sd % sd
Niveau        
 woord 54.33 14.25 32.67 26.14
 zin 36.54 6.41 44.75 46.12
 hoger 9.13 11.89 22.58 21.71
 
Schrijffase        
 fase 1 37.02 31.1 94.12 11.8
 fase 2 62.98 31.1 5.88 11.8

Ook de spreiding van de revisies over de beide schrijffases is verschillend voor beide participanten (zie tabel 7). Frederik is duidelijk een schrijver die - conform zijn dicteerervaring - voornamelijk reviseert in de tweede fase van het schrijfproces, nadat een eerste versie van de tekst afgewerkt is. Ongeveer 60% van zijn revisies zijn in die fase te situeren. Bart daarentegen reviseert nog nauwelijks in die tweede schrijffase en voert slechts 5% van zijn revisies uit in de tweede fase. Dit revisiegedrag sluit dicht aan bij het dominante schrijfprofiel van professionele computerschrijvers (toetsenbord&muis). Ook zij geven er meestal de voorkeur aan om vooral tijdens het uitwerken van een eerste versie te reviseren, waardoor het aantal revisies bij het nalezen beperkt blijft.

4. Conclusie

In deze casestudy hebben we een analyse voorgesteld van twee professionele schrijvers met dicteerervaring die voor het eerst werken met spraaktechnologie als dicteerinstrument. Beide schrijvers worden gekenmerkt door een contrasterend leerprofiel. De vraag die centraal stond, was hoe het adaptatieproces van beide schrijvers verloopt en hoe de leerprofielen een invloed hebben op het gebruik van de spraakmodus.

In de modusanalyse hebben we vastgesteld dat Frederik in de eerste schrijfsessies de mogelijkheden van de nieuwe modus actief verkent, en dat hij vrij snel opteert voor een zeer selectief en beperkt gebruik van de spraakmodus. Zijn gebruik ervan is vooral gericht op het formuleren van tekst en veel minder op het oplossen van technische problemen of het reviseren. Het veranderende patroon in modusswitches bevestigt trouwens verder dit gedrag dat eigen is aan zijn accommodatieleerstijl. Aanvankelijk verandert hij vaak van inputmodus, maar in de laatste sessies ligt het aantal veranderingen behoorlijk lager, zeker bij de afwerking van zijn teksten. Frederik ‘evolueert’ dus in feite naar een gebruik van de

spraaktechnologie dat in hoge mate vergelijkbaar is met dat van een klassiek dicteerapparaat. Hij dicteert de tekst en gaat dan in de tweede fase van het schrijfproces voornamelijk met toetsenbord&muis de tekst aanpassen. De tekst op het scherm heeft eerder een passief, controlerende functie en niet echt een sturende functie.

Bart verkent veel systematischer en geduldiger de mogelijkheden van de nieuwe dicteermodus. Hij herleest zijn tekst herhaaldelijk op het scherm en grijpt waar nodig onmiddellijk recursief in. In de mate van het mogelijke probeert hij dat te doen in de spraakmodus, zonder de inputmodus te veranderen. Hij gebruikt de spraakmodus ongeveer gedurende ongeveer 80% van zijn schrijftijd, wat meer dan tweemaal zoveel is als Frederik. De spraaktechnologie is voor Bart geen veredeld dicteerapparaat, maar meer een hybride schrijfinstrument dat een aantal kenmerken van de klassieke dicteermodus combineert met de klassieke computermodus (toetsenbord&muis). In zijn adaptatieproces zien we nauwelijks kwantitatieve verschuivingen tussen de verschillende sessies en is zijn gebruikersprofiel vrij stabiel over de observatiesessies heen. Als ‘divergeerder’ exploreert hij wel op verschillende manieren de mogelijkheden van de spraaktechnologie en bouwt gaandeweg - al reflecterend en observerend - een kwalitatief bevredigende manier van werken op met een goed productierendement (22 woorden per minuut).

 

Tabel 8. Kenmerken van het adaptatie- en schrijfproces van Frederik en Bart

Frederik Bart
leerstijl accommodator divergeerder
gebruik spraakmodus actief verkennen selectief gebruik (formuleren) systematisch verkennen dominant gebruik (formuleren en reviseren/repairs)
adaptatieproces geleidelijke evolutie van hybride gebruik naar een meer traditioneel dicteerproces continue adaptatie en hybride gebruik
revisiegedrag voornamelijk in de tweede schrijffase voornamelijk in de eerste schrijffase

Deze beschrijvingen geven aan dat voor beide participanten het adaptatieproces verschillend verloopt en dat het in hoge mate gestuurd wordt door hun leerstijl. Het resultaat is dat de spraakmodus als input uiteindelijk ook een ander effect heeft op het schrijfgedrag van beide schrijvers.

5. Discussie en verder onderzoek

In deze bijdrage hebben we een casestudy beschreven die geselecteerd werd uit een breder corpus van observaties. In Leijten (2003) werd op een vergelijkbare manier een casestudy beschreven. In die studie werden de schrijfprocessen van twee schrijvers geanalyseerd die niet verschilden qua leerstijl, maar wel qua dicteerervaring. Daaruit bleek dat de spraakherkenningmodus zelf geen specifieke schrijfstijl lijkt op te leggen in tegenstelling tot wat in eerder onderzoek werd vastgesteld over pen&papier schrijvers die zich aanpasten aan de traditionele dicteer- of computermodus. Beide studies bevestigen het potentieel hybride karakter van de spraaktechnologische schrijfmodus en tonen aan dat de tekstfeedback die de schrijvers op het scherm krijgen bij het dicteren, mede het schrijfproces kan sturen, maar

dat de mate waarin de schrijvers die feedback gebruiken zeer verschillend kan zijn. De casusbeschrijvingen bevestigen bovendien dat de gekozen observatie-instrumenten en de analysebenaderingen ons in staat stellen specifieke aspecten van het schrijfproces in deze modus op het spoor te komen en ze ook te beschrijven.

In een volgende stap willen we een meer kwantitatieve verwerking presenteren van de beschikbare data in het hele corpus, vertrekkende vanuit dezelfde analysecriteria. De casestudy geeft immers aan dat het gehanteerde instrumentarium ons in staat stelt bepaalde aspecten van het schrijfproces adequaat te beschrijven vanuit de vooropgeschoven invalshoeken en vraagstelling. Die overkoepelende verwerking van de data moet het mogelijk maken om de bevindingen uit de casestudies te toetsen en te verdiepen.

 

In de verzameling van de data voor dit onderzoek hebben we sterk de nadruk gelegd op de etnologische kwaliteit van het materiaal. Een moeilijk punt hierbij is uiteraard dat de geobserveerde schrijfprocessen zeer divers zijn, zowel qua tijd als qua schrijfinhoud. We gaan er echter vanuit dat de analyses ons een goede basis bieden voor het opstellen van nauwkeurig gecontroleerd experimenteel onderzoek waarbij we dezelfde schrijvers onder strikte condities in verschillende modi kunnen observeren. Omdat het voorliggende onderzoek zeer arbeidsintensief is, ontwikkelen we op dit moment ook meer gesofisticeerde observa-tieinstrumenten4 waardoor de analyses sneller en accurater uitvoerbaar zullen worden.

 

Ten slotte willen we er ook op wijzen dat dit onderzoek niet alleen tot doel heeft de invloed van spraaktechnologie centraal te stellen. Bovenstaande analyses tonen duidelijk aan dat de focus op de nieuwe schrijfmodus ons in staat stelt om ook meer algemeen een beter inzicht op te bouwen in specifieke aspecten van de cognitieve processen die het schrijven sturen. Die invalshoek zal ook in het vervolgonderzoek nog sterker centraal komen te staan. We hopen hierover spoedig te rapporteren.*

Literatuur

Eklundh, K.S. (1994). Linear and Non-linear strategies in computer-based writing. Computers and Composition,
11, 203-216.
Eklundh, K. & Kollberg, P. (1996). Computer tools for tracing the writing process: from keystroke records to S-notation. In G. Rijlaarsdam, H. van den Bergh & M. Couzijn (eds), Theories, Models and Methodology in writing research. Amsterdam: Amsterdam University Press (pp. 526-541).
Gould, J.D. (1978). How experts dictate. Journal of Experimental Psychology: Human Perception and Performance, 4/4,
648-661.
Gould, J.D. & Alfaro, L. (1984). Revising documents with text editors, hand-writing recognition systems and speech-recognition systems. Human Factors, 26/4, 391-406.
Halverson, C.A., Horn, D.B., Karat, C. & Karat, J. (1999). The beauty of errors. Patterns of error correction in desktop speech systems. Paper presented at INTERACT 99, Edinburgh, Scotland (Proceedings). IOS Press,
1-8.
Hartley, J. Howe, M. & McKeachie, M. (2001). Writing through time: longitudinal studies of the effects of new technology on writing. British Journal of Educational Technology, 32/2, 141-151.
Hartley, J., Sotto, E. & Pennebaker, J. (2003). Speaking versus typing:A case-study of the effects of using voicerecognition software on academic correspondence. British Journal of Educational Technology, 34/1, 5-16.
Karat, C., Halverson, C., Horn, D., & Karat, J. (1999). Patterns of entry and correction in large vocabulary continuous speech recognition systems. Paper presented at CHI 99, Pittsburgh, PA (Proceedings). ACM Press,
568-575.
Karat, J., Horn, D.B., Halverson, C.A. & Karat, C. (2000). Overcoming Unusibility. Developing strategies in speech recognition systems. Poster presented at CHI 2000, Den Haag, Nederland (Proceedings). ACM Press,
141-142.
Kolb, D.A. (1984). Experiental Learning. Englewood Cliffs, New Jersey: Prentice Hall Inc.
Kollberg, P. (1998). S-Notation - a computer based method for studying and representing text composition. (Dissertatie KTH Stockholm). Stockholm: Stockholm University.
Levy, C.M. & Ransdell, S. (2002). Writing with concurrent memory loads. In T. Olive & C.M. Levy (eds), Contemporary tools and techniques for studying writing. Dordrecht: Kluwer Academic Publishers, Studies in writing, volume 10 (pp. 9-30).
Leijten, M. & Van Waes, L. (2003a)The writing processes and learning strategies of initial users of speech recognition. A case study on the adaptation process of two professional writers. (Working paper University of Antwerp). Antwerpen: Universiteit Antwerpen. [http://www.ua.ac.be/marielle.leyten]
Leijten, M. (2003b, te verschijnen). De invloed van spraakherkenning op het schrijfproces van beginnende gebruikers: Een casestudy. In L. Van Waes, P. Cuvelier, G. Jacobs & I. De Ridder. Studies in Taalbeheersing1 Assen:Van Gorcum. (pp. 317-329).
Matsuhashi, A. (1981). Pausing and planning: the tempo of written discourse production. Research in the teaching of English, 15/2, 113-134.
Matsuhashi, A. (1982). Explorations in real-time production of writtten discourse. In M. Nystrand (Ed.) What writers know. The language, process, and structure of written discourse (pp. 269-290). New York: Academic Press.
Matsuhashi, A. (1987). Revising the plan and altering the text. In A. Matsuhashi (Ed.), Writing in real time. Modelling production processes. New York: Ablex, (pp. 197-223).
Quinlan, T.H. (2002). Speech recognition technology and the writing processes of students with writing difficulties. Paper presented at Sig Writing 2002, Stafford, England.
Schegloff, E., Jefferson, G. & Sacks, H. (1977). The Preference for Self-Correction in the Organization of Repair in Conversation. Language, 53, 361-382.
Schilperoord, J. (1996). It's about time:Temporal aspects of cognitive processes in text production. (Proefschrift Universiteit Utrecht). Amsterdam, Atlanta: Rodopi.
Strömqvist, S. & Malmsten, L. (1997). ScriptLog Pro User's manual. Göteborg: Göteborg University, Dept of Linguistics.
Van Waes, L. (1991). De computer en het schrijfproces: De invloed van de tekstverwerker op het pauze- en revisiegedrag van schrijvers. (Proefschrift Universiteit Twente). Enschede, Universiteit Twente.
Van Waes, L. (1992). The influence of the computer on writing profiles. In H. Pander Maat & M. Steehouder (eds.), Functional Text Quality. Amsterdam, Atlanta: Rodopi. (pp.173-186).
Van Waes, L. &. Schellens, P.J. (2003). Writing Profiles: the effect of the writing mode on pausing and revision patterns of experienced writers. Journal of Pragmatics, 35/4, 829-853.

Vorige Volgende

Over dit hoofdstuk/artikel

auteurs