Tijdschrift voor Taalbeheersing. Jaargang 23-24

[p. 332]

Joyce Karreman en Michaël Steehouder
De invloed van systeeminformatie op de transfer van procedurele kennis

Samenvatting

In drie experimenten¹ werd onderzocht of het aanbieden van systeeminformatie over een apparaat invloed heeft op transfer van procedurele kennis: de mate waarin de procedurele kennis over dat apparaat toegepast of gereconstrueerd kan worden als er veranderingen optreden in de interface van het apparaat. In het eerste experiment werden zowel de namen van de knoppen als de plaats van de knoppen op het apparaat gewijzigd. In een gedeeltelijke replicatie werden alleen de plaatsen van de knoppen gewijzigd en in een derde experiment werd nagegaan in hoeverre de betekenis van de namen van de knoppen werd onthouden. De experimenten leveren enige indicaties dat systeeminformatie invloed heeft op transfer, maar slechts onder specifieke condities.

1 De experimenten 1 en 3 zijn door de eerste auteur uitgevoerd tijdens een stage bij de Department of Psychology van de University of Alberta te Edmonton, Canada. Over deze experimenten is eerder gerapporteerd in Karreman, Dixon & Steehouder (2001). De auteurs danken Peter Dixon en Tenaha O'Reilly voor hun waardevolle inbreng bij deze studie. Ook danken de auteurs twee anonieme reviewers voor hun waardevolle commentaar bij een eerdere versie van dit artikel.

1. Inleiding

Instructieve teksten bevatten verschillende soorten informatie, waarbij vaak een onderscheid gemaakt wordt tussen procedurele informatie en declaratieve informatie. De procedurele informatie omvat de handelingen die de lezer moet uitvoeren, de voorwaarden waaronder dat moet gebeuren en de effecten van die handelingen. De term declaratieve informatie wordt soms gebruikt voor alle overige informatie (vgl. Ummelen 1997b), soms ook in meer specifieke zin voor informatie over de werking en de toepassing van het systeem. Voor de duidelijkheid gebruiken we voor deze informatie daarom in dit artikel de term systeeminformatie. (Meer verfijnde indelingen van informatiesoorten in instructieve teksten zijn onder meer te vinden in Steehouder & Jansen, 1997; Farkas, 1999; Becker-Mrotzek, 1997). Een van de discussiepunten in de literatuur over instructieve teksten is de vraag in hoeverre het zinvol is om systeeminformatie aan de procedurele informatie toe te voegen (vgl. Karreman & Steehouder, 2000).

Onderzoek van Kieras & Bovair (1984) laat zien dat systeeminformatie een positief effect heeft op de accuraatheid van de taakuitvoering. Dixon, Harrison & Taylor (1993) vonden geen effect van systeeminformatie op taakuitvoering, maar wel op de mate waarin uit te voeren acties achteraf herinnerd worden. Ummelen (1997a) vond geen effect van

[p. 333]

declaratieve informatie (voornamelijk systeeminformatie) op onmiddellijke taakuitvoering, maar wel als de taak na enige tijd zonder de handleiding uitgevoerd moet worden. Bovendien vond zij een positief effect op het ‘mentaal model’ dat de deelnemers ontwikkelen van het computer-programma waarmee zij hadden leren werken. Karreman & Steehouder (2000) vonden geen effect van systeeminformatie in een gebruiksaanwijzing van een telefoontoestel.

De resultaten van de verschillende onderzoeken leiden tot een aantal theoretische veronderstellingen over de werking van systeeminformatie. In de eerste plaats is het aannemelijk dat gebruikers van een technisch systeem (een apparaat of computer-programma) beschikken over twee verschillende soorten mentale modellen: een procedureel model en een systeemmodel (cf. Maes, Ummelen & Hoeken, 1996; Bibby & Payne, 1993, 1996)². Het procedureel model representeert de kennis van de gebruiker over uit te voeren acties, hun volgorde, condities en resultaten. Het systeemmodel representeert de interne werking van het systeem.

We veronderstellen voorts dat het procedureel model primair ‘gevoed’ wordt door de procedurele informatie en het systeemmodel door systeeminformatie. Deze veronderstelling is consistent met de visie van Guthrie, Bennett & Weber (1991) die een handleiding karakteriseren als een ‘extern geheugen’ van de gebruiker. Systeeminformatie zal dus in eerste instantie leiden tot een beter systeemmodel.

Een derde veronderstelling is dat vage en ontbrekende elementen in het procedureel model aangevuld kunnen worden door ze af te leiden uit hun systeemmodel. Dit verklaart waarom systeeminformatie een positief effect kan hebben op de taakuitvoering. In omgekeerde richting treedt waarschijnlijk ook invloed op: gebruikers die alleen procedurele informatie krijgen, ontwikkelen niettemin (al dan niet juiste) ideeën over de werking van het systeem (Mack, Lewis & Carroll, 1983; Payne, 1991).

Als vierde veronderstellen we dat gebruikers van een systeem primair gebruik maken van hun procedureel model of van de externe aanvulling daarvan, de procedurele informatie in de instructieve tekst. Als het procedureel model helder en volledig is, is het niet nodig om aanvullende informatie te halen uit het systeemmodel of de systeeminformatie. Systeeminformatie zal dus geen effect hebben als voldoende procedurele informatie beschikbaar is, hetzij in het geheugen, hetzij in de tekst. Deze veronderstelling verklaart de tegenstrijdige onderzoeksresultaten van Ummelen (1997a) en van Karreman & Steehouder (2000). In het onderzoek van Ummelen had declaratieve informatie alleen effect wanneer de deelnemers niet langer over de handleiding beschikten en dus af moesten gaan op hun geheugen. Het is aannemelijk dat ze bepaalde onderdelen van procedures waren vergeten, en dat de deelnemers die declaratieve informatie hadden ontvangen, de ontbrekende elementen beter konden reconstrueren dan deelnemers die dat niet konden³. In het onderzoek van Karreman & Steehouder (2000) hadden de deelnemers altijd de beschikking over de procedurele informatie, waardoor ze de systeeminformatie niet nodig hadden.

In de hierboven genoemde onderzoeken kregen de deelnemers steeds procedurele informatie aangeboden op basis waarvan ze een procedureel model konden ontwikkelen. De systeeminformatie had dus een aanvullend karakter. Bovendien bleef de effectmeting steeds beperkt tot hetzelfde apparaat. Het is echter niet onaannemelijk dat systeemkennis ook een rol speelt als iemand een bepaalde taak moet uitvoeren met een apparaat dat lijkt op dat

2 Maes, Ummelen & Hoeken (1996) onderscheiden nog andere modellen, maar daar gaan we hier niet op in. Bibby & Payne (1993, 1996) spreken wel van twee soorten kennis, maar reserveren de term ‘mentaal model’ voor systeeminformatie (‘conceptual understanding of the device’).

3 Weliswaar zullen de deelnemers die alleen procedurele informatie hebben gekregen, ook een systeemmodel hebben opgebouwd, maar er mag worden aangenomen dat dit minder adequaat was dan dat van de deelnemers die wel systeeminformatie hadden ontvangen.

[p. 334]

waaraan hij gewend is, maar niet identiek is. Iemand die al met een videorecorder kan werken zal bijvoorbeeld minder moeite hebben met het leren bedienen van een nieuwe recorder dan iemand die er voor het eerst mee te maken krijgt. Er is sprake van kennistransfer, de kennis over de eerste videorecorder helpt bij het leren bedienen van de tweede. In experimenten van Dixon & Gabrys (1991) is deze transfer echter niet overtuigend aangetoond (voor nadere details, zie Steehouder & Karreman 2000).

In de experimenten waarover we in dit artikel rapporteren, hebben we de deelnemers geen procedurele informatie aangeboden, en hebben we met name de invloed van systeeminformatie bij transfer van procedurele kennis onderzocht. De experimenten zijn een vervolg op die van O'Reilly & Dixon (2001) waarin is onderzocht in hoeverre eenmaal ontwikkelde kennis over een apparaat effect had op de prestaties van deelnemers met een vergelijkbaar, maar qua interface verschillend apparaat. De deelnemers moesten tweemaal met een apparaat een taak uitvoeren; de tweede keer had het apparaat een andere interface: de namen van de knoppen waren veranderd of de knoppen stonden op een andere plaats (in een controleconditie was het apparaat ongewijzigd). Uit de experimenten bleek dat de verandering van interface leidde tot een sterk verlies aan prestaties⁴. Dit effect werd zowel veroorzaakt door een verandering van de namen van de knoppen als door een verandering van de plaatsen van de knoppen.

De vraag is nu of systeeminformatie invloed heeft op de transfer van kennis van het ene apparaat naar het andere. Immers, de werking van het apparaat blijft hetzelfde, alleen de interface (en dus de te volgen procedure) verschilt. Als gebruikers een goed systeemmodel van het apparaat opbouwen, zou dat moeten helpen om een procedureel model af te leiden bij een gewijzigde interface.

4 O'Reilly & Dixon (2001) gebruiken wat ongebruikelijke termen, namelijk ‘interface’ voor de plaats van de knoppen en ‘appearance’ voor de namen van de knoppen. Om verwarring te voorkomen hebben wij deze terminologie niet overgenomen: we spreken over ‘interface’ als overkoepelend begrip voor namen en plaatsen van de knoppen.

2. Eerste experiment

2.1 Inleiding.

Het doel van dit experiment was de hypothese te toetsen dat aanbieding van systeeminformatie (1) helpt bij het opbouwen van een procedureel model, en (2) faciliterend werkt bij het leren werken van een vergelijkbaar apparaat met een afwijkende interface.

In het experiment moesten de deelnemers een taak leren uitvoeren op een fictief apparaat dat werd afgebeeld op het beeldscherm. Het apparaat had een aantal knoppen met daarop een naam en een display waarop feedback op de handelingen van de deelnemers werd gegeven. Zodra de deelnemers deze taak twee maal achter elkaar foutloos hadden uitgevoerd, werden ze geacht de procedure te beheersen en kregen ze een ander apparaat met een nieuwe taak. Na vier apparaten kwam het eerste apparaat weer terug, met een al dan niet gewijzigde interface. Vervolgens kwamen achtereenvolgens ook de andere apparaten terug met een eventueel gewijzigde interface.

Voordat ze via trial-and-error zelf moesten ontdekken hoe het apparaat werkt, kregen de deelnemers een tekst aangeboden. Bij de helft van de apparaten was dat systeeminformatie waarin beschreven werd hoe het apparaat werkt. Bij de overige apparaten was dat marketinginformatie over bijvoorbeeld de verschillende modellen en kleuren waarin het apparaat geleverd kon worden en de prijs.

Op basis van onze theoretische veronderstellingen en van het onderzoek van O'Reilly & Dixon (2001) zijn de volgende hypotheses af te leiden.

[p. 335]

1	Na het lezen van systeeminformatie zal er sneller een procedureel model opgebouwd worden dan na het lezen van marketinginformatie, zodat minder trials nodig zijn om het criterium ‘twee maal foutloos uitvoeren’ te bereiken.
2	Verschillen in naam en plaats leiden tot lagere transfer dan gelijke naam en plaats.
3	Het lezen van systeeminformatie leidt tot hogere transfer dan het lezen van marketinginformatie. 3a Als de naam van de knoppen verandert in een synoniem, is het systeemmodel samen met de kennis van de plaats van de knoppen voldoende om te leiden tot een hoge transfer. 3b Als de plaats van de knoppen verandert, is het systeemmodel samen met kennis van de namen op de knoppen voldoende om te leiden tot hoge transfer.

2.2 Methode

Deelnemers

Er namen 48 undergraduate psychologiestudenten van de University of Alberta, Canada, deel aan dit experiment. Zij kregen studiepunten voor hun deelname.

Materiaal

Er werden vier virtuele apparaten geconstrueerd, die afgebeeld werden op een computerscherm: een telefoonsysteem, een stofzuiger, een alarmsysteem en een gietmachine voor plastic producten. Elk van de apparaten had 10 knoppen die alle voorzien waren van een naam. Daarnaast bevatte de interface een peilstok en enkele niet direct relevante grafische elementen. Van elk apparaat werden vier versies gemaakt, waarbij de namen en de plaatsen van de knoppen werden gevarieerd (zie het voorbeeld in figuur 1).

Om de taak uit te voeren moesten zes knoppen in de juiste volgorde worden ingedrukt (dat wil zeggen, aangeklikt met de muis). Als de correcte toets werd ingedrukt, steeg de stand op de peilstok. Werd er een verkeerde toets ingedrukt, dan zakte de peilstok naar 0 en verscheen in de display een aanwijzing die aangaf welke knop wel ingedrukt had moeten worden: ‘You should have pressed Activate’. Nadat de deelnemer de taak tweemaal foutloos had uitgevoerd, meldde de display dat hij kon beginnen aan het volgende apparaat.

Voor elk van de vier apparaten werden twee introducerende teksten geschreven (voor voorbeelden, zie bijlage 1). De ene tekst bevatte een uitleg over de werking van het apparaat (systeeminformatie) en over de verschillende functies. De namen van de knoppen werden wel gebruikt, maar niet zodanig dat duidelijk werd in welke volgorde ze moesten worden ingedrukt. De tweede tekst bevatte marketinginformatie over de fabrikant, de kleuren waarin het apparaat geleverd kon worden, de prijs, de garantievoorwaarden en dergelijke. Alle teksten waren ca. 350 woorden lang. Bij elke tekst werden vier vragen geformuleerd om de kennis van de tekstinhoud te toetsen.

Design, onafhankelijke variabelen

Er waren drie onafhankelijke variabelen: informatiesoort (systeeminformatie of marketinginformatie), naam van de knoppen (dezelfde of synoniem) en plaats van de knoppen (dezelfde of verschillend). De variabelen informatiesoort en naam werden binnen deelnemers gevarieerd. Iedere deelnemer kreeg bij twee willekeurige apparaten systeeminformatie te lezen, en bij de twee andere marketinginformatie. Ook zagen ze twee willekeurige apparaten waarvan de namen op de knoppen veranderden in synoniemen. De eerste keer dat de apparaten werden aangeboden was de volgorde willekeurig.

Figuur 1. De vier versies van een van de apparaten. Bij de versies naast elkaar hebben de knoppen dezelfde plaats en verschillende naam, bij de versies onder elkaar hebben ze een andere plaats en dezelfde naam.

[p. 336]

De tweede keer kregen de deelnemers de apparaten in dezelfde volgorde aangeboden als de eerste keer.

De variabele plaats werd tussen deelnemers gevarieerd. Om praktische redenen kregen de eerste 24 deelnemers de conditie toegewezen waarin de plaats van de knoppen steeds hetzelfde was. De tweede 24 deelnemers kregen de conditie toegewezen waarin de plaats van de knoppen steeds verschillend was. Tussen de twee delen van het onderzoek werden enkele wijzigingen aangebracht in het experimentele materiaal. In de teksten met systeeminformatie werden enkele veel voor de hand liggende passages herschreven om de deelnemers te bewegen de tekst aandachtiger te lezen. In de apparaten werd een wijziging aangebracht waardoor de deelnemers na elke druk op een knop twee seconden moesten wachten; hierdoor werd gepoogd de motivatie te vergroten om niet te gokken maar even na te denken over de procedure.

Design, afhankelijke variabelen

Om het effect van systeeminformatie op de ontwikkeling van het procedureel model te testen werd het aantal trials geteld dat deelnemers nodig hadden voordat ze de taak beheersten (dus tweemaal achter elkaar foutloos hadden uitgevoerd).

[p. 337]

Om het effect van systeeminformatie vast te stellen bij het werken met het gewijzigde apparaat kon niet dezelfde maat gebruikt worden. We zijn niet geïnteresseerd in de prestaties in de tweede ronde als zodanig maar in de transfer: de mate waarin vooruitgang wordt geboekt. We zijn uitgegaan van de aanname dat het verschil tussen het aantal trials dat een deelnemer nodig heeft in de eerste ronde en het aantal trials dat een deelnemer nodig heeft in de tweede ronde, een maat is voor de kwaliteit van het procedureel model. De transfer hebben we dan als volgt berekend. Het aantal trials dat nodig was in de tweede ronde werd gedeeld door het aantal trials dat nodig was in de eerste ronde. Hier werd het natuurlijk logaritme van berekend. Hoe groter het verschil is tussen het aantal trials in de eerste ronde en in de tweede ronde, hoe hoger de transfer dus is (cf. O'Reilly & Dixon, 2001).

Procedure

Na een oefentaak begonnen de deelnemers met de eerste ronde langs de vier apparaten. Telkens lazen ze eerst de marketing-of de systeeminformatie, waarna ze vier vragen over de gelezen tekst moesten beantwoorden. Deze vragen waren bedoeld als een controlemiddel om na te gaan of de deelnemers voldoende aandacht aan de tekst besteedden. Vervolgens moesten ze proberen een taak correct uit te voeren. Elke taak bestond uit het aanklikken van zes knoppen in de goede volgorde. Wanneer een verkeerde knop werd aangeklikt, verscheen een bericht op het scherm waarin werd vermeld welke knop de deelnemer had moeten aanklikken; daarna moesten ze opnieuw beginnen. Zodra de deelnemer erin geslaagd was de taak tweemaal foutloos uit te voeren, verscheen het volgende apparaat op het scherm, respectievelijk was de eerste ronde afgelopen. De eerste ronde duurde gemiddeld 40 minuten.

Zonder onderbreking begon vervolgens de tweede ronde, waarin de deelnemers geen informatie meer kregen aangeboden, maar dezelfde taken nogmaals moesten uitvoeren op dezelfde apparaten in dezelfde volgorde; in een aantal gevallen was de interface van de apparaten echter gewijzigd. Ook nu moesten de deelnemers doorgaan totdat ze elke taak tweemaal foutloos hadden uitgevoerd. De tweede ronde duurde gemiddeld ongeveer 15 minuten.

2.3 Resultaten.

Eerst werd nagegaan of de kleine verschillen tussen de conditie waarin de plaats van de knoppen hetzelfde bleef en de conditie waarin de plaats van de knoppen veranderde invloed hebben gehad op de resultaten. Als er verschillen zouden optreden tijdens de eerste ronde van het experiment, zouden deze toegewezen moeten worden aan de veranderingen in de teksten met systeeminformatie en/of de wachttijd na het drukken op een knop. Verder verliep de eerste ronde van het experiment voor de deelnemers in beide condities immers precies gelijk. Er werd een variantieanalyse uitgevoerd om na te gaan of er een verschil was tussen het aantal trials dat de twee groepen deelnemers nodig hadden voordat ze de taak beheersten. Er bleek geen significant verschil te zijn: F(1,46) = 1,00; p > 0,30. Bij de rest van de analyses zijn de wijzigingen tussen deze condities dan ook genegeerd.

De variabele informatiesoort bleek geen invloed te hebben op de ontwikkeling van het procedureel model. Berekend werd hoeveel trials de deelnemers nodig hadden voordat ze de taak beheersten. Na het lezen van systeeminformatie hadden ze hier gemiddeld 5,6 trials voor nodig en na het lezen van marketinginformatie hadden ze hier gemiddeld 5,8 trials voor nodig. Een variantieanalyse⁵ toonde aan dat dit verschil niet significant is (F(1,47) = 1,10; p = 0,30).

Ook werd nagegaan of de variabelen informatiesoort, toetsnaam en plaats van de toetsen

5 Er zijn geen variantieanalyses uitgevoerd waarin behalve de factor deelnemer, ook de factor apparaat als random factor werd opgenomen; de gebruikte software is hier niet toe in staat. De resultaten van deze analyses zouden minder snel significante verschillen laten zien dan de resultaten van de hier gerapporteerde analyses. Het gevaar bestaat dus dat sommige gerapporteerde verschillen niet significant zouden zijn als de factor apparaat ook in de analyse was opgenomen.

[p. 338]

invloed hadden op de transfer van kennis. Een variantieanalyse met de factoren informatiesoort, naam en plaats leidde tot het verwachte effect van de variabele naam (F (1,46) = 31,64; p < 0,01) en plaats (F (1,46) = 7,08; p = 0,01). De transfer was hoger als de interfaces in de tweede ronde dezelfde toetsnamen hadden of als de knoppen op dezelfde plaats stonden. Deze resultaten komen overeen met die van O'Reilly & Dixon (2001). Er werd geen effect gevonden van de variabele informatiesoort (F (1,46) < 1). De variantieanalyse toonde een interactie aan tussen de variabelen informatiesoort en plaats (F(1,46) = 7,63; p < 0,01). Na het lezen van systeeminformatie had de verandering van plaats geen invloed meer op de transfer (met andere woorden: het verlies bleef achterwege). Er werd geen interactie gevonden tussen de variabelen informatiesoort en naam: F(1,46) < 1. Er werd ook geen interactie gevonden tussen de variabelen naam en plaats, en tussen de drie variabelen. Voor beide gevallen geldt: F(1,46) < 1.

Daarnaast werden er vier variantieanalyses uitgevoerd om na te gaan of de invloed van de variabelen informatiesoort, naam en plaats op de transfer van kennis verschilde wanneer het apparaat als eerste, tweede, derde of vierde werd aangeboden aan de deelnemers. De interactie tussen de factoren informatiesoort en naam bleek voornamelijk veroorzaakt te zijn door de resultaten bij het eerste apparaat⁶: F(1,46) = 6,26; p < 0,05. De analyses waarbij alleen de resultaten bij het tweede, derde of vierde apparaat werden meegenomen, lieten geen interactie zien tussen de factoren informatiesoort en naam.

Er werd ook een variantieanalyse uitgevoerd waarin alleen de gevallen werden meegenomen waarbij de plaats van de knoppen gelijk bleef tijdens de eerste en de tweede ronde van het experiment. Ook deze analyse leidde tot een effect van de variabele naam: F(1,23) = 13,55; p < 0,01. Transfer was hoger als de namen op de knoppen van de apparaten gelijk bleven. Er werd ook een effect van de variabele informatiesoort gevonden: F(1,23) = 5,11; p < 0,05. In tegenstelling tot de verwachting was de transfer hoger na het lezen van marketinginformatie dan na het lezen van systeeminformatie. Er werd geen interactie tussen de variabelen naam en informatiesoort gevonden (F(1,23) < 1).

Tenslotte werd er een variantieanalyse uitgevoerd waarin alleen de gevallen werden meegenomen waarbij de naam van de knoppen gelijk bleef tijdens de eerste en de tweede ronde van het experiment. Deze analyse liet een effect van de variabele plaats zien (F(1,46) = 6,36; p < 0,05). Transfer was hoger als de plaats van de knoppen gelijk bleef. De interactie tussen de variabelen plaats en informatiesoort (F(1,46) = 5,79; p < 0,05) wijst erop dat na het lezen van systeeminformatie verandering van de plaats van de knoppen minder invloed heeft dan na het lezen van marketinginformatie. Er werd geen hoofdeffect gevonden van de variabele informatiesoort: F(1,46) < 1.

6 Omdat de volgorde van de apparaten systematisch gevarieerd werd, zodat elk van de vier apparaten even vaak als eerste werd aangeboden, kan dit effect niet het gevolg zijn van specifieke eigenschappen van een van de apparaten.

2.4 Conclusies.

In de introductie van dit artikel veronderstelden we dat gebruikers van een apparaat zowel een procedureel model als een systeemmodel opbouwen; beide komen zowel tot stand door het werken met het apparaat als door het lezen van procedurele informatie en/of systeeminformatie over het apparaat. Als het procedureel model niet adequaat is voor het uitvoeren van een taak, zo was de verwachting, zal het systeemmodel kunnen dienen als compensatie.

In het uitgevoerde experiment beschikten de deelnemers in de eerste ronde niet over een procedureel model. Verwacht werd dat de deelnemers die systeeminformatie hadden ontvangen, dat gemis zouden kunnen compenseren doordat ze al een systeemmodel tot hun beschikking hadden. De resultaten laten echter zien dat systeeminformatie niet leidt

[p. 339]

tot betere prestaties in de eerste ronde. Het kostte ongeveer evenveel trials om met een apparaat te leren werken na het lezen van systeeminformatie als na het lezen van marketinginformatie.

Figuur 2. Mate van transfer na het lezen van systeeminformatie en marketinginformatie bij synoniemen of gelijke namen op de knoppen en bij verschillende of gelijke plaatsen van de knoppen.

De resultaten laten zien dat een correct procedureel model, zoals verwacht, wel leidt tot hoge transfer van kennis. De tweede hypothese wordt dus bevestigd. Als de interface van de apparaten tijdens de tweede ronde gelijk is aan de interface van de apparaten tijdens de eerste ronde, is de transfer van kennis hoger dan wanneer de interface van de apparaten anders is. Als de interface van het apparaat verandert, moet ook het procedureel model van de gebruikers aangepast worden.

De verwachting was voorts dat systeeminformatie zou helpen bij het aanpassen van het procedureel model op het moment dat de interface van het apparaat veranderd is. Er is echter geen hoofdeffect van informatiesoort gevonden. Er kan dus niet geconcludeerd worden dat het lezen van systeeminformatie in het algemeen leidt tot een groter vermogen om ontbrekende of vage elementen van het procedureel model aan te vullen. De derde hypothese wordt dus niet bevestigd. Als we alleen kijken naar de gevallen waarin de plaats van de knoppen gelijk blijft tijdens de eerste en tweede ronde van het experiment, dan heeft het lezen van systeeminformatie zelfs een negatieve invloed op de transfer van kennis. Dat is moeilijk te verklaren.

De afwezigheid van interacties tussen de variabelen informatiesoort en naam laat zien dat hypothese 3a ook niet bevestigd wordt. Als de namen op de knoppen veranderen, helpt systeeminformatie niet bij het aanvullen van het procedureel model. Het systeemmodel is in combinatie met de plaats van de knoppen niet voldoende om het verlies van transfer te voorkomen. De interacties die werden gevonden tussen de variabelen informatiesoort en plaats ondersteunen echter wel hypothese 3b. Als de plaatsen van de knoppen veranderen, helpt systeeminformatie wél bij het aanvullen van het procedureel model. Het systeemmodel is dan in combinatie met de naam van de knoppen blijkbaar voldoende om het verlies van transfer te voorkomen.

Deze resultaten laten zien dat systeeminformatie de gebruiker in staat stelt beter te profiteren van de kennis van de namen van de knoppen die hij in de eerste ronde heeft opgedaan. Dat kan verklaard worden door aan te nemen dat hij door het lezen van systeemin-formatie een beter systeemmodel heeft ontwikkeld dan de gebruiker die marketinginformatie heeft gelezen. Op dat systeemmodel kan hij in de tweede ronde, als de plaats van de knoppen is veranderd, een beroep doen. Het kan dan ontbrekende elementen in het procedureel model compenseren. Blijkens deze resultaten lijkt het systeemmodel echter ook weer niet zó sterk ontwikkeld dat het de gebruiker in staat stelt om de verandering van namen van knoppen te compenseren.

[p. 340]

3. Tweede experiment

3.1 Inleiding.

Het belangrijkste doel van dit experiment is nogmaals na te gaan of een verandering van de plaats van de knoppen op een apparaat minder negatieve invloed op transfer heeft na het lezen van systeeminformatie dan na het lezen van marketinginformatie. Daartoe is het eerste experiment nogmaals uitgevoerd, nu met Nederlandse deelnemers. De reden om dit experiment te herhalen ligt in de kleine verschillen tussen de condities waarin de plaats van de knoppen tijdens de eerste en tweede ronde gelijk bleef en de condities waarbij de plaats van de knoppen veranderde (zie de methode- en de resultatensectie van het eerste experiment). Deze verschillen zouden invloed kunnen hebben op de resultaten van het experiment, hoewel het moeilijk is te bedenken op welke manier ze de resultaten precies zouden kunnen beïnvloeden. In dit replicatie-experiment waren er geen extra verschillen tussen de condities. Ook werd de factor plaats in dit experiment binnen deelnemers gevarieerd in plaats van tussen deelnemers.

In dit tweede experiment is alleen de invloed van systeeminformatie op verandering van de plaats van de knoppen onderzocht; niet de invloed op verandering van de namen op de knoppen. Er zijn dus slechts twee versies van elk apparaat gebruikt (de versies die in figuur 1 links onder elkaar staan). De hypotheses zijn grotendeels gelijk aan die voor het eerste experiment:

1	Na het lezen van systeeminformatie zal er sneller een procedureel model opgebouwd worden dan na het lezen van marketinginformatie, zodat minder trials nodig zijn om het criterium ‘twee maal foutloos uitvoeren’ te bereiken.
2	Verschillen in plaats leiden tot lagere transfer dan gelijke plaats.
3	Het lezen van systeeminformatie leidt tot hogere transfer dan het lezen van marketinginformatie. 3a Als de plaats van de knoppen verandert, is het systeemmodel samen met kennis van de namen op de knoppen voldoende om te leiden tot hoge transfer.

3.2 Methode

Deelnemers

Aan dit experiment namen 24 eerstejaars studenten Toegepaste Communicatiewetenschap van de Universiteit Twente deel. Ze kregen een financiële vergoeding voor hun deelname.

Materiaal

Het materiaal dat gebruikt werd voor het eerste experiment werd vertaald in het Nederlands. Hierbij werd uitgegaan van de aangepaste teksten. In dit experiment speelde de varia-

[p. 341]

bele naam geen rol; de synoniemen van de namen op de knoppen van de apparaten werden in dit experiment dus niet gebruikt.

Design

Het design van dit experiment was gelijk aan het design van het eerste experiment, met het verschil dat er in dit experiment slechts twee onafhankelijke variabelen waren: informatiesoort en plaats.

Procedure

Ook de procedure van dit experiment was gelijk aan de procedure van het eerste experiment. Het enige verschil was dat in dit experiment bij alle deelnemers een vertraging van twee seconden optrad voordat het programma liet zien of de deelnemers de juiste knop hadden ingedrukt.

3.3 Resultaten.

Er werd berekend hoeveel trials de deelnemers nodig hadden voordat ze de taken tijdens de eerste ronde van het experiment beheersten. Na het lezen van systeeminformatie over het apparaat hadden ze hier gemiddeld 5,1 trials voor nodig, na het lezen van marketinginformatie hadden ze hier gemiddeld 5,8 trials voor nodig. Het lezen van systeeminformatie hielp dus bij het leren werken met de apparaten (F(1,23) = 4,16; p = 0,05).

Een tweede variantieanalyse werd uitgevoerd om na te gaan of de variabelen informatie- soort en plaats invloed hadden op de transfer van kennis. De variabele plaats bleek, in tegenstelling tot de verwachting, geen invloed te hebben: F(1,23) < 1. De variabele informatiesoort had wel effect op de transfer van kennis. Dit effect was anders dan verwacht werd; de transfer was hoger na het lezen van marketinginformatie dan na het lezen van systeeminformatie: F(1,23) = 5,19; p < 0,05. Er werd geen interactie gevonden tussen beide variabelen: F(1,23) = 1,04; p > 0,20.

Er werden nog vier variantieanalyses uitgevoerd om na te gaan of de invloed van informatiesoort en plaats op de transfer van kennis verschilde wanneer het apparaat als eerste, tweede, derde of vierde werd aangeboden aan de deelnemers. Bij het apparaat dat als eerste werd aangeboden werd geen effect van de variabele informatiesoort gevonden (F(1,23) = 1,53; p > 0,20), maar wel een marginaal effect van de variabele plaats (F(1,23) = 3,21; p < 0,10). De transfer was hoger wanneer de knoppen tijdens de tweede ronde van het experiment op dezelfde plaats stonden als tijdens de eerste ronde. Er werd ook een interactie gevonden tussen de variabelen informatiesoort en plaats: F(1,23) = 5,90; p < 0,05. Er werd geen enkel effect gevonden bij de apparaten die als tweede, derde of vierde werden aangeboden.

3.4 Conclusies.

De eerste hypothese wordt nu wel bevestigd. Uit de resultaten van dit experiment blijkt dat het makkelijker is om een goed procedureel model op te bouwen na het lezen van systeeminformatie dan na het lezen van marketinginformatie. De tweede hypothese wordt nu niet bevestigd. Transfer is even hoog bij gelijke plaatsen van de knoppen als bij verschillende plaatsen van de knoppen. Dit resultaat is moeilijk te verklaren. Zowel in het eerste experiment als in de experimenten van O'Reilly en Dixon (2001) werd immers wél een effect van de interface van het apparaat op de transfer van kennis gevonden.

De resultaten van dit experiment laten, net als de resultaten van het eerste experiment, zien dat de derde hypothese niet bevestigd kan worden. Het lezen van systeeminformatie

[p. 342]

lijkt zelfs een negatieve invloed op de transfer van kennis te hebben. Dit lijkt een onverklaarbaar resultaat. Een nadere blik op de resultaten van het experiment laat echter zien dat deze negatieve invloed van systeeminformatie op transfer van kennis waarschijnlijk is veroorzaakt door de positieve invloed van systeeminformatie op het opbouwen van het procedureel model. In dit experiment maakten de deelnemers erg weinig fouten in de tweede ronde van het experiment. Er lijkt dus sprake van een bodemeffect. Omdat er in de eerste ronde van het experiment na het lezen van systeeminformatie minder fouten werden gemaakt dan na het lezen van marketinginformatie, moet de transfer van kennis na het lezen van systeeminformatie lager zijn dan na het lezen van marketinginformatie.

Ook hypothese 3a lijkt niet bevestigd te worden. De resultaten van het eerste experiment lieten zien dat na het lezen van systeeminformatie een verandering van de plaats van de knoppen niet veel invloed heeft. Een systeemmodel leek, samen met kennis van de namen van de knoppen, voldoende te zijn om het procedureel model aan te passen. De resultaten van dit experiment laten zien dat dit niet altijd het geval is. Werden de resultaten van het eerste experiment toch beïnvloed door de kleine verschillen tussen de condities? Waarschijnlijk niet. De analyse waarin alleen de resultaten bij het eerste apparaat meegenomen werden, laat wel een interactie zien tussen de variabelen informatiesoort en plaats. Bovendien laat deze analyse ook het verwachte hoofdeffect van plaats zien. Blijkbaar is er in dit experiment sprake van een sterk volgorde-effect. Overigens lieten de resultaten van het eerste experiment ook een (minder sterk) volgorde-effect zien. De interactie tussen de variabelen informatiesoort en plaats in de variantieanalyse waarin alle resultaten werden meegenomen, bleek immers vooral veroorzaakt te zijn door de resultaten bij het eerste apparaat.

Kortom, als er alleen naar de resultaten bij het eerste apparaat gekeken wordt, zijn de resultaten van het eerste experiment en van dit experiment vergelijkbaar met elkaar. Als er een systeemmodel aanwezig is, en de namen van de knoppen blijven gelijk, dan kunnen de plaatsen van de knoppen veranderd worden zonder dat dit leidt tot verlies van transfer.

4. Derde experiment

4.1 Inleiding.

De resultaten van de voorgaande twee experimenten lieten een interactie zien tussen de variabelen informatiesoort en plaats; na het lezen van systeeminformatie is de transfer van kennis ongeveer even hoog bij gelijke plaatsen van de knoppen in de eerste en tweede ronde als bij verschillende plaatsen van de knoppen in de eerste en tweede ronde. De resultaten van het eerste experiment lieten ook zien dat systeeminformatie niet helpt als de namen op de knoppen veranderen in synoniemen. De veronderstellingen uit de inleiding van dit artikel voorspellen daarentegen dat systeeminformatie wél zal leiden tot een hoge transfer van kennis bij veranderde namen op de knoppen. Verwacht werd dat het systeem-model het herkennen van synoniemen zou vergemakkelijken.

Er werd een derde experiment uitgevoerd om na te gaan of systeeminformatie helemaal geen invloed heeft op het herkennen van synoniemen of dat deze informatie bij een wat gemakkelijker taak wel helpt bij het herkennen van synoniemen. De eerste ronde van dit derde experiment verliep identiek aan de eerste ronde van de voorgaande experimenten. Na deze ronde volgde niet de opdracht om de taken nogmaals uit te voeren, maar een penen-papiertest waarin de deelnemers de namen moesten aangeven van de knoppen die ze moesten gebruiken bij het uitvoeren van de taken tijdens de eerste ronde. Op grond van de

[p. 343]

veronderstellingen uit de inleiding wordt er verwacht dat de deelnemers na het lezen van systeeminformatie meer namen van knoppen zouden herinneren en meer synoniemen zouden herkennen dan na het lezen van marketinginformatie. Op grond van de resultaten van het eerste experiment kunnen we dit niet verwachten.

4.2 Methode

Deelnemers

De deelnemers waren 24 undergraduate psychologiestudenten van de University of Alberta, Canada. Zij kregen studiepunten voor hun deelname aan het experiment.

Materiaal

Voor dit experiment werden dezelfde virtuele apparaten en dezelfde teksten gebruikt als voor het eerste experiment, met de wijzigingen die er gedurende dat experiment in werden aangebracht. Voor de herinneringstaak kregen de deelnemers een afbeelding te zien van de vier apparaten zonder namen op de knoppen. Ook kregen ze een lijst met synoniemen van alle namen van de knoppen.

Design

De enige onafhankelijke variabele was informatiesoort: systeeminformatie versus marketinginformatie. Deze variabele werd binnen deelnemers gevarieerd: elke deelnemer kreeg willekeurig twee apparaten met systeeminformatie en twee met marketinginformatie.

Procedure

De eerste fase van het experiment verliep gelijk aan de eerste fase van de voorgaande experimenten. Hierna kregen de deelnemers afbeeldingen van de apparaten op papier zonder de namen van de knoppen. Ze moesten de namen van de knoppen invullen in de afbeeldingen van de apparaten. Vervolgens kregen ze een lijst synoniemen. Ze moesten deze toekennen aan de juiste knoppen. Dit deel van het experiment duurde gemiddeld ongeveer 15 minuten.

4.3 Resultaten.

Er werd nagegaan of de variabele informatiesoort een effect had op het aantal namen van knoppen dat onthouden werd en het aantal synoniemen dat herkend werd. Dit was niet het geval. De deelnemers konden zich zowel na het lezen van systeeminformatie als na het lezen van marketinginformatie gemiddeld ongeveer 40% van de namen herinneren en 30% van de synoniemen. Bij een nadere analyse bleek dat er ook in dit experiment een volgorde-effect optrad; bij het apparaat dat als eerste werd aangeboden traden wél effecten van informatiesoort op. Er was een significant effect van informatiesoort op het herinneren van namen (F (1,23) = 4,45; p < 0,05); de transfer van kennis was hoger na het lezen van systeeminformatie. Er was een bijna-significant effect van informatiesoort op het toekennen van synoniemen (F (1,23) = 3,92; p = 0,06), eveneens in de voorspelde richting: systeeminformatie had een positief effect op de transfer. Bij het tweede, derde en vierde apparaat traden geen effecten op.

4.4 Conclusies.

Dit experiment was bedoeld om na te gaan of systeeminformatie effect had op het herinneren van de namen van de knoppen en het kunnen herkennen van synoniemen

[p. 344]

van die namen. Dit effect werd niet gevonden in het eerste experiment, waar de deelnemers de apparaten met al dan niet gewijzigde namen opnieuw moesten bedienen. In het derde experiment werd het effect wel gemeten, zij het alleen voor het eerst aangeboden apparaat.

5. Algemene conclusies

De resultaten van de hier gerapporteerde experimenten leveren slechts een bescheiden indicatie dat systeeminformatie invloed heeft op de vorming van een procedureel model en de transfer van procedurele kennis. Dat systeeminformatie invloed heeft op de opbouw van een procedureel model werd niet aangetoond in het eerste experiment, maar wel in het tweede experiment: de deelnemers die systeeminformatie hadden gelezen, hadden minder trials nodig om aan het criterium voor beheersing van de procedure te voldoen.

Er werd verwacht dat systeeminformatie ook invloed zou hebben op de transfer van kennis. Dit is slechts ten dele aangetoond. Uit experiment 1 kan geconcludeerd worden dat systeeminformatie helpt als de plaats van de knoppen verandert terwijl de namen gelijk blijven. Hetzelfde effect is gemeten in het tweede experiment, maar dan alleen bij het apparaat dat als eerste is aangeboden. Blijkbaar leidt het aanbieden van systeeminformatie tot het beter onthouden van de namen. Worden de namen echter vervangen door synoniemen, dan lijkt de invloed van de systeeminformatie te verdwijnen, terwijl juist verwacht werd dat de invloed van systeeminformatie dan groter zou zijn. Met behulp van het systeemmodel zou het makkelijker moeten zijn een knop met een andere naam, die echter dezelfde betekenis heeft, te herkennen als de juiste knop.

De resultaten van de drie experimenten suggereren dus dat de invloed van systeeminformatie op het ontwikkelen van een procedureel model vooral optreedt doordat de namen van knoppen beter onthouden worden. Daarbij moet wel worden vermeld dat in deze experimenten andere mogelijke effecten van systeeminformatie niet expliciet zijn onderzocht: de invloed op het (re-)construeren van de juiste volgorde van de handelingen, en de invloed op het interpreteren en oplossen van fouten in de uitvoering van een procedure.

Er zijn ook aanwijzingen dat het uiterlijk van het apparaat een grote rol speelt bij het opbouwen van een systeemmodel. In deze experimenten zag het apparaat er in alle condities precies hetzelfde uit. Bovendien zagen de deelnemers het apparaat pas nadat ze er informatie over hadden gelezen. Mogelijk zou er een hogere transfer zijn opgetreden als de deelnemers de apparaten al tijdens het lezen van de informatie gezien zouden hebben. De resultaten van onderzoek van Glenberg en Robertson (1999) lijken hierop te wijzen. Zij laten zien dat mensen beter met een apparaat, in hun geval een kompas, kunnen werken als ze tijdens de leerfase hebben gezien hoe het apparaat er uit ziet en hoe er mee gewerkt moet worden in plaats van dat ze alleen informatie over de werking ervan hebben gehoord en/of gelezen.

In deze experimenten werd ook geen rekening gehouden met verschillen tussen deelnemers. Aangenomen kan worden dat niet iedereen op dezelfde manier en met behulp van dezelfde informatie een optimaal systeemmodel kan opbouwen (zie bijvoorbeeld Hubona, Everett, Marsh en Wauchope, 1998). Verder onderzoek zal aan moeten tonen hoe groot de invloed van kennis van het uiterlijk van het apparaat is en hoe groot de invloed van verschillen tussen de deelnemers is bij het opbouwen van een systeemmodel.

[p. 345]

Opvallend zijn de verschillen tussen de prestaties met het eerst aangeboden apparaat en de prestaties met de overige apparaten. Daarvoor zijn verschillende verklaringen mogelijk. Een ervan is dat de tijdsafstand tussen het leren werken met het eerste apparaat en de test langer was dan de tijdsafstand tussen de overige apparaten en de test; het effect van systeeminformatie zou sterker zijn na een groter tijdsinterval. Hoewel deze verklaring in lijn is met de resultaten van Ummelen (1997a), lijkt deze verklaring in dit geval iets minder plausibel omdat de feitelijke tijdsintervallen niet echt groot waren.

Een tweede verklaring zou kunnen zijn dat de deelnemers de eerste keer de tekst aandachtig hebben verwerkt, maar dat ze bij het oefenen met het apparaat niet het gevoel hadden dat ze iets aan de informatie gehad hadden. Bij de volgende apparaten hebben ze dan wellicht minder aandacht aan de tekst besteed, wat geresulteerd zou kunnen hebben in een minder hecht systeemmodel. Ook deze verklaring lijkt in dit geval niet waarschijnlijk omdat de deelnemers de vragen over de teksten bij het tweede, derde en vierde apparaat net zo goed wisten te beantwoorden dan de vragen over de tekst bij het eerste apparaat. Bij ieder apparaat werd ongeveer 90% van de vragen juist beantwoord. Dit wijst erop dat ook de teksten bij het tweede, derde en vierde apparaat aandachtig werden gelezen.

Een laatste verklaring kan zijn dat het opbouwen van een systeemmodel van het eerste apparaat een dermate belasting voor het geheugen is geweest, dat het opbouwen van het tweede, derde en vierde systeemmodel daaronder heeft geleden. Deze verklaring lijkt dus op dit moment het meest plausibel.

[p. 346]

Bibliografie

Becker-Mrotzek, M. (1997). Schreibentwicklung und Textproduktion. Der Erwerb der Schreibtätigkeit am Beispiel der Bedienungsanleitung. Opladen: Westdeutscher Verlag.

Bibby, P.A. & Payne, S.J. (1993). Internalization and the use specifity of device knowledge. Human-computer interaction, 8, 25-56.

Bibby, P.A. & Payne, S.J. (1996). Instruction and practice in learning to use a device. Cognitive science, 20, 539-578.

Dixon, P. & Gabrys, G. (1991). Learning to operate complex devices: Effects of conceptual and operational similarity. Human Factors, 33, 103-120.

Dixon, P., Harrison, K. & Taylor, D. (1993). Effects of sentence form on the construction of mental plans from procedural discourse. Canadian Journal of Experimental Psychology, 47, 375-400.

Farkas, D.K. (1999). The logical and rhetorical construction of procedural discourse. Technical communication, 46, 42-54.

Glenberg, A.M. & Robertson, D.A. (1999). Indexical understanding of instructions. Discourse processes, 28, 1-26.

Guthrie, J.T., Bennett, S. & Weber, S. (1991). Processing procedural documents: a cognitive model for following written directions. Educational psychology review, 3, 249-265.

Hubona, G.S., Everett, S., Marsh, E. & Wauchope, K. (1998). Mental representations of spatial language. International Journal of Human-Computer Studies, 48, 705-728.

Karreman, J., Dixon, P. & Steehouder, M. (2001). What do you need to know about your telephone? The influence of functional information on operating devices. In: L. Degand, Y. Bestgen, W. Spooren, and L. van Waes (Eds.) Multidisciplinary approaches to discourse. (pp. 99-110). Stichting Neerlandistiek VU Amsterdam & Nodus Publikationen Münster.

Karreman, J. & Steehouder, M. (2000). Het instellen van de Vox New York. Gebruik en effect van declaratieve informatie in gebruiksaanwijzingen. In R. Neutelings, N. Ummelen and A. Maes (eds.). Over de grenzen van de taalbeheersing: onderzoek naar taal, tekst en communicatie. (pp. 273-283). Sdu Uitgevers, Den Haag.

Kieras, D.E. & Bovair, S. (1984). The role of a mental model in learning to operate a device. Cognitive science, 8, 255-273.

Mack, R.L., Lewis, C.H. & Carroll, J.M. (1983). Learning to use word processors: problems and prospects. ACMTransactions on office information systems, 1, 254-271.

Maes, F., Ummelen, N. & Hoeken, H. (1996). Instructieve teksten: analyse, ontwerp en evaluatie. Bussum: Coutinho.

O'Reilly, T. & Dixon, P. (2001). The effect of similarity on the transfer of prior procedural knowledge: Is what you see what you learn? (submitted)

Payne, S.J. (1991). A descriptive study of mental models. Behaviour and information technology, 10,3-21.

Steehouder, M. & Jansen, C. (1997). Handleidingenwijzer. Handboek voor het schrijven van softwarehandleidingen. Den Haag: Sdu Uitgevers.

Steehouder, M. & Karreman, J. (2000). De verwerking van stapsgewijze instructies. Tijdschrift voor taalbeheersing, 22, 220-239.

Ummelen, N. (1997a). Procedural and declarative information in software manuals. Effects on information use, task performance and knowledge. Amsterdam/Atlanta: Rodopi.

Ummelen, N. (1997b). Procedurele en declaratieve informatie in handleidingen. Taalbeheersing, 20, 114-125.

[p. 347]

Bijlage 1
Fragmenten uit experimentele teksten in het eerste experiment

Systeeminformatie

The Vox Amsterdam is a telephone system that is meant to be used in small business concerns. The system consists of six different handsets and a base station. The handsets can be used for making external calls, as well as for making internal calls. Although it cannot be used to make telephone calls, the base station is the most important part of the Vox Amsterdam. Incoming and outgoing external calls are actually received by the base station, which sends them from or to the handsets of the system.

Marketinginformatie

There are different models of the Vox Amsterdam. The functions of the different models of the Vox Amsterdam differ slightly from each other, allowing our customers to buy precisely that system that meets their needs. Not only is the function of the system adaptable to specific customer needs, but clients can also choose the exterior that suits them most. The system is available in the three different colors of the Dutch national flag: red, white and blue. For those who like to work in an upbeat environment there is also a limited special edition model of the Vox Amsterdam decorated with yellow tulips.