|
| |
| |
| |
Wim Blokzijl en Bas Andeweg
De effectiviteit van tekstdia's vergeleken met die van visualiseringen in mondelinge presentaties
Samenvatting
Powerpointslides met opsommingen worden vaak als saai ervaren. Communicatieadviseurs bevelen daarom aan om visualiseringen toe te passen. Onderzoek dat deze adviezen onderbouwt, is echter zo goed als afwezig. Om de waarde van deze communicatieadviezen te onderzoeken, wordt de effectiviteit onderzocht van slides met tekst en slides met visualiseringen ten opzichte van een presentatie zonder ondersteuning. Uit het experiment bleek dat powerpoint-ondersteuning effectief was: de groep zonder powerpoint scoorde significant slechter op de kennistest dan de groepen die wel ondersteuning kregen. De groep die de tekstslides kreeg, scoorde significant beter dan de groep die de visualiseringen zag. Na een week bleek het verschil tussen de beide powerpointcondities te zijn verdwenen; het verschil met de groep die geen ondersteuning kreeg, was echter nog steeds aanwezig. Een waarderingstest gaf aan dat ondersteuning met visualiseringen als kwalitatief beter ervaren werd dan ondersteuning met tekstslides. De conclusie luidt dat sprekers een ‘performance-preference’ afweging zullen moeten maken of ze wel of niet tijd steken in visualisering. Het achterwege laten van een vorm van ondersteuning lijkt echter een slechte keus.
| |
1. Inleiding
Een lezing houden betekent tegenwoordig voor de meeste mensen het geven van een powerpointpresentatie; alleen ministers en staatssecretarissen lijken nog ‘gewone’ speeches te houden (Andeweg & De Jong 2003). Het bijwonen van zo'n powerpointpresentatie is niet voor alle luisteraars een genoegen. De vele slides met eindeloze opsommingen (bullet points) maken de gebeurtenis tot een slaapverwekkende vertoning (zie bijvoorbeeld Finkelstein 2004). Zelfs de maker van het presentatieprogramma, Microsoft, spreekt van ‘those boring, bullet-riddled slides’ (Microsoft 2005). Tufte (2003a, 2003b) gaat verder en wijst er op dat de vorm van de opsomming in powerpoint geen ruimte laat voor nuances. Zo stelt hij dat het gebruik van powerpoint de alertheid van de luisteraar vermindert en hij onderbouwt dat met het onderzoek naar het ongeluk met de Amerikaanse ruimteshuttle Colombia in 2003; cruciale informatie, die dit ongeluk had kunnen voorkomen, zat verstopt in een slecht ontworpen powerpointslide.
De powerpointpresentatie is een genre apart geworden (verg. Yates & Orlikowski, t.p.), dat de spreekbeurt op de middelbare school langzaam verdringt. Een spreker die is uitgenodigd een lezing te houden of een docent die zich voorbereidt op een te geven college, doet er goed aan om erover na te denken of hij of zij zich wil aanpassen | |
| |
aan de tijdgeest door een set slides te maken. Of is het beter om te vertrouwen op de eigen fysieke sprekersvaardigheden, de slides terzijde te laten en zich vooral op het verhaal zelf te concentreren? En wat als de beslissing in het voordeel van powerpoint uitvalt? Worden het dan alleen (‘saaie’) opsommingen of moeten er ook plaatjes op de slides? Tekstslides (ook wel dia's genoemd) zijn het snelst te maken en kunnen tegelijk als een soort spiekbrief voor de spreker zelf fungeren (verg. Farkas 2006). Veel adviseurs raden echter aan om illustraties, tekeningen en schema's te gebruiken; plaatjes zouden de presentatie verlevendigen en de aandacht vasthouden. Maar het maken van goede illustraties is geen sinecure. In hoeverre loont dat nu echt de moeite?
Het doel van dit artikel is het presenteren van onderzoeksresultaten die sprekers helpen om een gefundeerde keuze te maken op het gebied van visuele ondersteuning. We gaan in op de vraag wat een effectieve visuele ondersteuning zou kunnen zijn voor een informatieve lezing. Voordat we het onderzoek zelf en de verschillende gebruikte powerpointslides beschrijven, staan we stil bij de basis van de vele adviezen die tot dusver worden gegeven voor het gebruik van slides bij een mondelinge presentatie.
| |
2. Eerder onderzoek naar visuele ondersteuning van mondelinge presentaties
Colleges en lezingen werden vroeger - en ook soms nu nog - ondersteund door een krijtbord of whiteboard; vanaf de jaren vijftig is de overheadprojector in opkomst, die met name bloeide in de jaren zeventig en tachtig. De transparanten die nodig waren voor de projectie werden eerst nog met de hand ontworpen en getekend door grafisch specialisten. De opkomst van specifieke software (onder meer: Harvard Business Graphics, Aldus Persuasion, Microsoft PowerPoint) in de jaren tachtig maakte het mogelijk dat ook leken op het grafische terrein de transparanten ontwierpen en produceerden. Een nieuwe markt voor adviseurs was geboren.
De hedendaagse adviesliteratuur wordt echter niet breed gedragen door onderzoek. Sinds de jaren tachtig hebben slechts enkele onderzoeken naar de ondersteuning van mondelinge presentaties plaatsgevonden (Oppenheim 1981;Vogel 1986;Simons 2000;Blokzijl & Andeweg 2003;Alley & Neeley 2005). Een van de eerste onderzoeken was het zogenaamde Wharton-onderzoek, genoemd naar het onderzoeksinstituut waar het plaats had (Oppenheim 1981). In de studie werd nagegaan in hoeverre luisteraars sneller tot een beslissing kwamen wanneer ze de (persuasieve) informatie gepresenteerd hadden gekregen door een spreker met gebruik van overheadtransparanten of door een spreker zonder transparanten. Het gebruik van visuele ondersteuning zou vergaderingen 28% korter hebben gemaakt. Verder werden de sprekers met overhead-ondersteuning gezien als ‘significantly better prepared, more professional, more persuasive, more highly credible and more interesting’ (Befus 2005). Het onderzoek is vooral bekend geworden doordat de onderzoekssponsor - 3M - veel aan de bekendmaking ervan gedaan heeft (vgl. Johnson 1989). 3M was overigens ook de sponsor van de volgende twee onderzoeken (Vogel 1986; Simons 2000) en daarmee waarschijnlijk ook de hoofdverantwoordelijke voor de brede verspreiding van de resultaten ervan. Het Whartononderzoek is nooit in een peer-reviewed wetenschappelijk tijdschrift verschenen en de methodologische details van het onderzoek blijven onduidelijk.
De meest uitgebreide studie naar visuele ondersteuning bij mondeling presentaties is het | |
| |
dissertatieonderzoek van Vogel (1986; bekend geworden als het UM/3M-onderzoek, Vogel e.a. 1986). Vogel vergeleek (persuasieve) presentaties met verschillende soorten van visuele ondersteuning. Het onderzoek (N=329) bestond uit een 2×2×2-design (zwartwit vs. kleur; 35 mm dia vs. overheadtransparant; tekst vs. tekst met visualiseringen). Een controlegroep kreeg de presentatie zonder ondersteuning aangeboden. Vogel (1986:5) benoemt de visualiseringen expliciet als ‘enhancements’. ‘Image enhancement’, zo stelt hij, ‘refers to the ability to ‘dress up’ or enhance plain text transparencies with images of people, places, and things. [...] It is a particularly ‘do-able’ dimension since no data or basic format is changed in the enhanced version’.
Figuur 1: Verschillen tekstondersteuning en tekst/illustraties (Vogel 1986)
Vogel gebruikte een op videorecorder opgenomen spreker van ‘gemiddelde kwaliteit’; de luisteraars zagen de video terwijl een van de medewerkers de transparanten /dia's wisselde. De tien minuten durende presentaties waren erop gericht studenten te werven voor een workshop over time management. Nagegaan werd in hoeverre studenten geneigd waren zich in te schrijven voor een workshop en in hoeverre ze de presentatie begrepen hadden. Vogel concludeerde dat presentaties met visuele ondersteuning 43% effectiever waren dan presentaties zonder die ondersteuning. Het gebruik van de ‘enhanced images’ (door een professional ontworpen zoals Vogel schrijft) leverde geen meerwaarde bij het gebruik van de visuele ondersteuning.
Simons (2000) rapporteert over een onderzoek van Andres & Petersen van de Portland State University (USA) waarin voor het eerst ook sprake is van een powerpointpresentatie. De presentatie werd onder meer gecontrasteerd met een presentatie waarin gebruik gemaakt werd van overhead-transparanten. De resultaten (‘multimedia presentations could increase comprehension 78% over static visuals’) bereikten wel de adviseurs en adviesboeken, maar | |
| |
verschenen nooit in een wetenschappelijk peer-reviewed tijdschrift, waardoor de details van het onderzoek duister blijven. Simons noemt de problemen rond het onderzoek overigens ‘quite a disaster really’ (Voswinckel 2005: 18).
Was het onderzoek in de vorige eeuw vooral gericht op persuasieve presentaties in een zakelijke setting, veel van het onderzoek van de afgelopen tien jaar richt zich op de verbetering van informatieoverdracht door het gebruik van visuele ondersteuning bij bijvoorbeeld lezingen en colleges. Het onderzoek van Fifield & Peifer (1994; biologiecolleges) en Mantei (2000; geologiecolleges) bijvoorbeeld, richt zich op de toepassing van nieuwe media (waaronder powerpoint) in reguliere collegereeksen. Het is duidelijk dat de onderzoeken plaatsvinden in een omgeving waar het onderwijs de hoogste prioriteit heeft en de onderzoeksmethodologie zich hier naar moet schikken. Het onderzoeksdesign is vaak een vernieuwde collegereeks welke met een oude voorgaande reeks wordt gecontrasteerd. De invoer van powerpoint-handouts is vaak een van de onafhankelijke variabelen, waarbij onduidelijk is hoe lang (of hoe kort) de proefpersonen de handout gebruikt hebben. Ook de wijze waarop college wordt gegeven, wordt niet sterk onder controle gehouden. Als afhankelijke variabelen worden de formele tentamenscores gehanteerd, die van veel meer zaken afhankelijk kunnen zijn. Verder worden anekdotische evaluaties van betrokken studenten gerapporteerd om de onderzoeksresultaten te versterken, zoals: ‘it [de vernieuwde opzet] made me more interested in the material. I told people about it. My friend is taking the class because of it.’ (Fifield & Peifer 1994:239). Ondanks de wat lossere onderzoeksmethodologie maakt het onderzoek in ieder geval de sterke behoefte duidelijk van de betrokkenen aan een meer wetenschappelijke basis voor didactische beslissingen.
Een interessante ontwikkeling binnen dit type onderzoek is de recentere pilot-studie van Alley, Schreiber & Muffo (2005). Alley e.a. ontwierpen op basis van een bestaande powerpoint-slideset voor een cursus Geologie een nieuwe set slides waarin alle opsommingen (bullet point lists) zijn vervangen door slides met visualisaties. De voorbeelden in Figuur 2 geven een indruk van de veranderingen die Alley e.a. aanbrachten in de oorspronkelijke tekstslides. In beide figuren valt het gebruik van pijlen op. Soms als flowchart, soms als markering van een opsomming.
Daarnaast voegden Alley e.a. inleidende en samenvattende slides toe en kregen alle slides een titel die het doel van de informatie op de betreffende slide in een korte zin samenvatte. Ook hier worden tentamenvragen als criteriumtoets gehanteerd. Alley e.a. melden dat zeven van de twintig tentamenvragen significant beter beantwoord werden door de studenten die de nieuwe powerpoint-set gepresenteerd (en als handout uitgereikt) hadden gekregen. Uit een apart afgenomen opinievragenlijst bleek dat de experimentele groep aanzienlijk tevredener was over het ondersteunende materiaal dan de groep die het met de ‘oude’ bullet point slides moest doen. Alley e.a. suggereren dat het nieuwe slide-ontwerp verantwoordelijk is voor de geobserveerde veranderingen en dat verder testen in andere situaties zinvol is.
De onderzoeksopzet van Alley e.a. laat veel ruimte voor speculaties over wat de oorzaak van de geobserveerde verschillen zou kunnen zijn. Zijn het de transformaties van bullet points naar visualiseringen, of de toevoegingen van extra tekst in de titels of de extra samenvattende dia's? Uit eerder onderzoek van ons (Blokzijl & Andeweg 2003) kwam naar voren dat het gebruik van zinnen op een dia de retentie van de luisteraar na een presentatie versterkte. In dat onderzoek kregen drie gelijkwaardige groepen dezelfde 15 minuten lezing gepresenteerd in een ‘live’ setting (dus niet op video), waarbij twee groepen visuele ondersteuning kregen in de vorm van tekstdia's en één groep het zonder moest doen.
| |
| |
Figuur 2: Slides uit onderzoek van Alley e.a. 2005
De tekstcondities verschilden in de kwantiteit en de inhoud van de tekstdia's:
| • | Ondersteuning met beknopte tekstslides (telegramstijl; weinig slides; weinig regels per slide, in overeenstemming met de algemeen erkende presentatierichtlijnen om slides niet te vol te zetten. Zie bijvoorbeeld Janssen e.a. (2002, p.384): ‘Gebruik maximaal zes regels van vijf tot zes woorden per sheet’. Deze regel staat bekend als de 6x6-regel); |
| • | Ondersteuning met uitgebreide tekstslides (volzinnen; veel regels per slide; veel slides; een overschrijding van de zojuist genoemde presentatierichtlijnen). |
Direct na afloop kregen de studenten een multiple-choice toets van 30 vragen over de aangeboden stof. Het bleek dat een presentatie met tekstslides significant beter werd onthouden en begrepen dan een presentatie zonder. Het verschil tussen de uitgebreidere en de beknopte slides was niet significant, wat suggereert dat de zogenaamde 6×6-regel minder strikt is dan doet vermoeden. De presentatie met tekstslides werd verder significant begrijpelijker gevonden. Er waren geen significante verschillen tussen de conditie ten aanzien de aantrekkelijkheid van de presentatie en van het oordeel over de deskundigheid van de spreker.
Samenvattend is er de afgelopen decennia slechts beperkt onderzoek gedaan naar de vraag hoe mondelinge presentaties door een vorm van visuele ondersteuning verbeterd zouden kunnen worden. Een van de belangrijkste oorzaken hiervoor lijkt de onderzoekscontext te zijn. Voor enigszins ecologisch valide onderzoek naar effecten van mondelinge presentaties | |
| |
zijn onder meer grote groepen luisteraars nodig. Deze zijn vooral in een onderwijssetting (een universiteit of hogeschool) relatief gemakkelijk te mobiliseren. Manipulatie van onderwijs kan echter maar beperkt plaatsvinden. Wel is de afgelopen jaren veel onderzoek gedaan naar multimediapresentaties op de computer (zie Mayer & Moreno 2003 voor een interessant overzicht). Het beluisteren en/of bekijken van een multimediaprogramma is echter niet helemaal vergelijkbaar met een ‘echt(e)’ lezing of college: lezingen zijn niet alleen langer en complexer dan een korte uitleg van een natuurverschijnsel als de bliksem (Mayer, Heiser & Lonn 2001), maar ook zijn de mogelijkheden van de luisteraar om het tempo van informatie-aanbieding te variëren zeer gering.
Uit het beschreven onderzoek komt naar voren dat een vorm van visuele ondersteuning de doelstelling van de spreker, persuasief dan wel informatief, meer ten goede komt dan het achterwege laten van ondersteuning. Onduidelijk evenwel is van welke ingreep - tekst of plaatjes - het meest te verwachten is.
| |
3. Doel van het onderzoek
Nog steeds openen paragrafen in boeken of artikelen met het uitspraak dat een plaatje meer waard is dan duizend woorden (vgl. Jansen e.a. 2004). Blijkbaar is er veel winst te boeken door teksten met illustraties te ondersteunen. In een recent overzichtsartikel onder de veelzeggende titel Pictorial Illustrations Still Improve Students' Learning From Text stellen Carney & Levin (2002:7) dat ‘it is clear from that literature [bedoeld wordt de periode 1990-2002] that pictures [...] reliable improve the reading-tot-learn process - just as had been concluded on the basis of the pictures-in-text research literature before the 1980s’. Illustraties helpen bij het lezen, maar helpen ze in vergelijkbare mate de luisteraar naar een spreker op een lezing?
Het doel van dit onderzoek is om na te gaan of en in hoeverre een visuele ondersteuning in de vorm van plaatjes/illustraties een luisteraar helpt bij het onthouden van de inhoud van de presentatie. Dit onderzoek is een vervolg op Blokzijl & Andeweg (2003), waarin de effectiviteit van beknopte en uitgebreide tekstslides werd onderzocht; het vormt een onderdeel van een groter onderzoek naar de waarde van uiteenlopende presentatieadviezen voor spreken in het openbaar.
| |
4. Opzet van het onderzoek
Om na te gaan of illustraties op slides luisteraars helpen beter te onthouden wat de spreker zei, is het vanzelfsprekend nodig om een reële spreeksituatie te creëren: een spreker, een presentatie en een zaal met min of meer geïnteresseerde luisteraars. Het onderzoek vond plaats binnen een reguliere onderwijssituatie op de Technische Universiteit Delft. Studenten die in parallelgroepen een cursus mondeling presenteren volgden, kregen in een plenaire sessie een lezing aangeboden over een onderwerp dat inhoudelijk te maken had met het communicatieonderwijs dat ze volgden. Hun werd verteld dat het een onderwijsexperiment was waarin kleine groepen tegelijk plenair interessante informatie kregen aangeboden in plaats van in de kleine groep. In deze paragraaf beschrijven we de opzet van het onderzoek en de maatregelen die we namen om de betrouwbaarheid van het onderzoek te verhogen.
| |
| |
| |
4.1 De presentatie Communicatie en gedragsbeïnvloeding.
In onze eerdere studie (Blokzijl & Andeweg 2003) ontwierpen we een lezing over communicatie en gedragsbeïnvloeding, gebaseerd op Pol, Swankhuisen & Fennis (2002). Ook in dit onderzoek werd die lezing gebruikt. De lezing behandelt verschillende technieken om gepland en automatisch gedrag te beïnvloeden. Van de verschillende technieken worden voorbeelden gegeven en ook worden de onderzoekers genoemd die een leidende rol spelen in dat onderzoek. De lezing heeft een lengte van 2140 woorden en duurt ongeveer 15 minuten.
| |
4.2 Visuele ondersteuning.
In het onderzoek wordt een presentatie die ondersteund wordt door tekstslides (tekst-powerpoint) vergeleken met een presentatie, ondersteund door slides met visualiseringen (plaatjes-powerpoint) en met een presentatie zonder visuele ondersteuning (zonder powerpoint).
De conditie tekst-powerpoint.
De tekstconditie bestond uit twee subcondities: een set van 26 slides met uitgebreide tekstondersteuning (uitgebreide powerpoint) en een set van 15 slides met beknopte tekstondersteuning (beknopte powerpoint). Uit Andeweg & Blokzijl (2003) blijkt dat beide typen ondersteuning vergelijkbaar effectief zijn. In het onderhavige onderzoek worden beide condities dan ook samen genomen; daardoor kan de operationalisering van de tekstondersteuning meer robuust genoemd worden, in die zin dat zij minder afhankelijk is van de specifieke vorm.
De conditie plaatjes-powerpoint.
Voor het omzetten of veranderen van tekstslides in meer met illustraties gevisualiseerde ondersteuning bestaan geen richtlijnen. Levin (1981; Carney & Levin 2002) onderscheidt vijf functies voor illustraties in een tekst:
| 1 | De decoratieve functie: decoratieve illustraties versieren de tekstpagina. De illustratie zelf heeft weinig of niets met de inhoud van de tekst te maken (zie de voorbeelden van Vogel in Figuur 1). |
| 2 | De representatieve functie: representatieve illustraties geven een directe (partiële) weergave van de inhoud van de tekst. Ze komen relatief vaak voor (zie bijvoorbeeld de afbeeldingen van ruwe erts op de slide van Alley e.a., Figuur 2) |
| 3 | De structurerende (‘organizational’) functie: structurerende illustraties leveren een structureel kader voor de inhoud van de tekst (bijvoorbeeld: een kaart van een wandelroute of een overzicht van de verschillende stadia van ‘digitale data acquisition’ - zie de slide van Alley e.a., Figuur 2). |
| 4 | De verduidelijkende (‘interpretational’) functie: verduidelijkende illustraties helpen de lezer moeilijke begrippen te begrijpen (bijvoorbeeld: een plaatje van een pomp om de werking van het hart uit te leggen). |
| 5 | De transformatiefunctie: transformationele illustraties bevatten, zo stellen Carney & Levin, geheugenversterkende beelden. Ze zijn bedoeld om de herinnering van de lezer aan de inhoud van de tekst te verbeteren. |
Het functieschema is vooral gebruikt om ordening aan te brengen in onderzoek naar illustraties. Levin e.a. (1987) koppelen aan die functies ook een te verwachten gemiddelde effectgrootte ten opzichte van teksten zonder illustraties, oplopende van licht negatief effect voor decoratieve illustraties tot sterke effecten voor transformationele illustraties. Het functie- | |
| |
schema is een classificatieschema. Het geeft geen aanwijzingen om in concrete gevallen tekst te ondersteunen door een specifieke illustratie.
In het construeren van de plaatjes-powerpoint zijn we pragmatisch te werk gegaan. Het toepassen van slechts één type illustratie zou het zeer moeilijk, zo niet onmogelijk hebben gemaakt om alle slides uit de oorspronkelijke set te transformeren. Verder was er vooralsnog geen reden om aan te nemen dat van een specifiek type illustratie negatieve effecten zijn te verwachten (met uitzondering van illustraties met een decoratieve functie; verg. Carney & Levin 2002). Als uitgangspunt voor de transformatie werden de 26 slides van de uitgebreide tekst-powerpoint conditie gebruikt. De titels van de slides werden ongemoeid gelaten. Concrete woorden op de tekstslides werden vervangen door representatieve illustraties (zie een voorbeeld in Figuur 3). Bij dertien van de dia's is de representatieve functie primair.
Figuur 3: Voorbeeld van slide met representatieve functie (totaal: 13)
Zeven slides werden veranderd in structurerende (‘organizational’) slides. Het betrof hier informatie over de opbouw van de presentatie, maar ook informatie over relaties tussen abstracte concepten (bijvoorbeeld een schema; Figuur 4).
Figuur 4: Voorbeeld van slides met structurerende functie (totaal: 7)
| |
| |
Twee dia's zijn te kwalificeren als verduidelijkende (‘interpretational’) dia's, waarbij een abstract idee door middel van een beeld wordt geconcretiseerd. Het kiezen voor een bepaalde wijze van framing wordt geconcretiseerd door middel van een balans, die vervolgens doorslaat in de bedoelde richting. De tweede dia in Figuur 5 vertegenwoordigt door de combinatie van tekening en foto een mix van functies. Vier dia's vormden een dergelijke mix van functies. In alle gevallen betrof het dan een slide met een schematische voorstelling, waarop ook de foto van een onderzoeker (representatieve functie) was opgenomen.
Figuur 5: voorbeelden van transformationele slides (totaal: 2) en slides met meerder functies (totaal: 4)
Qua uitvoering bestonden de visualiseringen uit (combinaties van) foto's, tekeningen en diagrammen:
| • | Woorden/diagrammen: woorden in een frame geplaatst, vaak met elkaar verbonden met behulp van pijlen of lijnen. Sommige foto's of tekeningen bevatten ook woorden. Geen van de slides bevatten echter op zichzelf staande tekst. |
| • | Foto's: foto's van beelden die gebruikt werden (trouwen; scheiden; studeren), maar ook foto's van de auteurs waarnaar verwezen werd. Foto's werden meestal met andere beeldelementen (diagrammen of tekeningen) gebruikt. |
| • | Figuren: twee slides bevatten eenvoudige cirkeldiagrammen. |
| • | Tekeningen: eenvoudige getekende afbeeldingen van een pakje sigaretten, van een wegversperring of van een balans. Op een van de slides was een cartoon te zien. Twee afbeeldingen waren geanimeerd (zogenaamde animated GIFs). |
| |
| |
| • | Negaties: op vier slides werd de afbeeldingen met een x-kruis bedekt om duidelijk te maken dat iets niet het geval was (bijvoorbeeld een foto van een glamourvolle bijeenkomst met een kruis erdoor om aan te geven dat glamour geen werkzame variabele is). |
| |
4.3 Proefpersonen.
De proefpersonen waren 237 eerstejaars en tweedejaars technische studenten aan de Technische Universiteit Delft. Ze volgden een verplichte cursus Mondeling Presenteren. Het experiment vond plaats aan het begin van deze cursus; de deelnemers waren nog niet geïnstrueerd over het gebruik van powerpoint.
| |
4.4 Vragenlijst.
Om na te gaan wat de luisteraars van een presentatie zouden hebben onthouden, werd een uitgebreide multiple-choice vragenlijst ontwikkeld (vier antwoordalternatieven per vraag). Uit een analyse van de antwoorden bleek dat de vragen voldoende bijdroegen aan de totaalscore (Cronbachs's ά = .75). De vragen hadden zowel betrekking op de kernpunten als op de bijzaken van de presentatie. De benodigde informatie voor het beantwoorden van de vragen was uiteraard altijd terug te vinden in de gesproken tekst.
Een korte vragenlijst werd gebruikt om enkele gegevens te verzamelen over de proefpersonen. De proefpersonen moesten aangeven in hoeverre ze voorkennis hadden over het onderwerp, en in hoeverre ze vonden dat de inhoud van de presentatie interessant was, en nodig voor hun opleiding (vijfpuntsschaal).
Daarnaast ontwikkelden we een vragenlijst om beter zicht te krijgen op het effect dat de presentatie op hen had. De vragenlijst bestond uit een serie stellingen vergezeld van een vijfpuntsschaal (geheel mee oneens ... geheel mee eens). Deze stellingen hadden betrekking op het oordeel van luisteraars over de deskundigheid van de spreker en over de mate waarin de presentatieboeiend en begrijpelijk was. Deze drie aspecten lijken gerelateerd te zijn aan de informatieve en persuasieve kracht van de presentatie (zie Andeweg, De Jong & Hoeken 1997). De aspecten werden uitgewerkt in vijf factoren (zie Tabel 1).
Tabel 1: mening over spreker / presentatie / ondersteuning
|
Factor |
Stellingen |
ὰ |
| 1 |
Ethos spreker |
Ik vond het college overtuigend; |
.68 |
| |
|
De spreker komt geloofwaading over; |
|
| |
|
De spreker komt als een deskundige over. |
|
| 2 |
Aantrekkelijke presentatie |
Ik vond het een boeiend college; |
.80 |
| |
|
Dit college maakte me nieuwsgierig naar verder onderzoek; |
|
| |
|
Dit was een aantrekkelijk college. |
|
| 3 |
Begrijpelijke presentatie |
Ik vond het college inhoudelijk duidelijk; |
.77 |
| |
|
Dit college was begrijpelijk. |
|
| 4 |
Kwaliteit ondersteuning |
Ik vond de gebruikte powerpointpresentatie een goede ondersteuning bij dit college; |
.75 |
| |
|
Ik vond de gebruikte powerpointpresentatie aantrekkelijk uitgevoerd; |
|
| |
|
Ik had veel steun aan de dia's bij het luisteren naar het verhaal. |
|
| 5 |
Informatieve waarde |
Ik heb de meeste inhoudelijke informatie via de dia's gekregen; |
.76 |
| |
|
(-) Ik heb de meeste inhoudelijke informatie van de spreker gekregen. |
|
| |
| |
| |
4.5 Uitvoering van het experiment.
De context van het onderzoek - trainingsonderwijs in mondeling presenteren - impliceerde dat voor het onderzoek een situatie gekozen diende te worden die dicht lag bij een normale presentatie. Een laboratoriumonderzoek zou minder geschikt zijn. Om deze reden is gekozen voor een college-achtige situatie: de proefpersonen kregen de voordracht gepresenteerd door een docent die ze niet kenden, in een gewone collegezaal. Alle sessies werden op video vastgelegd, voor controle op eventuele verschillen in presentatie (oogcontact, veranderingen in tekst, interjecties etc.) tussen de sessies. Deze verschillen bleken niet noemenswaardig te zijn; de spreker hield zich nauwkeurig aan de geschreven tekst.
De proefpersonen kregen de presentatie aangeboden met de verklaring dat ze een bij hun practicum behorend, ondersteunend hoorcollege kregen. Ze kregen te horen dat de vakgroep een educatief experiment uitvoerde, waarin practica werden gecombineerd met korte hoorcolleges. Direct na de presentatie werd hen gevraagd de vragenlijst in te vullen. Na een week kregen ze het deel van de vragenlijst met de multiple choice-vragen nogmaals voorgelegd; na het invullen van die laatste vragenlijst kregen ze een korte debriefing. Uit Tabel 2 blijkt dat de proefpersonen weinig voorkennis hadden, dat ze de gegeven informatie enigszins interessant vonden en dat ze het college een min of meer waardevolle aanvulling vonden op de cursus Mondeling Presenteren die ze volgden.
Tabel 2: Voorkennis en meningen van de proefpersonen met betrekking tot het college
|
Conditie |
Gemiddeld* |
N |
sd |
| Voorkennis |
zonder ppt |
2,56 |
39 |
0,97 |
| Ik wist al veel over dit onderwerp. |
tekst ppt |
2,67 |
91 |
0,76 |
| |
plaatjes ppt |
2,61 |
106 |
0,97 |
| |
totaal |
2,63 |
236 |
0,89 |
| Onderwerp interessant |
zonder ppt |
3,42 |
38 |
0,95 |
| Ik denk dat een college over dit onderwerp interessant is. |
tekst ppt |
3,53 |
91 |
0,83 |
| |
plaatjes ppt |
3,53 |
106 |
0,91 |
| |
totaal |
3,51 |
235 |
0,88 |
| College nuttig |
zonder ppt |
3,29 |
38 |
0,84 |
| Ik denk dat een college over dit onderwerp nuttig is voor ingenieurs. |
tekst ppt |
3,59 |
91 |
0,80 |
| |
plaatjes ppt |
3,26 |
106 |
0,91 |
| |
totaal |
3,40 |
235 |
0,87 |
* Vijfpuntsschaal
Een multivariate analyse geeft aan dat er geen effect is voor de soort ondersteuning (F(6,460)=1.512 p=172). Uit een meer gedetailleerde analyse blijkt echter dat de groep die de plaatjes-powerpoint zag, significant lager scoorde dan de groep die tekst-powerpoint zag op ‘College nuttig’ (F (2,232)=3,963; p<.05). In de verdere analyse is nagegaan of er een samenhang was tussen de mening over het college en de score op de toets. Die bleek afwezig (r=.16, | |
| |
p=.11) en voor de verdere analyses is aangenomen dat de drie groepen ten aanzien van de onderzochte variabelen gelijkwaardig waren.
| |
5. Resultaten
Maakt het uit of een presentatie ondersteund wordt met powerpointslides? Die vraag wordt in dit hoofdstuk beantwoord. We splitsen de resultaten van het onderzoek op in tweeën: wat leren de luisteraars van de presentatie (5.1) en wat vinden ze ervan (5.2).
| |
5.1 Leereffect van de presentatie.
Wat onthouden luisteraars van een presentatie die wel of niet wordt ondersteund door een set powerpointslides? Om dit leereffect bij de luisteraars te meten, werd hen een multiple choice test afgenomen. Deze test bleek niet gemakkelijk te zijn. Er waren 30 vragen; gemiddeld beantwoordden de studenten (N=237) hiervan net iets meer dan 18 correct (60,5%; range 23-90% - in het vervolg van het artikel zullen percentages worden gebruikt om beter te kunnen vergelijken). Tabel 3 geeft een overzicht van de verschillen die bestonden tussen alle geteste groepen.
Tabel 3: Gemiddelde score van groepen op de multiple choice test direct na het college
| Type ondersteuning |
Gemiddeld* |
Standaarddeviatie |
N |
| Geen ondersteuning |
54,79 |
16,33 |
39 |
| Tekstondersteuning |
64,14 |
14,73 |
91 |
| Plaatjesondersteuning |
59,53 |
12,74 |
107 |
| Totaal |
60,52 |
14,47 |
237 |
* percentage correcte antwoorden op multiple choice-test.
Een univariate analyse laat zien dat de luisteraars naar een presentatie zonder visuele ondersteuning significant slechter scoren (54.8%) dan de luisteraars die wel enige vorm van ondersteuning kregen aangeboden (gemiddeld 62.7%; F(1, 235)=7,53 p<0.01). Dit resultaat is geheel in lijn met de eerdere studies naar het gebruik van visuele ondersteuning bij presentaties.
Maakt het nu wat uit of de ondersteuning bestaat uit een set tekstslides of een set slides met illustraties? Een variantieanalyse maakt duidelijk dat er een effect is voor ondersteuning (F(1, 196)=5,57 p<.05). De groep die de tekstslides als ondersteuning aangeboden kreeg, presteerde significant beter (64.1%) dan de groep die de plaatjes als ondersteuning kreeg (59.5%).
De scores op de toets na een week - exact dezelfde toets als de eerste, zij het zonder de waarderingsvragen - zijn voor elke groep lager (zie Figuur 6). Het verschil tussen de groepen die geen (gemiddeld toetsresultaat 51,5) of wel (gemiddeld toetsresultaat 56,2) een ondersteuning kregen is nog steeds significant (t(202)=1,814 p<.05, eenzijdige toetsing). Het verschil tussen beide soorten ondersteuning is verdwenen. Beide groepen presteerden even goed, of ze nu een presentatie zagen met tekst of één met plaatjes.
| |
| |
Figuur 6: Scores (in percentages) op de multiple choice-test direct na het college en een week later voor de drie typen ondersteuning
| |
5.2 Vragen over waardering.
In het laatste deel van de vragenlijst kregen de studenten een aantal stellingen voorgelegd over de spreker en over de presentatie. Drie factoren werden gemeten: de begrijpelijkheid en aantrekkelijkheid van het college, en het waargenomen ethos van de spreker. Vergelijken we de conditie zonder visuele ondersteuning met de condities met ondersteuning in een multivariate analyse, dan blijkt er geen hoofdeffect voor ondersteuning (F(3, 229)=1,336 p=.236). Uit Tabel 4 blijkt verder ook dat de verschillen tussen de condities met een vorm van ondersteuning niet significant zijn. De luisteraars vinden de spreker in beide gevallen enigszins deskundig en overtuigend, ze vinden het college enigszins aantrekkelijk en redelijk begrijpelijk.
Tabel 4: Meningen over het college
|
Type ondersteuning |
Gemiddeld* |
Standaarddeviatie |
N |
| Begrijpelijk college |
geen ondersteuning |
3.42 |
0.826 |
38 |
| |
tekstondersteuning |
3.78 |
0.584 |
89 |
| |
plaatjesondersteuning |
3.56 |
0.826 |
106 |
| Aantrekkelijk college |
geen ondersteuning |
3.07 |
0.939 |
38 |
| |
Tekstondersteuning |
3.19 |
0.790 |
89 |
| |
plaatjesondersteuning |
3.28 |
0.785 |
106 |
| Ethos van de spreker |
geen ondersteuning |
3.53 |
0.692 |
38 |
| |
tekstondersteuning |
3.48 |
0.754 |
89 |
| |
plaatjesondersteuning |
3.63 |
0.642 |
106 |
* vijfpuntsschaal
| |
| |
Uit een multivariate analyse van de meningen van toehoorders over het type ondersteuning, bleek dat de visuele ondersteuning door de verschillende groepen verschillend werd gewaardeerd (zie Tabel 5).
Tabel 5: Meningen over powerpointondersteuning
|
Type ondersteuning |
Gemiddeld* |
Standaarddeviatie |
N |
| Informatieve waarde |
tekst |
2.68 |
0.840 |
86 |
| |
plaatjes |
2.61 |
0.805 |
106 |
| Kwaliteit van de ondersteuning |
tekst |
3.08a |
0.787 |
86 |
| |
plaatjes |
3.61b |
0.770 |
106 |
* vijfpuntsschaal; a/b superscript: verschil is significant (p<0.01)
Nadere analyse maakte duidelijk dat de waargenomen kwaliteit van de slide het verschil maakte (F(1, 190)=22,1 p<.001). De plaatjes-powerpoint kreeg een hogere beoordeling dan de tekst-powerpoint. Tussen beide condities was er overigens geen significant verschil in waardering voor de slides (of juist de spreker) als informatiebron.
| |
6. Conclusies en discussie
Het doel van dit onderzoek was om na te gaan of en in hoeverre een visuele ondersteuning in de vorm van plaatjes/illustraties een luisteraar helpt bij het onthouden van de inhoud van de presentatie. Terugkijkend kunnen we stellen dat een lezing waarbij enige vorm van visuele ondersteuning wordt gebruikt effectiever is - in de zin van de mate waarin de luisteraars iets onthouden - dan een lezing zonder visuele ondersteuning. De groep studenten die geen visuele ondersteuning kreeg, presteerde significant slechter op de multiple-choice toets. Ook na een week bleken de verschillen nog aanzienlijk. Bij een tentamen zou dit het verschil kunnen zijn geweest tussen slagen en zakken. Het lijkt dus een goed idee te zijn om een informatief college met slides te ondersteunen. Dit resultaat is geheel in lijn met eerder onderzoek naar het gebruik van visuele ondersteuning bij mondelinge presentaties (Oppenheim 1981, Vogel 1986, Simons 2000, Alley e.a. 2004) en is vergelijkbaar met de resultaten bij multimediaonderzoek als dat van Moreno & Mayer (2002).
Zijn slides met plaatjes/illustraties nu effectiever dan slides met alleen tekst? Aan illustraties, foto's, tekeningen etc. worden vele werkzame krachten toegekend. Illustraties zouden de motivatie van de lezer verhogen, de aandacht vangen en richten, een diepere cognitieve verwerking bewerkstelligen, de inhoud van de tekst verduidelijken, dubbele verwerking realiseren (dual coding), het geheugen versterken en de vorming van mentale modellen vergemakkelijken (verg. Carney & Levin 2002). In het onderhavige onderzoek winnen de plaatjesslides het echter niet van de tekstslides. De luisteraars die een ondersteuning met slides met visualiseringen kregen, presteren zelfs slechter op de toets dan zij die de tekstslides voorgeschoteld kregen. Een verschil dat na een week echter geheel verdwenen is. Dit resultaat verschilt met die van Alley e.a. (2005); in dat onderzoek waren de visualisatieslides wel | |
| |
effectiever dan tekstslides. Alley e.a. brachten echter meer veranderingen aan. Hoewel ze de verafschuwde bullet point-layout lieten verdwijnen, behielden ze bij het construeren van de nieuwe powerpoint-set de meeste tekst van de oorspronkelijke tekstslide. De titels van de slides werden zelfs met extra woorden uitgebreid: een titel als ‘Digital Acquisition system’ veranderde in ‘Digital data acquisition changes the data's form’. De titel werd informatiever. Ten slotte werden nog extra (inleidende en samenvattende) slides toegevoegd. Samenvattend is mogelijk de geboekte winst in dat onderzoek ook te verklaren door de extra tekst op de slides: door verbeterde tekstslides dus.
Mogelijk functioneren plaatjes als ondersteuning bij een mondelinge presentatie anders dan plaatjes bij geschreven teksten. De luisteraar is - in tegenstelling tot een lezer - continu blootgesteld aan een stroom van informatie. Hij kan niet terugkijken en moet ter plekke beslissen waaraan hij zijn - beperkte - aandacht zal besteden. Uit recent oogbewegingsonderzoek bij kijkers naar powerpointslides komt naar voren dat kijkers zeer snel ‘beslissen’ of ze de illustratie (bij een bullet point-opsomming) wel of niet verder zullen bekijken (Slykhuis e.a. 2004). Plaatjes met een duidelijk meer decoratieve functie of een meer algemene representatieve functie (Levin 1981) worden dan mogelijk al gauw als minder informatief afgedaan. De helft van onze slideset viel in die categorie. Dat zou bijvoorbeeld ook een verklaringsgrond kunnen zijn voor de achterwege blijvende effecten bij de met clip-art ‘enhanced’ slides van Vogel (1986).
Van illustraties met andere (structurerende of verhelderende) functies zou mogelijk meer te verwachten zijn. De keuze daarvoor is echter niet vrij. Bij de slide over het beïnvloeden van gedrag bijvoorbeeld (zie Figuur 3) is een verduidelijkende (‘interpretational’) illustratie niet goed voorstelbaar. Het blijft overigens ook bij het toepassen van meer verduidelijkende of transformationele plaatjes nodig dat de luisteraar er voldoende tijd aan besteedt. Uit Slykhuis e.a. (2004) blijkt dat de spreker (en vooral het tempo van spreken) daarin een belangrijke rol speelt. Peeck (1993) stelt dat de werkzaamheid van illustraties verhoogd kan worden als de kijker er iets mee doet: in het geval van een mondelinge presentatie is het bijvoorbeeld voorstelbaar dat de spreker samen met zijn publiek een illustratie bespreekt of dat hij gebruik maakt van de specifieke opbouwmogelijkheden die powerpoint biedt. Zeker in het eerste geval is het dan wel de vraag of er sprake is van visuele ondersteuning van de presentatie of dat het beeld object geworden is van de presentatie. In een real-life onderwijssituatie is dat overigens een weinig zinvolle theoretische overweging: het gaat er immers om of de onderwijsdoelstellingen gerealiseerd worden.
Een tweede overweging bij het resultaat van het onderzoek is het onderwerp van de presentatie. We gebruikten voor ons experiment een presentatie over persuasieve theorieën en technieken. Deze presentatie stond qua inhoud tamelijk ver af van het type presentatie dat onze proefpersonen - bètastudenten - normaal gesproken krijgen. Misschien had een presentatie over een technisch onderwerp andere resultaten opgeleverd. De voorkennis van de luisteraars was niet bijzonder hoog. In een dergelijke situatie zouden illustraties juist wel effectief kunnen zijn (verg. Mayer & Gallini 1990). Een nadere analyse waarbij de groep luisteraars op basis van hun voorkennis gesplitst werd in drie subgroepen (weinig voorkennis (n=49 / M=1,2), gemiddeld (n=36 / M=3,0), veel voorkennis (n=21 / M=4,1)) leverde echter geen verschillen op (F(2, 103)=.184 p=.832). Voorkennis, of in ieder geval de inschatting daarvan door de luisteraar zelf, bleek niet gerelateerd aan het toetsresultaat.
| |
| |
Het bijwonen van het college ondersteund door een plaatjes-powerpoint leverde de luisteraars niet de hoogste toetsscores op, maar ze waren wel het meest tevreden met de kwaliteit van de ondersteuning. Ze vonden de slides een goede, aantrekkelijke ondersteuning bij de lezing en vonden dat ze er veel steun aan hadden. Variërend op een uitspraak van Karen Schriver zou gezegd kunnen worden: ‘Hoeveel gemakkelijker zou het leven van een powerpoint-ontwerper zijn als de voorkeur van zijn of haar publiek overeen zou komen met wat dit publiek het best doet presteren’ (Schriver 1997: 410). Het ontwerp van een powerpoint-slideset lijkt de spreker dus te dwingen tot een ‘performance-preference’-afweging: een keuze tussen een alternatief dat goed presteert en een alternatief dat de voorkeur krijgt.
| |
Bibliografie
| Alley, Michael & Kathryn A. Neeley (2005). Rethinking the design of presentation slides: A case for sentence headlines and visual evidence. Technical communication. 52, 417-426, november 2005. |
| Alley, Michael, Madeline Schreiber & John Muffo (2005). Pilot testing of a new design for presentation slides to teach science and engineering. 35th ASEE/IEEE Frontiers in Education Conference. |
| Andeweg, B. en J. de Jong (2003). Hoe begint de minister?: Een retorisch exordiaalmodel toegepast op departementale toespraakinleidingen. Tijdschrift Taalbeheersing, 25, 34-56. |
| Andeweg, B.A., J.C. de Jong & H. Hoeken (1998). ‘May I have Your Attention?’ Exordial Techniques in Informative Oral Presentations. Technical Communication Quarterly, 7, 271-284. |
| Befus, Robert (2005). ‘The 1981 Wharton Study’. Posted in Presentation Facts. [http://www.visualbeing.com/ 2005/07/14/%e2%80% 9cthe-1981-wharton-study%e2%80%9d] (geraadpleegd 29/06/06) |
| Blokzijl, Wim & Bas Andeweg (2003). De effectiviteit van tekstdia's bij presentaties. In: Luuk van Waes, Pol Cuvelier, Geert Jacobs & Isabelle de Ridder (red.). Studies in taalbeheersing 1, 58-70. Assen: Van Gorcum. |
| Carney, Russell. N. & Joel R. Levin (2002). Pictorial illustrations still improve students' learning from text. Educational Psychology Review, 14, 5-26. |
| Farkas, David K. (2006). Toward a better understanding of Powerpoint deck design. Information Design Journal + Document Design 14, 162-171. |
| Fifield, S. & R. Peifer (1994). Enhancing lecture presentations in Introductory Biology with computer-based multimedia. Journal of College Science Teaching, 23, 235-239. |
| Finkelstein, Ellen (2004). A Powerpoint world without bullets is possible, and beautiful as well. Presentations (januari 2004.) http://www.presentations.com/presentations/creation/article_display.jsp?vnu_content_id=1000482317 |
| Jansen, C.M. Steehouder & M. Gijsen (2004). Professioneel communiceren. Taal- en communicatiegids. Groningen: Martinus Nijhoff. |
| Janssen, Daniël e.a. (2002). Zakelijke communicatie 1. Groningen: Wolters-Noordhoff.Vierde druk. |
| Johnson, Virginia (1989). Picture-Perfect Presentations. Training and Development Journal, 43, 45-47. |
| Levin, J.R. (1981). On functions of pictures in prose. In F.J. Pirozzolo & M.C. Wittrock (eds), Neuropsychological and Cognitive Processes in Reading. New York: Academic Press, 203-228. |
| Levin, J.R., G.J. Anglin & R.N. Carney (1987). On empirically validating functions of pictures in prose. In D.M. Willows & H.A. Houghton (eds.), The Psychology of Illustration: I. Basic Research. New York: Springer, 51-85. |
| Mantei, Erwin J. (2000). Using internet class notes and powerpoint in the Physical Geology lecture. Journal of College Science Teaching, 29, 301-305. |
| |
| |
| Mayer, Richard E. & Roxana Moreno (2003). Nine Ways to Reduce Cognitive Load in Multimedia Learning. Educational Psychologist, 38, 43-52. |
| Mayer, Richard E., Julie Heiser & Steve Lonn (2001). Cognitive Constraints on Multimedia Learning: When Presenting More Material Results in Less Understanding. Journal of Educational Psychology, 93, 187-198. |
| Mayer, R.E., and Gallini, J.K. (1990). When is an illustration worth ten thousand words? Journal of Educational Psychology, 82, 715-726. |
| Microsoft (2005). Go beyond bullets - and increase the impact of your Powerpoint presentations! (Boekrecensie). http://www.microsoft.com/MSPress/books/7125.asp |
| Moreno, Roxana & Mayer, Richard E. (2002). Verbal redundancy in multimedia learning: When reading helps listening. Journal of Educational Psychology, 94, 156-163. |
| Oppenheim, Lynn (1981). A Study of the Effects of the Use of Overhead Transparencies on Business Meetings. Wharton Applied Research Center, Wharton School, University of Pennsylvania [zie Befus 2005]. |
| Pol, L.R., C.E. Swankhuisen & B.M. Fennis (2002). Communicatie en gedragsbeïnvloeding. Alphen aan den Rijn: Kluwer. |
| Schriver, K.(1997). Dynamics in Document Design. Creating text for readers. New York etc.: John Wiley & Sons, Inc. |
| Simons (2000). Multimedia or Bust? Presentations, 14, 40-50. [gedeeltelijke reprint in: www.presentations.com/presentations/search/search_display.jsp?vnu_content_id=1125437] |
| Slykhuis, David A., Eric N. Wiebe & Leonard A. Annetta (2004). Eye tracking students' use of science related powerpoint presentations. Paper presented at the National Association for Research in Science Teaching (NARST) april 1-3, 2005. [www4.ncsu.edu/~wiebe/www/articles/gsk-2005a.pdf]. |
| Tufte, E.R. (2003a). The Cognitive Style of Powerpoint. Cheshire, CT: Graphics Press. |
| Tufte, Edward (2003b). Powerpoint is Evil. Website Wired magazine. (September 2003). http://www.wired.com/wired/archive/11.09/ppt2.html |
| Vogel, Douglas R. (1986). An experimental investigation of the persuasive impact of computer generated presentation graphics. Ph.D., University of Minnesota, University Microfilms International nr.AAT 8625921 |
| Vogel, D.R., O.W. Dickson & J.A. Lehman (1986). Persuasion and the Role of Visual Presentation Support: The UM/3M Study. Working Paper Series, June 1986 [www.thinktwicelegal.com/olio/articles/persuasion_article.pdf] |
| Voswinckel, Till (2005). Presentational visualisation. Towards an imagery-based approach of computer-generated presentation visuals. MSc-thesis Furtwangen University. http://webuser.fh-furtwangen.de/~voswin/thesis.pdf |
| Yates, J.& W. Orlikowski (t.p.). The Powerpoint Presentation and its Corollaries: How Genres Shape Communicative Action in Organizations. In Mark Zachry and Charlotte Thralls (eds.) The Cultural Turn: Communicative Practices in Workplaces and the Professions. Amityville, NY: Baywood Publishing, forthcoming. [http://seeit.mit.edu/Publications/YatesOrlikowski-PP.pdf] |
|
|
Auteursrechtelijk beschermd