Tijdschrift voor Taalbeheersing. Jaargang 12
(1990)– [tijdschrift] Tijdschrift voor Taalbeheersing–
Auteursrechtelijk beschermd
[pagina 59]
| |||||||||||||||||||||||
Met 99.99 procent zekerheid een beetje zwanger
| |||||||||||||||||||||||
1 Een beetje alles of niets graagVan Eemeren c.s. noemen het herkennen van argumentatie een alles-of-niets zaak. Deze receptieve vaardigheid ontwikkelt zich sprongsgewijs: je snapt waar het om gaat of je snapt het niet. Er vindt op een bepaald moment een kwalitatieve verandering in het mentale informatieverwerkingssysteem plaats. Deze stadia-opvatting wordt met een verwijzing naar het werk van Jean Piaget onderbouwd. Daarnaast beweert men echter ook dat een sterk uitgevallen kwantitatief verschil als kwalitatief verschil geduid kan worden: ‘vergeleken met de forse vooruitgang in “Verbaal Begrip”, kan de nog veel forsere vooruitgang in het herkennen van argumentatie als een alles-of-niets zaak worden beschouwd’. Een alles-of-niets zaak moet uitdrukkelijk in relatieve zin worden opgevat. Ik kan hieruit alleen maar opmaken dat Van Eemeren c.s. graag een beetje zwanger willen zijn. Het theoretisch niveau van dit standpunt behoeft mijns inziens geen verdere bespreking.
Mijn heranalyse levert op twee manieren evidentie voor een geleidelijke ontwikkeling. Alle gram van Van Eemeren c.s. richt zich op het eerste argument, over het tweede wordt gezwegen. Ik neem aan dat dit betekent dat dit tweede argument volgens hen deugt (in ieder geval technisch).
De kern van de kritiek op mijn eerste argument is dat ik proefpersonen als gokker beschouw wanneer hun score in het 95%-betrouwbaarheidsinterval rond de gokkans van 1/2 valt, met andere woorden dat ik uitga van α=.05. Op zich is daar echter niets op tegen, want het significantie-niveau is een keuze van de onderzoeker. ‘Deze keuze wordt zo verstandig mogelijk, maar overigens willekeurig, vooraf getroffen’ (De Groot, 1961:97). Bij de keuze spelen allerlei overwegingen een rol: het theoretisch niveau van de onderzoeksvraag, de grootte van de steekproef, de ernst van een fout ‘van de tweede orde’, | |||||||||||||||||||||||
[pagina 60]
| |||||||||||||||||||||||
etcetera. Voor het onderhavige onderzoek zijn er dan geen redenen om een meer stringente norm aan te houden dan de conventionele 5 procent (cf. De Groot, 1961:157). In feite kan men het nog scherper stellen: ‘For most purposes nothing poorer than this five per cent level of significance is good enough’ (Huff, 1973:42). Wie een strengere norm wil aanhouden, moet daar goede redenen voor aangeven, en daartoe doen Van Eemeren c.s. geen enkele poging. Zij weten allerlei propedeuse-stof nog eens aardig onder woorden te brengen, maar komen niet tot een keuze. Als we de door hen uitgewerkte alternatieve keuzes nalopen, zien we dat alleen bij een interval met een betrouwbaarheid van 99,99 procent er geen proefpersonen zijn met een partieel begrip. Het behoeft geen betoog dat een zekerheid van 1 op de 10000 in een steekproef van maximaal 82 personen absurd is. Uiteindelijk komt de discussie erop neer dat we het alleen maar oneens kunnen zijn over het precieze percentage proefpersonen met een partieel begrip. Het principiële punt, namelijk dat dit type proefpersoon bestaat, wordt niet aangetast.
Wie het met deze conclusie niet eens is, moet dan maar mijn tweede argument ter harte nemen. Ongeacht waar nu precies de scoregrenzen van de gokker komen te liggen, zelfs als we alle proefpersonen als gokker beschouwen (het 100%-betrouwbaarheidsinterval), in alle gevallen is het percentage ‘goede’ gokkers in de derde klas veel hoger dan in de tweede klas. Dit fenomeen behoeft een verklaring. Mij lijkt het meest plausibel dat een aantal proefpersonen gewoonweg een partieel begrip van de zaak heeft. Omdat Van Eemeren c.s. tegen dit tweede argument niets hebben weten in te brengen, neem ik aan dat wij ten aanzien van de geleidelijke ontwikkeling van de argumenteervaardigheid eigenlijk niet meer van mening kunnen verschillen. | |||||||||||||||||||||||
2 Samen op eigen benen staanVan Eemeren c.s. noemen het herkennen van argumentatie een eigenstandig vermogen. Zij baseren zich daarbij op de lage correlaties van hun argumentatie-toets met een drietal subtests uit de Groninger Intelligentie-Test. De correlaties zijn evenwel alle significant en, strikt genomen, dus reeds een weerlegging van de onafhankelijkheids-hypothese. Dat wil nog niet zeggen dat er sprake is van 100 procent afhankelijkheid; ik heb dat dan ook nergens beweerd. De vraag is juist hoe sterk het verband dan wel kan zijn. Om hier een schatting van te krijgen berekende ik multiple correlaties, een techniek die algemeen bekend staat als ‘optimistisch’ omdat er nogal op toeval gekapitaliseerd kan worden. In het onderhavige geval is deze vertekening echter verwaarloosbaar, want bij correctie met de zogenaamde shrinkage formule dalen de coëfficiënten slechts .02 in waarde. Het resultaat van deze berekeningen is dat de drie subtests tezamen hooguit 18 procent van de variantie ‘verklaren’, met andere woorden erg sterk is het verband in ieder geval niet.
Maar nog niet getreurd. Er zijn minstens vier (!) factoren die de geobserveerde correlaties systematisch drukken: onbetrouwbaarheid van de metingen, ongelijkvormige verdelingen, plafond-effecten en ongelijke errorcomponenten. Alleen voor de eerste factor, meet- betrouwbaarheid, kan het effect geschat worden middels de zogenaamde correctie voor attenuatie. De verklaarde variantie komt dan uit op 30 procent. Dat deze stijging van 12 procent mogelijk een overschatting is, is nog geen ramp als men bedenkt dat er nog steeds drie andere dempende factoren zijn. Ware het mogelijk om voor al deze storende factoren te controleren dan zou het percentage verklaarde variantie zeer waarschijnlijk de 30 procent verre overtreffen. | |||||||||||||||||||||||
[pagina 61]
| |||||||||||||||||||||||
Wat is nu het resultaat van al deze schattingsprocedures? Er is een zeker verband dat zo sterk is dat het niet genegeerd kan worden, maar tegelijkertijd ook weer zo zwak dat er geen theoretische consequenties uit volgen wat betreft causaliteit of modulariteit. Een niet opzienbarend resultaat dus, maar conclusies zijn nu eenmaal net zo sterk als dat het onderzoek zwak is.Ga naar eindnoot1
Tegen bovenstaande conclusie voeren Van Eemeren c.s. een argument aan dat op het eerste gezicht hout snijdt. De correlaties zijn berekend over een steekproef die heterogeen is naar leeftijd. Doordat al de betrokken vaardigheden met leeftijd toenemen, correleren zij slechts schijnbaar met elkaar. Zouden we leeftijd constant houden, dan worden deze verbanden niet teruggevonden.Ga naar eindnoot2 Van Eemeren c.s. presenteren vervolgens nieuwe data waaruit dat zou moeten blijken. Zij gaan daarbij uit van de partiële correlatie, een statistische techniek waar overigens ook wel wat tegen in te brengen valt: ‘The extent of a competent researcher's enthusiasm for partialling can vary from outright hostility to almost Messianic fervor’ (Cooley & Lohnes, 1971:213). Beperken we ons echter tot de resultaten dan moeten we eens te meer concluderen dat heranalyse tot een tegengestelde conclusie leidt. Van Eemeren c.s. hebben namelijk een redenering gevolgd die niet tot een toets van de ‘theorie’ leidt.
In Tabel 1 wordt hun werkwijze schematisch weergegeven, tezamen met het alternatief dat wel kritisch is. De ‘theorie’ is in beide benaderingen uiteraard dezelfde. Het model is in de grond ook voor beiden gelijk; alleen de notatie is wat anders. Bij de hypothese splitsen de wegen zich pas echt. Waar Van Eemeren c.s. uitgaan van de sterkte van het verband, richt de alternatieve benadering zich op de schijn van het verband. De predicties van beide benaderingen worden bijgevolg volkomen anders: men kijkt niet naar dezelfde relaties en men verwacht een anderssoortig resultaat.
Om beide benaderingen op hun merites te kunnen beoordelen is in Tabel 1 een toetsing toegevoegd waarbij van data wordt uitgegaan die voor een deel gereconstrueerd zijn uit andere, wel gepubliceerde gegevens. Aan de redenering doet deze ‘simulatie’ echter geen afbreuk.
Bij de toetsing volgens Van Eemeren c.s. daalt de correlatie tussen kalenderleeftijd en argumenteervaardigheid na uitpartialisering van de intelligentie-subtests van .35 naar .31.
Uit dit resultaat kan men concluderen dat de predictie van argumenteervaardigheid 27 procent ‘beter’ wordt door met intelligentieverschillen rekening te houden. Of hiermee de hypothese moet worden verworpen, is onbekend; statistische evaluatie geschiedde slechts ‘met het blote oog’. Wat Van Eemeren c.s. met hun ‘predictieve surplus’-aanpak aantonen is dat argumenteervaardigheid niet volledig bepaald wordt door de drie nu gemeten intelligentiefactoren, maar slechts voor een deel. Dat is echter niet de hypothese die ter toetsing staat. Om te bepalen of argumenteervaardigheid onafhankelijk is van intelligentie moet een andere route worden gevolgd. Als er van een schijnverband sprake is, dan is de correlatie tussen intelligentie en argumenteervaardigheid gelijk aan nul na uitpartialisering van kalenderleeftijd. Dit is echter niet het geval. De correlatie daalt slechts van .30 naar .25, een waarde die nog steeds hoog-significant afwijkt van .00 (p<.005). | |||||||||||||||||||||||
[pagina 62]
| |||||||||||||||||||||||
 Tabel 1: Twee benaderingen die pretenderen met partiële correlatie iets te zeggen over afhankelijkheidsrelaties tussen vaardigheden
Kortom, de conclusie via de weg van partiële correlatie is gelijk aan die via de multiple correlatie: er is een verband dat te sterk is om te kunnen negeren, maar te zwak om er theoretische consequenties aan te verbinden. Ik hoop hiermee nu wel afdoende te hebben aangetoond dat in de thans voor handen zijnde data de door Van Eemeren c.s. gekoesterde onafhankelijkheid niet kan worden teruggevonden. | |||||||||||||||||||||||
[pagina 63]
| |||||||||||||||||||||||
3 BesluitVan Eemeren c.s. gedragen zich als de huisarts die bij ieder consult alleen maar weet uit te brengen dat alle medicijnen eigenlijk vergiften zijn, en dat hij dus geen recepten uit kan schrijven. Het uitgangspunt van deze dokter is juist, de conclusie echter niet. Of een stof heilzaam of verderfelijk is, hangt af van de wijze van gebruik. En zo is het ook met de statistiek. ‘The fact is that, despite its mathematical base, statistics is as much an art as it is a science’ (Huff, 1973:109). Een ervaren onderzoeker maakt zowel verantwoord als inventief gebruik van data-analyse technieken. En ten aanzien van deze inventiviteit bij data-exploratie bespeur ik bij mijn opponenten niet alleen onbegrip maar zelfs vijandigheid.
Wanneer er ten aanzien van onderzoeksstijl al zulke verschillen bestaan, dan kan men over het resultaat van een meer inhoudelijke discussie weinig illusies koesteren. In ieder geval zou mijn uiteenzetting meer ruimte vragen dan dat mij in kader van deze repliek geboden wordt. Het is trouwens de vraag of ik nog wel trek heb in zo'n voortzetting van het academisch debat, gezien de toon waarmee niet alleen op mij maar ook op andere critici wordt gereageerd (bijvoorbeeld Hofmans-Okkes, 1987; Schellens & Verhoeven, 1981; Springorum & Welmers, 1989). Daar komt nog bij dat ik persoonlijk geen belang heb bij een verdere discussie. Met mijn reactie op het onderzoek van Van Eemeren c.s. en de daaraan voorafgaande bespreking van het proefschrift van Henk Blok (Van Wijk, 1989b) wilde ik methodologische en theoretische bedenkingen onder de aandacht brengen ten aanzien van een, mijns inziens, te dominante stroming in het Nederlandse taalbeheersingsonderzoek. Naar mijn eigen idee ben ik daarin voldoende geslaagd, mede door de extrakans die Van Eemeren, Grootendorst en Meuffels mij hier geboden hebben. Ik ben hen daarvoor erkentelijk. | |||||||||||||||||||||||
Bibliografie
| |||||||||||||||||||||||
[pagina 64]
| |||||||||||||||||||||||
|
|