Methodologie

[p. 171]

6. Objectiviteit

6;1 Het objectiviteits-beginsel

6;1;1 Wat is ‘objectief’?

In het voorgaande is de term ‘objectief’ al herhaaldelijk gebruikt, meestal in de zin van een eis, die werd gesteld aan een handeling of aan een produkt van een handeling in het wetenschappelijk proces. Aan de orde is nu een nadere bespreking van het begrip, van de objectiviteits-eis en van de methoden die gebruikt worden om objectiviteit te garanderen of te bevorderen.

De term is afgeleid van ‘object’ in onderscheiding tot ‘subject’: het object is datgene waarop het subject - het organisme, de mens, i.c. de wetenschappelijke onderzoeker - zich richt; wat hem voor de geest staat, wat hij beschouwt, waarneemt, beschrijft, wil bestuderen, op het oog heeft, c.q. wil bereiken. Bij de laatste varianten komen wij dicht in de buurt van ‘doel’, een betekenis-aspect dat in het Nederlands weliswaar minder uitdrukkelijk naar voren komt dan bijvoorbeeld in het Engels (vgl. b.v. drever 1956, onder ‘object’ en ‘objective’), maar toch ook in onze taal vaak duidelijk meespreekt.

In het wetenschappelijk taalgebruik heeft ‘object’ nogal eens de betekenis van ‘voorwerp van studie’; men spreekt dan bijvoorbeeld van het object van een wetenschap of wetenschapstak (b.v. brugmans 1954, de groot 1950b). Ook daarbij klinkt het doel-aspect duidelijk mee: wij willen immers het voorwerp van studie leren kennen, (de kennis ervan) bereiken. De term kan naar twee kanten worden uitgelegd, namelijk in de richting van de te bestuderen feiten of van de te bereiken inzichten of ideeën (vgl. 2;2;1). Het ‘object’ kan voorwerp zijn: het basismateriaal van een wetenschap, of doel: de wetten, de theorieën, het inzicht waarnaar wij streven (vgl. de groot 1952b; snijders 1951, 1952).

[p. 172]

Deze verschillende betekenis-momenten van ‘object’ spelen alle ook een rol in de begrippen ‘objectief’ (als bijvoeglijk naamwoord) en ‘objectiviteit’. Men kan een handelwijze of het resultaat van een handelwijze ‘objectief’ noemen, wanneer daarbij, in overeenstemming met het gestelde studie-doel, het voorwerp van studie recht wordt gedaan - in tegenstelling tot wat er door de waarnemer, beoordelaar, interpretator, theoreticus ‘subjectief’ is ingelegd. Vooral dit laatste, negatieve moment: afwezigheid van subjectiviteit als storende factor,¹ is kenmerkend voor het begrip, zoals het gewoonlijk wordt gehanteerd. De algemene objectiviteitseis houdt dan in, dat de onderzoeker zo ‘objectief’ moet handelen als in zijn vermogen ligt, d.w.z. zonder dat persoonlijke opinies, preferenties, waarnemingswijzen, opvattingen, belangen, sentimenten daarbij interfereren of zelfs kunnen interfereren.

1 Men lette wel: er wordt géén afwezigheid van subjectiviteit zonder meer geëist. Dat zou betekenen dat de objectiviteitseis inhield, dat geen subjectieve verschijnselen kunnen worden bestudeerd, zoals hallucinaties, opinies, beoordelingsprocessen, gevoelens. De term ‘objectief’ wordt soms wel in deze radicale betekenis gebruikt - b.v. als wordt gesproken van een ‘objectieve psychologie’, die niet van de inhouden van verbaal gedrag wil gebruikmaken, of als ‘objectieve tests’ worden gesteld tegenover b.v. vragenlijsten, die (subjectieve) opinies, gevoelens, preferenties registreren. Van deze betekenis willen wij ons hier echter uitdrukkelijk distantiëren: alleen storende subjectiviteit, d.i. subjectiviteit die het, zelf eventueel ‘subjectieve’, studie-object contamineert, wordt hier uitgesloten.

6;1;2 Objectiviteit fundamenteel.

Het behoeft geen nader betoog, dat wij hier met de grondhouding van de wetenschapsbeoefenaar te doen hebben (vgl. 1;3). Onbevooroordeeld, objectief onderzoek, alleen erop gericht het studie-object te doen spreken en te leren kennen, óók als de onderzoeker wel degelijk emotioneel betrokken is bij de uitkomsten, is het wetenschappelijk ideaal. Dit ideaal is lang niet altijd gemakkelijk te vervullen of zelfs dicht te benaderen. Wetenschap wordt vaak niet minder gepassioneerd beoefend dan kunst of sport of politiek; ook hier zijn vaak sterke belangen - financiële steun, prestigeen reputatie-kwesties, competitie, soms persoonlijke veten - in het spel, waarvan het niet gemakkelijk is te abstraheren. In de sociale wetenschappen komt daar nog bij, dat het voorwerp van studie zelf dikwijls al een veld vol van irrationele sentimenten is. De studie van menselijke relaties, de politiek, de opvoeding, en zelfs een schijnbaar zuiver weten-

[p. 173]

schappelijk onderwerp als dat van de erfelijkheid van de intelligentie (vgl. pastore 1949), is extra moeilijk objectief te bedrijven, doordat de publieke meningsvorming en met name de meningen en het beleid van machtige instanties, waarvan de onderzoeker soms afhankelijk is, sterk door belangen-kwesties worden beïnvloed. Wie op deze gebieden gaat werken, moet geprepareerd zijn op een voortdurende strijd tegen ongewenste contaminaties door subjectieve factoren.¹

Subjectiviteit kan in allerlei vormen en op allerlei plaatsen in het wetenschappelijke proces haar storende invloed doen gelden. Wij hebben reeds aan het voorbeeld van Barendregt's onderzoek gezien hoe de kritiek - trouwens ook zijn eigen kritiek (barendregt 1954) - zich concentreerde op de niet geheel objectief getrokken astma-steekproef en op de niet geheel objectieve methode van scoring (5;3;2). In het algemeen is kritiek juist ten aanzien van tekorten in de objectiviteit bijzonder frequent in de wetenschappelijke discussie. Men vergelijke bijvoorbeeld de kritiek op het Kinsey-rapport, met name op zijn methode van steekproef trekken (hyman en sheatsley 1954b; de koningh 1960), of de vele kritische beschouwingen over de instrumentele realisering van het begrip ‘autoritaire persoonlijkheid’ (adorno e.a. 1950; zie b.v. hyman en sheatsley 1954a).

Dat er alle aanleiding is om wantrouwend te staan tegenover niet-objectieve werkwijzen bij een toetsingsonderzoek, d.i. tegenover menselijke waarnemingen en beoordelingen, is door talrijke onderzoekingen aangetoond. De mens blijkt een onbetrouwbaar ‘instrument’ te zijn, vooral wanneer er emotionele factoren in het geding komen: belangen, sentimenten, overtuigingen, emotionele toestanden. Experimenten over de onbetrouwbaarheid van te goeder trouw gegeven getuigenverklaringen en over de mogelijkheid van beïnvloeding door suggestie behoren, zoals bekend, tot de oudste in de psychologie. Uit meer moderne experimenten

1 Wij zien hier af van kwade trouw bij de onderzoeker, d.i. van opzettelijk-subjectieve verdraaiing van feiten en redeneringen. In de praktijk is dit helaas niet altijd mogelijk. Naast ‘politieke’ evaluaties van onderzoek-resultaten, soms ook door de onderzoekers zelf, komen er, zoals bekend, ook in de wetenschap van tijd tot tijd aperte vervalsingen, soms zelfs grootscheepse vervalsingen voor. In feite kan men alle variaties tussen en combinaties van opzettelijke verdraaiing (c.q. vervalsing) en onopzettelijke subjectiviteit tegenkomen. Voor een leerzaam overzicht van excessen op dit gebied, van ‘fads and fallacies in the name of science’, die zich soms een tijdlang in een groot succes en een talrijke aanhang verheugen, verwijzen wij naar het gelijknamige boek (gardner 1957).

[p. 174]

(asch 1952), blijkt, dat zelfs een zo eenvoudige beoordelingsopgave als de schatting van de relatieve lengte van twee lijnen gemakkelijk scheef te trekken is door de suggestie die uitgaat van het (verkeerde) oordeel van anderen. Weinig bevindingen in de psychologie zijn zo overvloedig gedocumenteerd als die betreffende de subjectiviteit van waarneming en oordeel (vgl. o.a. solley en murphy 1960; festinger 1957; zie ook van de geer 1955, III, 2).

Dikwijls ontgaan de factoren, die de beoordeling beïnvloeden, aan de waarnemer zelf. Zo blijken bijvoorbeeld telkens weer bij de beoordeling van foto's van personen - op intelligentie, betrouwbaarheid, enz. - bepaalde accessoires, zoals kleding en haardracht het oordeel in belangrijke mate te beïnvloeden zonder dat de beoordelaar zich ervan bewust is dat hij mede daarop en niet alleen op de gelaatsuitdrukking let (vgl. b.v. thornton 1943, 1944 over de invloed van het dragen van een bril op het oordeel). Met andere woorden, de waarnemer of beoordelaar kan worden beïnvloed door gegevens, waarvan hij niet weet dat hij ze onwillekeurig in rekening brengt, of waarvan hij zelfs niet weet dat hij ze waarneemt of zelfs kan waarnemen. Moderne onderzoekingen over ‘perception without awareness’ (‘subception’) en ‘learning without awareness’ zijn erop gericht, dit laatste verschijnsel experimenteel aan te tonen en de grenzen ervan te verkennen (vgl. mcconnell, cutler en mcneil 1958). Het feit, dat deze mogelijkheid bestaat, maakt het ook onverantwoord af te gaan op de verzekering van een beoordelaar, dat hij alléén op de aangegeven (experimentele) factor heeft gelet - bijvoorbeeld alléén op het handschrift en niet op de inhoud (vgl. de groot 1947a, p. 384).

Men zou kunnen menen, dat de mate van (subjectieve) zekerheid, waarmee een waarneming wordt gerapporteerd of een beoordeling of interpretatie wordt gegeven, tenminste positief gecorreleerd zou zijn met de objectieve juistheid van die waarneming, beoordeling of interpretatie. Telkens wordt echter uit experimentele onderzoekingen gerapporteerd, dat zekerheid en juistheid van oordeel niet gecorreleerd bleken te zijn (b.v. barendregt 1961, hfdst. 5). Dat betekent waarschijnlijk niet, dat er in het geheel geen positief verband bestaat, maar het betekent wel, dat wij niet op een positief verband kunnen rekenen in het gebied van betrekkelijke grensgevallen of ‘moeilijke gevallen’, waarbinnen wij in een toetsingsonderzoek - en trouwens ook in de praktijk - juist in eerste instantie

[p. 175]

geneigd zijn een beoordelaar te raadplegen.¹ Het helpt dus niet veel, wanneer wij de zekerheid waarmee het oordeel wordt gegeven, in aanmerking nemen. Klaarblijkelijk heeft de menselijke beoordelaar inclusief de ‘expert’ (de grafoloog, de klinische psycholoog, en waarschijnlijk evenzo de medicus, de rechter, de advocaat) onder bepaalde condities de neiging om, wanneer hij een aantal dubieuze indicaties tot een begrijpelijk patroon kan combineren, teveel in dit patroon te gaan geloven - een psychologisch proces, waarover wel eens gerapporteerd is (b.v. de groot 1947a, p. 395 e.v.), maar dat nog weinig als zodanig is onderzocht.

Dikwijls is niet met zekerheid uit te maken waar precies de schoen wringt, maar geven alleen de resultaten te denken. Zo geeft de klaarblijkelijke onzekerheid van psychiatrische en van klinisch-psychologische diagnosen te denken (vgl. b.v. ash 1949; foulds 1955; wallinga 1956); vooral als men de uitkomsten van onderzoekingen contrasteert met de zekerheid waarmee zulke uitspraken vaak worden gegeven en het vertrouwen waarmee zij vaak worden aanvaard. Zo geeft het te denken, wanneer blijkt, dat er een verband bestaat tussen bepaalde persoonlijke eigenschappen van de proefleider (beoordelaar) en testscores behaald door proefpersonen (zie b.v. voor Rorschach-scores sanders en cleveland 1953); of wanneer meningen èn bevindingen betreffende verschillen in intelligentie tussen rassen of sociale klassen, geconstateerd in schijnbaar geheel objectieve experimenten, sterk blijken te variëren in de tijd en deels met de politieke richting van de onderzoeker (vgl. pastore 1949; voor een discussie van de (objectiviteits-) problemen bij onderzoekingen op dit gebied, zie anastasi 1958).

De strekking van al deze bevindingen is helaas nog niet voldoende doorgedrongen. Subjectieve evidentie, begrijpelijkheid van een samenhang, het gevoel van zekerheid bij het opstellen of aanvaarden van een interpretatie wordt nog te vaak als voldoende grond voor de juistheid ervan beschouwd - in de klinische psychologie, de psychiatrie, de

1 Aan de orde is hier het effect van ‘restriction of range’ (zie b.v. van der giessen 1957, p. 135 e.v.). Beschouwen wij, voor een bepaalde beoordelings-taak, ‘alle’ mogelijke gevallen, inclusief de op grond van de gegevens bijna (objectief) zekere, dan zal er waarschijnlijk een duidelijk verband tussen zekerheid en juistheid worden gevonden. Binnen het beperkte variatie-gebied van de onzekere of onduidelijke gevallen blijkt echter weinig of niets meer van een correlatie, ook dikwijls niet als de beoordelaar een expert op het betreffende gebied is.

[p. 176]

sociologie. Dit geldt zeker in de toepassingssector, in de diagnostiek van ‘gevallen’.

Een speciale moeilijkheid is, dat de buitenstaander, hetzij als publiek (patiënt, proefpersoon, adviesvrager) hetzij als opdrachtgever vaak niet voldoende op de hoogte is van de gevaren van de subjectiviteit.¹ Wat betreft de opdrachtgever, kan dit ertoe leiden, dat hij niet begrijpt, waarom een zo grote omhaal van methoden en technieken - die de objectiviteit moeten garanderen - nodig is; hij verwacht te snel, te goedkoop, te veel en/of te zekere resultaten van een onderzoek.

Na al het bovenstaande zal het wel duidelijk zijn, dat het geen l'art pour l'art-perfectionisme is, dat de onderzoeker drijft tot het betrachten van de uiterste objectiviteit in zijn procedures. Het is een harde noodzakelijkheid; de objectiviteits-eis is fundamenteel.

1 In landen als de U.S.A., waar men een jury-rechtspraak heeft, is een specifiek en ernstig probleem, hoe men de leden van de jury moet duidelijk maken hoe dubieus bijvoorbeeld een met zekerheid uitgesproken herkenning bij een confrontatie als bewijsgrond is (levine 1960). De jurist zelf heeft hier tenminste zijn ervaring; en hij heeft het voordeel - in tegenstelling tot de medicus - dat gebleken fouten in de beoordeling (c.q. veroordeling) publiekelijk plegen te worden besproken, ja breed worden uitgesponnen. De jury bestaat echter uit leken. In de tegenwoordige situatie is de hoop erop gevestigd, dat zij niet alle twaalf even naïef zullen zijn: het risico wordt althans verdeeld.

6;1;3 Objectiviteit bij de toetsingsopzet.

Men kan in principe wel aan ieder werkwoord, dat aangeeft wat de onderzoeker doet of moet doen, het bijwoord ‘objectief’ toevoegen. Maar dit bijwoord heeft dan niet altijd precies dezelfde betekenis.

De praktische betekenis van de objectiviteits-eis varieert vrij systematisch met de fase van de cyclus (1;4), waarin een bepaalde activiteit haar plaats heeft. De eerste fase wordt gekenmerkt door de ‘vrijheid van ontwerp’ (2;1;2); het ligt dus voor de hand, dat hiervoor geen strikte objectiviteits-eisen kunnen worden gesteld. Men kan alleen stellen, dat de kansen op een goede, bruikbare hypothesevorming in belangrijke mate worden verhoogd, als de onderzoeker onbevooroordeeld (objectief) kan observeren, als hij objectief kan beschrijven en ordenen wat hij heeft waargenomen en als hij bij zijn interpretaties objectief genoeg is om zijn ‘voorwerp van studie recht te doen’. Dit alles is echter heel betrekkelijk: een zekere mate van subjectiviteit is in de ‘creatieve’ eerste fase onver-

[p. 177]

mijdelijk en zelfs noodzakelijk. Wat de onderzoeker doet en hoe hij het doet, blijft hier trouwens in principe nog binnenskamers; men kan dus hoogstens een aanbeveling lanceren: ‘probeer (betrekkelijk) objectief te blijven bij de hypothesevorming’.

De vijfde fase lijkt het meeste op de eerste. Weliswaar blijven de uitkomsten van de evaluatie niet binnenskamers, maar we hebben hier toch ook voor een belangrijk deel te doen met processen van waarneming (van de uitkomsten), beoordeling (van de confirmatie-waarde) en interpretatie (veelal uitlopend op een nieuwe, gemodificeerde hypothesevorming), die niet aan strikte eisen of criteria van objectiviteit te binden zijn. Natuurlijk moet de rapportering objectief zijn, d.w.z. waarheidsgetrouw en niet tendentieus-onvolledig - maar de vraag of zij dit is, is zelf een, noodzakelijkerwijze min of meer subjectieve, beoordelingskwestie.¹ Men kan daarvoor als richtlijn opstellen, dat de lezer alle relevante gegevens over de toetsingsopzet (vgl. 5;1), de bewerking en de uitkomsten in handen moet krijgen, zó, dat hij desgewenst het onderzoek kan repliceren.² Verder kan men aanbevelingen over de vormgeving verstrekken (b.v. technical recommendations 1954); maar strenge objectiviteitscriteria zijn daarmee nog niet verkregen. Wat de evaluatie in engere zin betreft, hiervoor kan men hoogstens tot objectiviteit aansporen, en misschien aanbevelingen geven voor een verantwoorde wijze van interpreteren (vgl. 9;2). Overigens is, bij een goede, voldoende objectieve rapportering - die niet zelf alvast door de evaluatie is beinvloed - een daarop volgende tendentieuze evaluatie geen ramp, aangezien deze, na publikatie, voor kritiek toegankelijk is.

De objectiviteits-eisen voor de tweede fase zijn reeds uitvoerig behandeld in de hoofdstukken 3 en 4, onder de naam van logische en formuleringseisen. De tegenstelling ‘objectief’-‘subjectief’ heeft, wanneer we met

1 Anders uitgedrukt: dit is een terrein, dat meer wordt beheerst door bestaande tradities en ‘ongeschreven spelregels’, die verschillend kunnen worden toegepast (vgl. 1;3;4), dan door scherpe, expliciete voorschriften. Nogal eens voorkomende overtredingen van de (ongeschreven) regels van de objectiviteit zijn: het niet rapporteren van negatief uitgevallen onderzoekingen, en: een exploratief onderzoek in de rapportering beschrijven als een toetsingsonderzoek (vgl. 9;1).

2 Om praktische redenen (plaatsruimte in tijdschriften, leesbaarheid van het verslag, en dgl.) wordt deze richtlijn niet altijd gehandhaafd. Daarvoor in de plaats komt dan, dat het verslag beknopt mag zijn, maar dat nadere, meer volledige gegevens (inclusief het originele materiaal) gedurende zekere tijd beschikbaar moeten blijven voor inzage en studie van anderen, die dat wensen.

[p. 178]

verbale formulerings- en met logische eisen te maken hebben, zoals die belichaamd worden in het toetsbaarheidsprincipe (4;3;1) en in de expliciteringsplicht (4;3;4), veeleer de vorm van ‘juist’ tegenover ‘onjuist’, of ‘logisch houdbaar’ (of acceptabel) tegenover ‘niet houdbaar’ (resp. niet acceptabel). In ieder geval kunnen wij de tweede fase nu laten rusten.

Wat het zuiver deductieve deel van de derde fase betreft - de stappen van het type ad en bd (3;2;1) - hebben wij eveneens met logische eisen, en met juist of onjuist te maken. Maar voor het overige vormen de derde en de vierde fase, de fasen van opzet van het onderzoek en toetsing, het terrein bij uitstek voor objectiviteits-problemen. Het begrip ‘objectiviteit’ kan hier dikwijls scherp worden gehanteerd, in een absolute betekenis. Men kan er (objectieve!) criteria voor opstellen; men kan ‘objectieve technieken’ ontwikkelen. Met name kan men dit doen voor: (1) het empirisch specificeren van begrippen, (2) het selecteren van toetsingsmateriaal, c.q. het samenstellen van proefgroepen (trekken van steekproeven), (3) de processen van observatie en registratie, en van bewerking van waarnemingsuitkomsten, (4) de regeling van de onderzoek- (c.q. experimentele) condities, voorzover deze nog niet onder (1), (2) en (3) begrepen waren.

Dit lijken vier onderwerpen, maar wij kunnen ze tot twee reduceren. In de eerste plaats kunnen wij categorie (4) missen, als wij de andere categorieën ruim genoeg opvatten. Iedere vastlegging van een experimentele conditie resulteert of in een empirisch specificatie-besluit (1), of in een nadere bepaling (selectie) van het toetsingsmateriaal (2) of beide. In de tweede plaats geldt in een toetsingsonderzoek - en daarover spreken wij steeds (vgl. echter 9;1) - voor (3), d.i. voor het observeren, registreren en bewerken, dat men dit uitsluitend doet met het oogmerk om een in termen van begrippen gestelde hypothese te toetsen. Iedere waarneming, die voor de toetsing relevant is en gebruikt wordt, is, of draagt bij tot, de bepaling van de ‘waarde’ - kwantitatief of kwalitatief (vgl. 7;2;2) - van een variabele, die op zijn beurt een begrip representeert. Anders uitgedrukt: het heeft in een toetsings-onderzoek geen zin iets te registreren of te bepalen (c.q. te meten) als men niet weet wat men bepaalt, en waartoe men het bepaalt.¹ In veel gevallen vereist trouwens de nadere vastlegging

1 ‘How odd it is that anyone should not see that all observation must be for or against some view, if it is to be of any service’, aldus Charles Darwin (geciteerd naar cohen en nagel 1934, p. 197). Een ‘view’, een opvatting, wordt beschreven in begrippen; observatie moet dus (in een toetsingsonderzoek) in verband staan met een begrip.

[p. 179]

van wat bijvoorbeeld objectief waarnemen (van een ‘voorwerp’) is, een vooraf gesteld ‘doel’ (vgl. 6;1;1); en dit doel wordt gerepresenteerd door het begrip zoals bedoeld en gelezen in de hypothese.

We kunnen dus met (1) en (2) volstaan. In het volgende zullen objectiviteits-problemen en objectieve methoden worden besproken zoals die optreden, respectievelijk kunnen worden toegepast bij deze beide activiteiten. Het empirisch specificeren, c.q. instrumenteel realiseren van begrippen (1), zoals die in te toetsen hypothesen (kunnen) voorkomen, wordt besproken van het begrip uit in 6;2, en van de waarneming uit in hoofdstuk 7. Het bepalen (selecteren) van het steekproef-materiaal waaraan een toetsing zal worden verricht wordt behandeld in 6;3.