Methodologie

6;2 Van begrip naar objectieve variabele

6;2;1 Instrumentele realisering; definities.

De betekenis van empirische specificaties en de toepasbaarheid van objectieve methoden daarbij laten zich het beste bestuderen onder het gezichtspunt van de instrumentele realisering van een begrip. Wij gaan dus in gedachten steeds van begrip naar variabele, en wel naar een, liefst objectief, operationeel gedefinieerde variabele.

Het is voor de bespreking hiervan van belang eerst enkele termen wat nader vast te leggen. Ten eerste: wanneer gaat een ‘begrip’ - of in het spraakgebruik veelal: een ‘factor’ - in dit proces eigenlijk over in een ‘variabele’?

Kenmerkend voor een variabele is in ieder geval, dat hij varieert of variëren kan: een variabele is, in de sociale wetenschappen, een factor met de variatie waarvan in een bepaald onderzoek wordt rekening gehouden. Ten behoeve van onze bespreking willen wij hieraan echter nog één kenmerk toevoegen: wij spreken pas van een variabele, als de instrumentele realisering tenminste in principe vastligt. Is dit nog niet het geval, dan spreken wij van het ‘begrip’ of de ‘factor’ (b.v. hostility, intelligentie, leeftijd). Bij de in het vorige hoofdstuk besproken voorbeelden, ontleend

[p. 180]

aan barendregt (1954), was het instrument, voor de bepaling van de ‘hostility’ (het koesteren van vijandige wensen): de genoemde index van Elizur (5;2;3); voor de ‘intelligentie’: de gebruikte Wechsler-Bellevueschaal met bijbehorende instructies en scorings-voorschriften; voor de ‘leeftijd’ eenvoudig de registratie der zelf opgegeven leeftijden in jaren plus de toegepaste classificatie van deze gegevens. Is dit bekend, dan weten wij voldoende om nu, volgens de zojuist gemaakte terminologische afspraak, van ‘variabelen’ te kunnen spreken, ook al zijn nog lang niet alle details van de operationele definitie geregeld. Weet men méér dan dit - nadere details over de hantering van het instrument; het gebied van, kwantitatieve of kwalitatieve, waarden dat de variabele kan aannemen; de meetschaal waarin wordt gewerkt; de frequentieverdeling in de populatie, en dgl. - dan blijft de variabele een ‘variabele’. Volgens Angelsaksisch spraakgebruik (b.v. maxwell 1958) wordt een variabele met een gegeven, of aangenomen, frequentie-verdeling vaak ‘variate’ genoemd; dit onderscheid interesseert ons in dit hoofdstuk echter niet.¹

Een variabele is pas volledig (operationeel) gedefinieerd, als het instrument, waarmee de waarde ervan van geval tot geval moet worden bepaald, tot in details vastligt. Dit instrument bevat alle instructies betreffende de manier waarop, om de waarde van de variabele te kunnen bepalen, empirisch, c.q. experimenteel materiaal moet worden verkregen, geregistreerd en verwerkt.

Een variabele is objectief, als al deze instructies, nodig om de waarde ervan te bepalen, ‘objectief’ zijn. Wij moeten hier objectiviteit voor iedere bewerkings-stap afzonderlijk eisen: voor het verzamelen van materiaal c.q. voor de details van de experimentatie, voor de regels voor het uitsluiten van gevallen waarop de variabele niet toepasbaar wordt geacht (vgl. 6;3), voor de waarneming c.q. registratie, voor alle bewerkings-voorschriften, zoals classificatie, scoring, combinatie en berekening van uitkomsten, etc. Iedere beslissing in dit proces, iedere onderscheiding, iedere indeling in een bepaalde klasse, iedere rekenkundige bewerking moet ‘objectief’ geregeld zijn.

Dit begrip kan hier streng worden gedefinieerd: een bewerkingsstap is

1 Van minder belang is hier ook de beschouwing van variabelen onder abstractie van hun empirische inhoud, zoals wij die bij de logicus, de mathematicus, de statisticus aantreffen. In dit hoofdstuk en het volgende gaat het juist om de inhoud, althans om de wijze waarop deze instrumenteel wordt gerealiseerd.

[p. 181]

objectief geregeld, als de uitvoering ervan niet door subjectiviteit kàn worden gestoord, d.w.z. als er geen ‘subject’ in de zin van een menselijke beoordelaar meer aan te pas behoeft te komen; anders: als zij ‘fool-proof’ is, d.w.z. als de instructie kan worden uitgevoerd door een ‘klerk’, die geheel onwetend is op het gebied in kwestie; nog anders: als de instructie in principe kan worden vertaald in een programma van één-waardige transformaties voor een deterministische machine¹ (vgl. ashby 1957, hdst. 3 e.v.).

Zoals bekend is dit laatste - in het algemeen: vervanging van de subjectieve menselijke waarnemer en beoordelaar door een ‘machine’ - niet meer alleen een principiële mogelijkheid, maar ook een praktisch steeds meer toegepaste. Fotografische registratie, film- en bandopnamen, om maar te zwijgen van het gedifferentieerde elektronische instrumentarium waarvan de natuurwetenschappen gebruik maken - vervangen de menselijke waarnemer; machinale scorings-inrichtingen de menselijke beoordelaar; rekenmachines de menselijke verwerker van waarnemingsgegevens. Waar deze vervanging mogelijk is, hetzij in werkelijkheid hetzij alleen in principe, is de werkwijze ‘objectief’.

Gebreken in de objectiviteit kunnen tweeërlei vorm hebben: het ontbreken van expliciete instructies; of de aanwezigheid van instructies, die een beroep doen op een beoordeling, een waardering, waarvoor geen volledig objectieve normen zijn aangegeven. Geen van beide gebreken leiden in de praktijk van het wetenschappelijk onderzoek noodzakelijkerwijze tot moeilijkheden: het kan zijn, dat de te treffen onderscheidingen op gezond verstand of op algemeen stilzwijgend aanvaarde conventies of normen berusten. Het is vaak ook zeer moeilijk, met name wat betreft de details van de experimentatie en van de hantering van de toepasbaar-

1 ‘If the procedure can be programmed for a digital computer, then it is completely objective’ (green 1961, p. 85). Tegen de in de tekst gegeven definitie zijn twee bezwaren in te brengen: 1. Ook een probabilistische machine is objectief - dat is juist, maar die hebben wij hier niet nodig (vgl. echter 6;3); 2. Het programma zelf kan ‘biased’ zijn, b.v. op een ‘subjectieve’ selectie berusten (men kan een vooroordeel inbouwen) - ook dat is juist, maar met deze vorm van subjectiviteit rekenen wij in het volgende hoofdstuk (7;3) af. In de hier bedoelde technische zin is ook een door subjectiviteit inadequaat machine-programma ‘objectief’. Essentieel is, dat een machine-programma volledig, zonder verlies, kan worden weergegeven, c.q. gepubliceerd; zodat bezwaren tegen een eventueel inadequaat geachte instrumentele realisering open, en afzonderlijk, kunnen worden ingebracht.

[p. 182]

heidsregels, om bij de weergave ervan volledig te zijn en werkelijk iedere menselijke beoordeling, buiten de expliciete instructies om, uit te schakelen. Zelfs bij een streng geprecodeerde test of enquête (vgl. 7;1;1) kunnen zich bijvoorbeeld moeilijkheden voordoen bij de beoordeling van grensgevallen, waarin de proefpersoon zich niet geheel (maar wel bijna) aan de gegeven instructies heeft gehouden. Ook daarin kan echter in principe worden voorzien; zo bestaat er bijvoorbeeld bij de Allport-Vernon schaal (allport en vernon 1931) een speciale (objectieve) instructie voor de correcties in de scoring, die moeten worden aangebracht als de proefpersoon iets fout heeft gedaan. De hier gehanteerde eis van absolute objectiviteit van een variabele is een ideaal, dat niet altijd geheel kan worden bereikt, maar wel altijd zo dicht als mogelijk is moet worden benaderd.

6;2;2 Het evaluatie-probleem als voorbeeld: doel, effect, maatstaf.

Een belangrijk type vraagstuk, dat vooral ook in de toegepast-wetenschappelijke sfeer telkens weer een sleutel-positie blijkt in te nemen, is het probleem van de objectieve evaluatie van de effecten van methoden, die erop gericht zijn het menselijke gedrag te beïnvloeden. Dit ‘evaluatie-probleem’, zoals wij het nu verder zullen noemen,¹ levert een geschikt voorbeeld voor de nadere bespreking van objectiviteitskwesties bij de instrumentele realisering van een begrip.

Dit probleem treedt op bij alle vormen van onderwijs en opvoeding, van training en vorming, van psychotherapie en counseling, van propaganda en reclame: Wat is het effect? Gewoonlijk worden bepaalde, omschreven - zij het vaak aanvankelijk zeer vaag omschreven - effecten gewenst of verwacht, zodat de vraag is in hoeverre deze worden bereikt. Dikwijls wordt de vraagstelling op de vorm gebracht van een vergelijking tussen twee methoden. Is methode A beter dan methode B? Kan men de superioriteit van A boven B (of omgekeerd) aantonen door een objectieve, vergelijkende evaluatie van de effecten van A en B? Daarbij kan ‘methode

1 De term ‘evaluatie’ heeft hier dus een andere betekenis dan die van samenvattend-interpretatieve bepaling van de waarde van onderzoek-uitkomsten voor de theorie (of voor een toepassings-doel), die voor ‘evaluatie’ als vijfde fase van de cyclus geldt (1;4;6). Het gaat hier niet om bepaling van de waarde van onderzoek-uitkomsten - over welk onderwerp dan ook - maar om evaluatie van (de effecten van) een beinvloedingsmethode.

[p. 183]

B’ eventueel zijn: géén methode; de vraag is dan of, vergeleken bij de nul-lijn van B, enig (significant) effect van A, hoe gering ook, in de gewenste richting aantoonbaar is. Meestal zijn de gewenste effecten tevens de volgens een theorie, zij het misschien een vage theorie, voorspelde effecten; we hebben dan dus met een toetsingsprobleem te maken.

Van dit probleem nu is de instrumentele realisering van het effectbegrip vaak een bijzonder moeilijke kant. Gewoonlijk weet men wel, in algemene termen, wat men met de poging tot beïnvloeding voor heeft; gewoonlijk is wel een verbale omschrijving voorradig van de aan methode A, volgens de theorie, toegeschreven merites en van de effecten, die ermee te bereiken zijn: ‘beter inzicht’, ‘groter vaardigheid’, ‘verbeterde mentaliteit’, ‘verbeterde aanpassing’, respectievelijk ‘een gunstiger instelling t.o.v. het gepropageerde’ of ‘bereidheid tot positief handelen (c.q. kopen)’. De moeilijkheid ligt echter in de opstelling van empirische maatstaven, die zowel het bedoelde redelijk dekken als objectief zijn.

Men stelt vaak, dat dit eenvoudig niet mogelijk is. Vooral met betrekking tot problemen van opvoeding en vorming - maar toch ook dikwijls met betrekking tot onderwijs in engere zin, therapie, mentaliteits-beïnvloeding - wordt vaak naar voren gebracht, dat men het dan eerst eens zou moeten zijn over het doel ervan; en overeenstemming hierover, bijvoorbeeld in een groep van experts, is gewoonlijk ver te zoeken. Deze redenering is echter misleidend. Discussies gaan uiteraard vaak over die dingen waarover men het niet eens is, en bovendien nemen zij vaak een ‘hoge vlucht’, d.w.z. zij vervluchtigen in vage filosofieën of persoonlijk geformuleerde theorieën, met betrekking waartoe geen basis van verstandhouding meer aanwezig is. Zulke discussies zijn echter niet nodig als men het eens moet worden over een acceptabele, objectieve, instrumentele realisering van bepaalde effecten. Die effecten moeten als belangrijk en gewenst worden beschouwd - en daarover moet men wèl overeenstemming bereiken - èn zij moeten bepaalbaar zijn (objectief realiseerbaar).¹ Het komt er dus op aan een concrete ‘grootste gemene deler’ van doelopvattingen te bereiken (benevens, eventueel, een ‘kleinste gemene

1 Aan de laatste beperking ligt de gezonde gedachte ten grondslag, dat het weinig zin heeft een doel te stellen, als men niet weet, hoe in een bepaald geval is uit te maken in hoeverre het bereikt is. Eén van de belangrijkste voordelen van projecten, die op de objectieve realisering van effect-maatstaven gericht zijn - naast het feit, dat zij evaluatie mogelijk maken - is dat zij de discussie over doel en strekking (van opvoeding, onderwijs, therapie, etc.) een meer realistische (‘operationele’) basis kunnen geven.

[p. 184]

veelvoud’). De instrumentele realisering wordt dan dààrop, of op een belangrijk onderdeel daarvan, gericht.

Wil men bijvoorbeeld door experimenteel onderzoek een bijdrage leveren tot de bepaling van de merites van verschillende didactieken van het onderwijs in vlakke meetkunde in de eerste klassen van het V.H. en M.O. (vgl. de groot 1957b), dan is het eerst nodige dat men een instrument heeft om die merites te bepalen. Empirisch gezien moeten ‘merites’ kunnen blijken en wel uit ‘effecten’. Men kan alleen aantonen, dat didactiek A, conform een desbetreffende theorie of hypothese, superieur is aan didactiek B, als men kan demonstreren (aan effecten), dat bepaalde belangrijk geachte onderwijs-doelstellingen door A beter worden gerealiseerd dan door B. Men heeft dus maatstaven nodig, die, na bijvoorbeeld een jaar meetkunde-onderwijs, per leerling - of per klasse - kunnen worden aangelegd en die aangeven in hoeverre een bepaald onderwijs-doel in dit geval bereikt is. Deze maatstaven zullen objectief moeten zijn; zelfgemaakte en op het eigen onderwijs afgestemde proefwerken, indrukken en ervaringen, hoe waardevol ook binnen de klasse, kunnen voor vergelijkingen tussen klassen (onder verschillende docenten en verschillende didactiek) niet worden gebruikt.

Maar wat zijn de ‘belangrijk geachte onderwijs-doelstellingen’ in het geval van de vlakke meetkunde in de eerste klasse?

Men kan het doel van meetkunde-onderwijs in het algemeen zeer verschillend zien. Men kan zelfs twisten over de vraag of het een noodzakelijk onderdeel is, bijvoorbeeld van het H.B.S.-programma; zoals bekend is wel voorgesteld de vlakke meetkunde geheel te vervangen door iets anders, bijvoorbeeld symbolische logica of verzamelingsleer. Men kan het doel beperkt zien, strikt gebonden aan het programma zelf: bepaalde typen vraagstukken leren oplossen; of men kan het ruim zien, bijvoorbeeld: leren denken, een probleem analyseren, systematisch denkmethoden en algemene oplossingsmethoden leren toepassen, òòk voor andere doeleinden (vgl. b.v. bos 1955). Of men kan het accent leggen op het ruimtelijke aspect: meetkunde als middel tot ontwikkeling van een gestructureerd ‘ruimtelijk inzicht’ (b.v. van hiele 1957); of, weer anders, als middel tot een eerste kennismaking met een wetenschappelijk, gedeeltelijk geformaliseerd deductief systeem. Er bestaan hierover veel schrandere en diepe beschouwingen - en maar weinig overeenstemmende conclusies.

[p. 185]

Het zal echter duidelijk zijn, dat vele van de ruimere doelstellingen gebaseerd zijn op de veronderstelling van overdracht (transfer) van het in de meetkunde-les geleerde naar andere gebieden, in een later levens-stadium. Deze veronderstelling is enerzijds te onzeker (vgl. b.v. woodworth en schlosberg 1955, p. 829) en zij voert ons anderzijds te ver af van wat er in de eerste klasse van het V.H. en M.O. gebeurt; en dat nog wel in verschillende richtingen: respectievelijk (algemeen) leren denken, ruimte-inzicht, logica en wetenschap. Voor de constructie van een effect-maatstaf moeten wij dichter bij huis blijven, de belangrijkste factoren in de ‘grootste gemene deler’ zoeken. Aangezien meetkunde stellig niet als dressuur-vak bedoeld is, zal iedere docent accepteren, dat het onderwijs tenminste in belangrijke mate ten doel heeft bij de leerlingen een zeker ‘inzicht’ in het vak meetkunde zelf teweeg te brengen. Een minimum aan inzicht is in ieder geval ook een noodzakelijke voorwaarde voor eventuele transfer-effecten. Evenzo kan men stellen, dat de bedoeling van onderwijs is stimulerend te werken, ‘belangstelling’, in casu ‘plezier in meetkunde’ op te wekken. Ook dit is een fundamentele factor, waartegen niemand bezwaren zal inbrengen - al wordt het stimuleringsdoel in de praktijk van het onderwijs nogal eens vergeten of zelfs averechts gerealiseerd. Opnieuw geldt, dat zonder een minimum aan positieve motivatie weinig van verder strekkende (transfer-)effecten te verwachten is.

Met deze twee, uit de ‘grootste gemene deler’ gegrepen, doel-begrippen werd in een op de constructie van effect-maatstaven gericht project (de groot 1959c; wiegersma 1960b) volstaan.

6;2;3 ‘Verworven inzicht’: een objectief instrument.

De instrumentele realisering van de twee hierboven genoemde effect-begrippen kwam er nu op neer, dat een passende (prestatie-) test voor ‘verworven inzicht’ in de meetkunde-stof van de eerste klasse en een ‘attitude’-test voor gewekte belangstelling, voor ‘plezier in meetkunde’, moesten worden geconstrueerd.

Wij zullen nu niet ingaan op de wijze waarop dit is gebeurd (vgl. het rapport, de groot 1959c) noch op de richtlijnen voor en technische bijzonderheden van test-constructie in het algemeen, waarvoor handboeken (b.v. lindquist 1959) bestaan. Voor ons gaat het erom dat, bijvoorbeeld voor de eerstgenoemde taak - de moeilijkste van de twee - opgaven voor verworven inzicht in meetkunde moesten worden ont-

[p. 186]

worpen, die zowel (inhoudelijk) aan het gestelde doel moesten beantwoorden als (formeel) objectief moesten zijn.

Zodra de discussie over concrete opgaven, in het algemeen over ontwerpen voor onderdelen van instrumenten gaat, kan men deze twee eisen, ‘relevantie’ en ‘objectiviteit’ (vgl. 6;2;4) scherp onderscheiden.¹ Wij laten de analyse van de eerste eis nog even rusten (vgl. hoofdstuk 8, met name 8;2) en beperken ons nu tot de vraag, wat de objectiviteitseis voor dit geval in concreto inhoudt. Aan welke eisen moet een test in het algemeen en moest deze inzicht-test in het bijzonder voldoen, om een objectief instrument te zijn?

Daarvoor is nodig, zoals we gezien hebben, dat alle details van de uitvoering (het afnemen van de test), de scoring en de bewerking eenduidig vastliggen; zo, dat een machine, of een goed geïnstrueerde klerk, die noch van meetkunde noch van de testtechniek op de hoogte is, alles in principe kan overnemen.

Dit houdt in de eerste plaats in, dat er een vast instrument-in-engere-zin is, i.c. het testboekje met vragen. Verder moeten er ondubbelzinnige voorschriften zijn over de toepasbaarheid, d.w.z. voor welke leerlingen, van welke klassen, na welk meetkunde-onderwijs, wanneer in het jaar de test kan worden gebruikt, de ‘inzicht’-variabele kan worden bepaald. Vervolgens: voorschriften over de experimentatie: gedetailleerde en stringente instructies voor de (leraar-)proefleider over de omstandigheden waaronder, en de wijze waarop de tests moeten worden gepresenteerd; per test een volledig uitgeschreven uitleg, die de proefleider met de leerlingen rustig letterlijk moet doornemen zonder er zelf iets aan toe te voegen; strikte voorschriften voor de behandeling van eventuele vragen en voor de tijd, die per test wordt beschikbaar gesteld; enz.

Er moeten strikte voorschriften zijn voor de scoring van een verkregen protocol (i.c. een ‘antwoordformulier’). Voor iedere subtest moet voor iedere testvraag (=‘item’) objectief vastliggen welke beantwoording goed en welke fout is, en wanneer het antwoord niet wordt meegeteld (noch goed noch fout). Is er een punten-waardering per vraag - uit een oogpunt

1 Instrumentele realisering - in feite, als proces, een vorm van systematisch proberen, vgl. 1;1;4 en 1;2 - leidt tot onderscheidingen, die òòk voor de algemene doel- en effect-discussie verhelderend zijn (vgl. de voetnoot onder p. 183). ‘Relevantie’ blijkt later weer andere, meer exact definieerbare eisen te omvatten, met name validiteit en betrouwbaarheid (zie hoofdstuk 8).

[p. 187]

van objectiviteit dikwijls al een dubieuze methode - dan moet de scoringsinstructie ondubbelzinnige richtlijnen bevatten voor de toekenning van b.v. 0, 1 of 2 punten aan een antwoord. Al deze richtlijnen en voorschriften moeten, opnieuw, zo strikt zijn, dat ze in principe in een programma van enkel-waardige transformaties voor een deterministische machine kunnen worden omgezet.

Hetzelfde geldt voor de voorschriften voor de combinatie van itemscores tot een subtest-score, en eventueel van de subtest-scores tot een totaalscore voor ‘inzicht’-zoals-operationeel-gedefinieerd. Tenslotte moeten er ook objectieve voorschriften zijn voor de wijze waarop (resp. de schaal waarin, vgl. 7;2;2) deze scores moeten worden geïnterpreteerd. Pas als al deze stappen objectief geregeld zijn, kunnen we zeggen, dat de objectieve instrumentele realisering van het inzicht-begrip voltooid is.

6;2;4 Objectiviteit en relevantie.

Vervulling van de objectiviteits-eis, zoals die bij de instrumentele realisering van begrippen optreedt, is een technische aangelegenheid. Men kan natuurlijk ervoor zorgdragen, dat alles ‘objectief geregeld’ is - door toepassing van objectieve technieken (vgl. hoofdstuk 7). Er is echter een risico, dat de technische vervolmaking van het instrument geschiedt ten koste van de inhoud, ten koste van de ‘redelijke dekking van het bedoelde’, ten koste van de relevantie van wat tenslotte zo objectief gemeten wordt.

Ook dit laat zich aan het evaluatie-probleem duidelijk demonstreren. Bij de constructie van de testserie voor meetkunde-inzicht, waarvan hierboven sprake was, bleek dit dilemma van objectiviteit versus relevantie onder meer hieruit, dat de twee, volgens diverse indicaties en beoordelingen, meest relevante (meest ‘valide’, zie 8;2) subtests, namelijk ‘Bewijsopgaven’ en ‘Constructies’, zich het sterkst verzetten tegen een volstrekt objectieve vormgeving. Technisch zou het niet moeilijk zijn ze strikt objectief te maken; maar dan zou de eigenlijke inzicht-opgave worden gedenatureerd. Of een leerling kan construeren, kan men in feite alleen adequaat onderzoeken door het hem te laten doen; maar hoe moet dan de beoordeling van zijn produkten - onduidelijke tekeningen, en dgl. - objectief worden geregeld? Een bewijs-opgave kan men in stappen verdelen, over elk waarvan volstrekt objectieve vragen gesteld kunnen worden; maar dan onderzoekt men iets anders dan het vermogen om een

[p. 188]

bewijs te leveren, het inzicht in het bewijs als geheel. Voor de wijze waarop dit probleem is opgelost, verwijzen wij naar het betreffende rapport (vgl. ook hoofdstuk 7). Hier gaat het er alleen om het dilemma duidelijk te stellen.

Het komt nog scherper naar voren bij andere evaluatie-problemen. Wat is het doel van psychotherapie en counseling; hoe kan men objectieve effect-maatstaven construeren voor verbetering van de psychische gezondheid, van de aanpassing aan het sociale leven of van vermindering van innerlijke spanningen en problemen? Als er voor het begin van de therapie duidelijke, objectief constateerbare symptomen waren, geeft het verdwijnen ervan ongetwijfeld een objectieve indicatie. Maar erg relevant is deze niet: een patiënt kan zònder aperte symptomen nog even neurotisch zijn als tevoren mèt. Symptomen kunnen ook verschuiven; en bovendien zijn ze dikwijls niet in een duidelijke, objectief constateerbare vorm aanwezig, ook niet bij het begin van de therapie. Het is hier bijzonder moeilijk de eisen van relevantie en objectiviteit te combineren. Weliswaar is, o.a. door het werk van Rogers en zijn school (zie met name rogers en dymond 1954), aangetoond dat het niet onoplosbaar is. De constructie van één van hun instrumenten is gebaseerd op de simpele gedachte, dat wie onaangepast is en psychische steun nodig heeft in ieder geval ‘onvrede met zichzelf’ zal hebben. Dit begrip werd door hen instrumenteel gerealiseerd met behulp van de Q-sorteer-techniek (stephenson 1955); en met dit instrument konden verscheidene, uit Rogers' theorie van het psychotherapeutische proces afgeleide, hypothesen worden getoetst, o.a. de voor de hand liggende, dat deze ‘onvrede’ door de therapie in het algemeen zal verminderen. Het is dus mogelijk relevante èn objectieve instrumenten te construeren, ook op dit gebied; maar het evaluatieprobleem - en het dilemma - is hier toch nog maar heel gedeeltelijk opgelost (vgl. ook meehl 1955; snyder 1958; barendregt 1961, hfdst. 11).

Nog moeilijker is het een passend instrument te construeren voor de evaluatie van pogingen om de ‘instelling’ van personen te beïnvloeden, bijvoorbeeld via een vormingsprogramma, of een cursus over ‘leiding geven’ in de industrie, of, in een geheel andere sfeer, via propaganda of reclame. Uiteindelijk is de bedoeling van zulke programma's het gedrag te beïnvloeden: beter leiding geven, meer kopen, en dgl. Dit gedrag is echter vaak zo ver in de tijd verwijderd, zo moeilijk (objectief) grijpbaar

[p. 189]

en bovendien van zoveel andere factoren afhankelijk, dat men er dikwijls van moet afzien dit ‘uiteindelijke criterium’ (vgl. 8;2;2) in handen te krijgen.

Vaak neemt men, ook hiervoor, zijn toevlucht tot een attitude-test; dat is een vragenlijst, met behulp waarvan men op objectieve wijze gegevens verkrijgt, die geacht worden van belang te zijn voor de instelling van de proefpersoon ten opzichte van het onderwerp in kwestie. De vragen in de lijst kunnen slaan op de pro's en contra's van meetkunde, op praktische problemen van leiding geven, op de gewoonten in de huishouding, op het drinken van bier, en wat niet al - al naar gelang van het terrein waarop de beïnvloeding heeft plaatsgehad. Attitude-tests zijn bijzonder prettige, bruikbare, objectief in te richten instrumenten, ook voor doeleinden van effect-bepaling, maar hun zwakheid zal duidelijk zijn: zij geven alleen verbale reacties weer. In veel gevallen zou men graag het eigenlijke gedrag, of de werkelijke bereidheid tot een bepaald type gedrag of een andere achtergronds-factor willen ‘meten’; maar men moet tevreden zijn met minder relevante gegevens: verbale antwoorden op verbale vragen. Zo kan een attitude-test na afloop van een bazencursus wel aantonen in hoeverre de cursisten het ‘human relations’-lesje, dat hun in de cursus tussen de regels werd gegeven, goed geleerd hebben en kunnen reproduceren, maar dat garandeert niet, dat zij daarnaar zullen handelen, wanneer de attitude in kwestie in een werkelijke, levende situatie zou moeten blijken. Het probleem is niet zozeer, dat de antwoorden niet oprecht zouden worden gegeven. Dat kan men gewoonlijk, door maatregelen van inrichting van de testvragen en van uitvoering van de test wel gedaan krijgen (b.v. anoniem, buiten het les- of beïnvloedingsverband). Niet alleen kinderen, maar ook volwassenen vinden het meestal prettig hun gevoelens en opinies eerlijk te uiten als daar verder geen consequenties voor hen aan verbonden zijn. Het invullen van een test blijft echter iets essentieel anders dan een werkelijke bereidheid om, bijvoorbeeld, extra uren meetkunde te gaan doen, niet gekrenkt te reageren als chef, consequent een bepaald produkt te kopen, en dgl.

Ook op andere terreinen dan dat van de evaluatie doet zich ditzelfde probleem voor. Objectieve instrumentele realisatie blijkt telkens weer moeilijk te zijn juist voor centrale begrippen, waar men graag vat op zou krijgen: angst, verdringing, neuroticisme, aanpassing, opmerkzaamheid, democratisch, sociale klasse, status, rol - om een willekeurige serie

[p. 190]

voorbeelden te noemen. Als men geen water in de objectiviteitswijn wil doen, moet men vaak genoegen nemen met qua ‘relevantie’¹ vrij zwakke operationele definities. In de sociale wetenschappen blijkt telkens weer een spanning op te treden tussen objectiviteit en relevantie.

Nog niet zo heel lang geleden had deze spanning de vorm van een werkelijk dilemma: men moest of het èèn of het ander kiezen. Men had niet alleen twee soorten begrippen, maar ook twee soorten theorieën (en scholen): belangrijke maar niet objectief realiseerbare, en objectief realiseerbare, exacte, die niet relevant waren, althans niet voor de vragen waarop men van deze wetenschappen in de eerste plaats een antwoord zou willen hebben. De psychologie bijvoorbeeld was te verdelen in enerzijds een exacte, objectieve experimentele psychologie, die in het laboratorium werkte met levens-abstracte, perifere, volgens velen niet-‘relevante’ problemen, en anderzijds een, of liever vele, niet-experimentele psychologieën - o.a. dieptepsychologie, psycho-analyse - waarin ongetwijfeld ‘relevante’ problemen werden behandeld en begrippen werden gehanteerd, waarop men echter uit een oogpunt van objectiviteit geen vat kon krijgen. Evenzo waren er sterk uiteenlopende, enerzijds exacte, metende, anderzijds verbaal beschrijvende en theoretiserende scholen in de sociologie, de economie, de antropologie.

De tegenstelling is er nog, de ‘scholen’ zijn er ook nog; de spanning tussen objectiviteit en relevantie is nog steeds aanwezig - zoals trouwens reeds is gebleken uit de moderne voorbeelden, die hierboven werden gegeven. Maar ook was aan die voorbeelden te zien, dat er geen reden is het probleem als onoplosbaar te beschouwen. Er is in dit opzicht veel veranderd; er zijn grote vorderingen gemaakt, de ‘spanning’ is merkbaar verminderd. Een heel arsenaal van methoden en hulpmiddelen is in de laatste tientallen jaren ontworpen en ingevoerd: voor de objectivering van onderscheidingen, van materiaal-bewerkingswijzen, van onderzoekprocedures, en met name voor de objectieve instrumentele realisering van weerbarstige begrippen - zonder al te veel verlies aan relevantie. Een aantal resultaten en aspecten van deze ontwikkeling zal hieronder zeer in het kort worden besproken (6;2;5 en hoofdstuk 7).

1 De term ‘relevantie’ wordt hier in een algemene, losse, zin, niet als technische term gebruikt. De strekking van een uitdrukking als ‘weinig relevant’ is dat men - en dit kan om verschillende redenen zijn - eigenlijk liever iets anders zou willen meten of categoriseren, dat men belangrijker acht dan wat men als variabele in handen krijgt.

[p. 191]

6;2;5 Ontwikkeling van instrumenten.

Vergelijkt men de tegenwoordige situatie met die van 20, 30 of 40 jaren geleden, dan is een opvallend verschil, dat er nu veel meer gestandaardiseerde, objectieve instrumenten van een betrekkelijk algemene bruikbaarheid ter beschikking zijn gekomen. Men kan daardoor veel meer objectief meten en categoriseren dan vroeger.

Eén van de oudste voorbeelden van instrumentele realisering is dat van de ontwikkeling, sinds binet (1908), van (relevante en objectieve) intelligentietests van allerlei soort. Tegenwoordig bestaan er echter ook talrijke, en deels zowel formeel als inhoudelijk bevredigende, instrumenten voor de bepaling van andere persoonlijkheidsdimensies, zoals bijvoorbeeld introversie-extraversie en ‘neuroticisme’ (b.v. heron 1956; eysenck 1956; wilde 1962). Deze kunnen onder meer gebruikt worden voor de evaluatie van het effect van psychotherapie (zie b.v. barendregt 1961, hfdst. 11). Het gebruik dat Rogers c.s. maakten van de Q-sorteer-techniek van Stephenson werd reeds vermeld. Men kan tegen deze methode bezwaren inbrengen, maar niet te ontkennen valt, dat zij voortreffelijk past bij Rogers' theoretische gedachtengang; en zij was dan toch maar beschikbaar.

Vooral in Amerika zijn voor de verschillende sociale wetenschappen objectieve instrumenten ontwikkeld voor de bepaling van variabelen behorend bij de meest uiteenlopende begrippen: indices voor de ‘leesbaarheid’ van een tekst (flesch 1949), schalen voor de bepaling van het sociale niveau (warner e.a. 1949), een methode voor de bepaling van de ‘gevoelswaarde’ van een begrip (osgood, suci en tannenbaum 1957); verder vooral: tests voor tal van geestelijke vermogens en bekwaamheden, voor kennis en vorderingen op allerlei gebied, voor de gerichthejd van de belangstelling, voor de attitude t.o.v. diverse instellingen en zaken, voor persoonlijkheidskenmerken en -dimensies, enz. (zie b.v. cronbach 1960, en, voor Nederland, kouwer 1957, onder hoofden als intelligentie- of algemeen niveau-(general ability), vermogens- (aptitude), vorderingen- (achievement), belangstellings-, persoonlijkheids-, attitude-tests, en dgl.). Natuurlijk is er veel kaf onder het koren: lang niet alle methoden voldoen aan de eisen, die aan een goed instrument gesteld moeten worden (hfdst. 8); men leze slechts de kritische besprekingen in de Mental Measurement Yearbooks (buros 1938, 1941, 1949, 1953, 1959). Dat neemt echter niet weg, dat de keuze enorm veel

[p. 192]

groter is en dat veel meer gebieden worden bestreken dan vroeger.

Behalve dat er meer is, is ook de constructievaardigheid en de experimentele bekwaamheid sterk toegenomen. Lang niet alle instrumenten en bijbehorende variabelen zijn bedoeld als maatstaven voor algemeen gebruik. Zij worden vaak ad hoc geconstrueerd, d.w.z. de instrumentele realisering van het begrip heeft alleen de pretentie voor een bepaald toetsingsexperiment (of: toepassingsdoel) te dienen. De kunst van de experimentator bestaat voor een belangrijk deel hieruit, dat hij in verband met zijn hypothese keuzen aan zijn proefpersonen - of algemener: aan zijn materiaal - opdringt, zonder dat door deze dwang (te veel) relevantie verloren gaat. Een fraai voorbeeld van deze kunst om, door een geschikte experimentele opzet, ad hoc in een objectief instrumentarium te voorzien, is te vinden in het onderzoek van Little en Cohen, voor wat betreft de instrumentele realisering van de ‘overprotectiveness’ en ‘overambitiousness’ van astma-moeders ten aanzien van hun kinderen, waarvan de psychosomatische astma-theorie spreekt: zij lieten de moeders, in een experimenteel gecontroleerde opzet, de prestaties van hun kinderen op een aspiratie-niveau-test voorspellen (little en cohen 1951).

Andere voorbeelden zijn te vinden in de experimentele sociale psychologie, waar een heel aantal begrippen met betrekking tot het gebeuren in kleine groepen instrumenteel pleegt te worden gerealiseerd op een wijze, die alleen bruibaar is in de experimentele situatie. In bepaalde experimenten over communicatie en communicatie-structuren kunnen de proefpersonen bijvoorbeeld alleen met elkaar in contact treden via schriftelijke boodschappen; men definieert nu bijvoorbeeld de ‘hoeveelheid communicatie’ van persoon A naar B eenvoudig als het aantal boodschappen, dat A tot B richt gedurende de (vastgestelde) duur van het experiment (bavelas 1950). Buiten het laboratorium kan men hiermee natuurlijk niet werken; maar wel kan men in het laboratorium in scherp opgezette experimenten met zulke variabelen algemene theoretische samenhangen onderzoeken en hypothesen toetsen, om die dan later in aanvullende veld-onderzoekingen - die uiteraard minder ‘scherp’, maar meer ‘reëel’ zijn - opnieuw te bewerken, nu met meer aan de maatschappelijke werkelijkheid aangepaste operationele definities van begrippen als ‘hoeveelheid communicatie’.

Ook op sommige toepassingsgebieden construeert men tegenwoordig veel vlotter dan vroeger de benodigde objectieve instrumenten. Enerzijds

[p. 193]

valt te noemen de toetsing van verworven kennis en vorderingen door middel van vorderingen-tests (achievement tests), die althans in de U.S.A. vaak ad hoc worden gemaakt; anderzijds een gebied als de zgn. ‘motivation research’, waarin wegens het ephemere karakter van de doelstelling vaak gezocht wordt naar specifieke instrumenten van korte adem: sommige daarvan voldoen niettemin aan eisen van objectiviteit.

Deze technische ‘instrumentele’ ontwikkeling in de sociale wetenschappen is ook in Nederland in volle gang. Kritieken op het testen en meten als die van Kohnstamm in de dertiger jaren (kohnstamm 1935) worden nog wel gehoord (b.v. langeveld 1957, hfdst. 9), maar hebben niet veel gezag meer. Doordat in ons land een misschien wel wijze reserve en een begrijpelijke vrees voor verlies aan relevantie de instrumentele ontwikkeling lange tijd heeft tegengehouden - afgezien van de veel geringere middelen in geld, organisatie, mankracht en optimistisch initiatief - is weliswaar een vrij grote achterstand ontstaan bij de Verenigde Staten, Engeland en sommige andere Europese landen, maar deze achterstand heeft ook het voordeel dat wij nu, lerend van Amerikaanse fouten, beter kunnen kiezen en doodlopende straten kunnen vermijden.