Logo DBNL
Methodologie (1961)

Methodologie

(1961)–A.D. de Groot–rechtenstatus Auteursrechtelijk beschermd

Vorige Volgende

5. Van formulering naar toetsing en evaluatie

5;1 De opzet van toetsingsonderzoek

5;1;1 Vrijheid van keuze.

In dit hoofdstuk zal een overzicht worden gegeven van alles wat er in het empirisch-wetenschappelijke proces geschiedt na de formulering van de theorie of hypothese, in geval een onderzoeker een toetsing onderneemt. In termen van de cyclus (1;4) zullen wij nu dus het gebeuren in de derde, vierde en vijfde fase als één geheel behandelen.

Daarbij zal de bespreking van de voorbereiding, c.q. de experimentele opzet van het toetsingsonderzoek (fase 3 in hoofdzaak) begrijpelijkerwijze de meeste ruimte opeisen: 5; 1 en 5; 2. De uitvoering van de toetsing (fase 4) - voorzover daarover van methodologisch standpunt nog iets te zeggen is na een goede voorbereiding - en de evaluatie van de uitkomsten (fase 5) zullen worden besproken in 5; 3.

Men kan de voorbereiding van het toetsingsonderzoek zien als een reeks van keuzen of beslissingen, die de onderzoeker moet nemen. De eerste keuze is die van het onderwerp in ruime zin: de theorie of hypothese die hij wil toetsen. Daarop aansluitend volgen andere beslissingen; bij elk daarvan heeft de onderzoeker een zekere vrijheid van keuze.

In de eerste plaats zal het in het algemeen niet mogelijk zijn de gekozen hypothese - laat staan een theorie - in zijn geheel te toetsen. De onderzoeker zal zich waarschijnlijk gedwongen zien één of enkele consequenties uit de hypothese te toetsen, er zullen deductieve verbijzonderingen, van het type bd (vgl. 3;2;1) nodig zijn. Hij moet kiezen, welke van de expliciteringsvertakkingen (3; 3) hij wil onderzoeken.

In de tweede plaats zal het dikwijls noodzakelijk zijn tot verbijzonderen-

de empirische specificaties over te gaan, d.i. tot specificaties van het type bs (vgl. 3;2;1). Met name geldt dit voor de omzetting van begrippen, zoals gebruikt en bedoeld in de te toetsen hypothese, tot empirisch objectief manipuleerbare variabelen. Bepaalde operationele definities zullenmoeten worden gekozen, zodanig dat het begrip kan worden gebruikt als onderscheidings- instrument bij de toetsing. De operationele definitie van de variabele - een serie instructies, zoals we gezien hebben (3;3;4) - levert dit ‘instrument’. Als er geen beschikbare, eerder toegepaste operationele definities (instrumenten) voorhanden zijn, moet men er een opstellen; m.a.w. de onderzoeker moet soms zelf het begrip instrumenteel realiseren - en daarvoor een passende procedure kiezen.

In de derde plaats moet de onderzoeker bepaalde keuzen doen met betrekking tot de toetsings-procedure zelf. Betreft het een experimentele toetsing, dan moeten de details van het experiment worden geregeld. Het zal misschien nodig zijn de populatie te beperken; er moeten steekproefbeslissingen worden genomen; de gang van zaken, de instructies aan de proefleider(s) moeten vooraf worden vastgelegd; misschien moeten controle-groepen worden georganiseerd of -materiaal worden verzameld; en dgl. Sommige van deze praktische uitvoerings-beslissingen brengen opnieuw verbijzonderingen van de probleemstelling (van de typen bd of bs) met zich mee; andere gaan niet met verlies aan algemeenheid gepaard (ad of as). Het komt ook voor dat de probleemstelling zich op grond van experimentatie-overwegingen verschuift - wat geen bezwaar behoeft te zijn zolang men binnen het nomologische net van de te toetsen hypothese blijft, bijvoorbeeld in een andere vertakking.

In de vierde plaats, tenslotte, moeten bepaalde beslissingen worden getroffen over de logische confirmatieprocedure, d.w.z. over de wijze waarop men de uitkomsten van de toetsing wil verwerken tot een conclusie over de vraag in hoeverre de gestelde hypothese geconfirmeerd wordt. Het duidelijkste ligt dit in geval van statistische confirmatie-methoden wordt gebruik gemaakt: men moet, eventueel, een nulhypothese opstellen, een statistische toets en confirmatie-criteria (o.a. een significantieniveau) kiezen.

Dit alles behoort bij de voorbereiding. Is deze klaar dan kan de uitvoering van het onderzoek volgen en tenslotte de evaluatie van de uitkomsten.

Er is dus, ten duidelijkste, een aanzienlijke vrijheid voor de onder-

zoeker. Ook als hij zich heeft vastgelegd op een bepaalde theorie of hypothese, kan hij kiezen welke consequenties hij precies zal onderzoeken en hoe hij dit wil doen. De mogelijke keuzen zijn daarbij lang niet altijd vooraf gegeven, met andere woorden: er is speelruimte voor een zekere creativiteit, althans voor inventiviteit. Met name bij experimentele onderzoekingen kan het maken van een geraffineerde experimentele toetsings-opzet een kunst zijn, die niet alleen oefening (en dikwijls: organisatievermogen) vergt, maar ook vindingrijkheid en fantasie.

De fantasie die hier gevraagd wordt, in het empirische c.q. experimentele vlak - de ‘kunst van de experimentator’ - is intussen van andere aard dan de ‘kunst van de theoreticus’, die correspondeert met de vrijheid van ontwerp, die in hoofdstuk 2 werd besproken (vgl. met name 2; l; 2). De twee kanten van de wetenschapsbeoefening, de logisch-theoretische en de empirisch-feitelijke (vgl. o.a. 2; 2; 1), komen hier weer duidelijk naar voren. Bekwaamheid op het ene gebied gaat niet altijd samen met bekwaamheid op het andere. Er zijn uitgesproken theoretici en uitgesproken experimentatoren. Zoals bekend wordt deze onderscheiding in de natuurkunde systematisch gehanteerd (experimentele en theoretische fysica). In de gedragswetenschappen is dit niet het geval,1 maar toch kan ook daar de onderscheiding bruikbaar zijn. Zelfs in de niet-experimentele cultuur-wetenschappen kan men de creativiteit van de denker, de theoreticus, stellen tegenover de inventiviteit van de vorser, de veldonderzoeker, de observator.

Voorzover de onderzoeker inderdaad vrijheid van keuze heeft bij het opzetten van een toetsingsonderzoek, voor zover toetsen (c.q. experimenteren) een kunst is, kunnen er evenmin als bij de hypothesevorming strikte normen worden gehanteerd voor wat mag en wat niet mag. Wel kunnen aanbevelingen worden gegeven, mogelijkheden worden genoemd en beperkingen van de keuzevrijheid worden besproken. Deze komen in de volgende paragrafen aan de orde.

5;1;2 Confirmatieoverwegingen.

Evenmin als de vrijheid van ontwerp (2; 1; 2 e.v.) is de vrijheid voor de opzet van een empirisch toetsingsonderzoek een onbeperkte vrijheid. Men kan het proces tot aan de feitelijke toetsing inderdaad beschrijven als een reeks keuzen, een reeks beslissingen - maar deze keuzen moeten uiteraard verstandig zijn. Zij worden voor een belangrijk deel zelf weer bepaald, althans ingeperkt, door theoretische en praktische overwegingen. Op ieder keuze-, op ieder vertakkingspunt zijn er gewoonlijk betere en minder goede alternatieven; de onderzoeker moet verschillende criteria in aanmerking nemen en tegen elkaar afwegen om een verstandige beslissing te kunnen nemen (vgl. newcomb in zijn introductie van festinger en katz 1953, p. 1).

Een belangrijke groep van overwegingen bij zulke beslissingen hangt samen met de zorg voor een optimale confirmatie-waarde van de te verkrijgen uitkomsten. Voorbereiding van het toetsingsonderzoek houdt niet alleen in, dat men vooraf, tot in details, de toetsingsprocedure vastlegt en organiseert, om de kans op mislukking zo klein mogelijk te maken (vgl. 5;1;3), maar ook, dat men zich vooraf rekenschap geeft van de confirmatie- en evaluatie-procedure. De vraag waar het om gaat, en die vooraf moet worden gesteld, doordacht en liefst zo scherp mogelijk beantwoord, is deze: ‘Als ik mijn toetsingsonderzoek zó inricht, en als ik dan een bepaalde uitkomst krijg - uitkomen of niet uitkomen van een bepaalde voorspelling - in hoeverre zal ik daaruit dan conclusies kunnen trekken met betrekking tot de hypothese (of theorie), die ik wil toetsen?’ Deze vraag kan worden gesplitst in verschillende, zij het onderling samenhangende, soorten overwegingen met betrekking tot de confirmatiekwestie, die van grote betekenis zijn om verstandige keuzen te doen voor de toetsings-opzet.

Ten eerste: hoe relevant is de, door deductie verkregen, experimentele vraagstelling (de voorspelling en de mogelijke uitkomsten daarvan) voor de te toetsen theorie of hypothese? Is de keuze van de te toetsen consequentie goed? Betreft het een fundamentele assumptie? Is de ‘logische afstand’ tot de hypothese of theorie niet groter dan nodig is? Wat wordt aangetoond en, vooral, wat wordt weërlegd door een bepaalde bevinding? (vgl. 4; 1; 3). En, zeker niet het minst belangrijk: is de deductie juist, volgt de voorspelling werkelijk uit de theorie, zal men (d.w.z. het forum) daartegen geen bezwaar kunnen maken?

We weten, ten tweede, dat de empirische vraagstelling niet alleen door deductie in engere zin, door strikt logische stappen uit de hypothese is afgeleid, maar ook via empirische specificaties (vgl. 3; 2). Zijn deze acceptabel? Met name: vertegenwoordigen de variabelen-zoals-bepaald nog in voldoende mate de begrippen-zoals-bedoeld (vgl. 3; 2; 1, 3; 3; 4, en 4; 2; 4)? Zijn de operationele definities voldoende adequaat aan de begrippen, zijn de juiste methoden en instrumenten gekozen, en zijn deze instrumenten objectief, betrouwbaar en valide (vgl. hfdst. 6, 7 en 8)? In de gedragswetenschappen en de sociale wetenschappen komt het vaak voor dat de onderzoeker zelf de instrumentele realisering van sommige van zijn begrippen moet verzorgen: is dit optimaal en bevredigend gedaan? Representeert de variabele het begrip nog voldoende, dus zo dat men achteraf de bevinding met betrekking tot de operationeel gedefinieerde variabele - met zeker voorbehoud eventueel, maar toch ook met zeker recht - kan generaliseren tot een conclusie met betrekking tot het begrip? Het behoeft geen nader betoog, dat het voor de confirmatiewaarde van de experimentele uitkomsten van groot belang is dit alles vooraf te analyseren.

Ten derde is het van belang dat de onderzoeker zich terdege rekenschap geeft van mogelijke alternatieve (theoretische) interpretaties van het uitkomen (of niet-uitkomen) van de voorspelling. Voor een deel betreft dit de vraag naar mogelijke andere theoretische modellen, die misschien de uitkomst evengoed zouden kunnen verklaren, m.a.w. de vraag of de toetsingsopzet voldoende scherp discrimineert tussen verschillende theorieën (vgl. 4; 1; 3).

Een speciale mogelijkheid, waarvan het van bijzonder veel belang is haar te voorzien, is al eerder ter sprake gekomen (vgl. 3;4;2): interpretatie van de uitkomst door een zogenaamde storende factor. Schematisch kan men dit geval als volgt illustreren. Men wil bijvoorbeeld een statistisch verband tussen A en B aantonen, zeg: A's zijn relatief vaker B dan niet-A's; en men zou inderdaad bij het toetsingsonderzoek vinden, dat significant meer A's dan niet-A's B zijn. Dit wordt nu echter bijvoorbeeld geïnterpreteerd als een gevolg van het feit, dat in de onderzoek-steekproef - niet in de populatie - de A's tevens relatief vaker C waren; terwijl het bekend (of zelfs alleen maar waarschijnlijk) is, dat er een verband tussen C en B bestaat. Ergo: de onderzoek-bevinding zegt niets over het verband tussen A en B in de populatie, dat men wilde aantonen. Anders uit-

gedrukt:1 door de aanwezigheid van de storende factor, i.c. de scheefgetrokken steekproef, waren, volgens deze kritiek, voor de uit de theorie in kwestie afgeleide voorspelling de verifieerbaarheidscondities niet vervuld (vgl. 3;4;2). Het is van groot belang zulke mogelijke C-interpretaties zelf te voorzien, en dan te trachten de opzet van het onderzoek zó te veranderen dat zij redelijkerwijze kunnen worden uitgeschakeld. In de gedragswetenschappen van de mens is dit uitschakelen van ‘storende factoren’ bij de toetsingsopzet één van de grootste zorgen van de onderzoeker. Zoals we in het vervolg van dit hoofdstuk en in hoofdstuk 6 nog zullen zien, gaat het daarbij vaak om overwegingen van objectiviteit; d.w.z. de storende factor is: contaminatie van de steekproef of van het onderzoekmateriaal door ‘subjectieve factoren’. Het is zaak de steekproef of steekproeven zo te trekken en de onderzoek-condities zo te regelen, dat zulke alternatieve interpretaties bij voorbaat worden uitgesloten.

Ten vierde is een meer technisch type van confirmatie-overwegingen van groot belang bij de onderzoek-opzet, namelijk: statistische overwegingen. De vraag uit welke populatie men een steekproef zal trekken en hoe deze getrokken zal worden kan dikwijls alleen mede op statistische gronden verstandig worden beantwoord. Hoe groot moet de steekproef zijn (hoeveel gevallen), om via de bedoelde (statistische) bewerkingen voldoende zekere conclusies mogelijk te maken? Welke bewerkingen zal men toepassen, welke statistische toets is het meest adequaat? Welk significantie-niveau zal men kiezen, en zal er één- of tweezijdig worden getoetst? Bij de overwegingen, die de keuze van een efficiënte toetsingsopzet bepalen, spelen de statistische een vooraanstaande rol. Weliswaar

is de grote aandacht die in boeken over ‘experimental design’ wordt gegeven aan statistische overwegingen bij de experimentatie (vgl. b.v. edwards 1956) in belangrijke mate een gevolg van het feit, dat deze zich beter tot een technische, specialistische uitwerking lenen dan de meer qualitatieve, die onder ten eerste, ten tweede, en gedeeltelijk ten derde werden besproken. Dit neemt echter niet weg, dat zij óók van groot belang zijn. Ook hiervoor geldt, dat de onderzoeker er goed aan doet vooraf de gehele bewerkings- en statistische toetsingsprocedure in details uit te werken en, per mogelijke uitkomst, te analyseren hoe dan de confirmatie en evaluatie zal verlopen. Als het toetsingsonderzoek wordt uitgevoerd, moet dit alles tot in details doordacht zijn en, qua te volgen procedures, vastliggen.

5;1;3 Praktische overwegingen.

Een andere groep van keuze-beperkende overwegingen is van meer praktische aard. Voor een deel waren deze in de bovenstaande bespreking van de (‘ideale’) confirmatie-overwegingen reeds begrepen, bijvoorbeeld daar waar sprake was van een ‘efficiënte’ opzet. Dit begrip houdt immers in, dat men het doel bereikt met een zo gering mogelijke inspanning: besteding van tijd, aantal proefpersonen, instrumentarium, kosten. Dit is stellig een praktisch gezichtspunt - dat overigens weinig toelichting behoeft. Hetzelfde geldt voor absolute beperkingen van onderzoek-mogelijkheden, zoals die gesteld worden door het beschikbare budget, de bekwaamheden van de beschikbare medewerkers, de verkrijgbaarheid van gegevens, en dergelijke.

Een belangrijke praktische vraag is die naar de aanwezigheid van goede - objectieve, betrouwbare en valide - instrumenten, voor de bepaling van de variabelen, die men nodig heeft (tests, inclusief bewerkingswijzen van het te verkrijgen materiaal, gestandaardiseerde schalen, enquêtemethoden en dgl.). Weliswaar kan de onderzoeker soms op voldoende adequate wijze zelf zijn begrippen instrumenteel realiseren, maar het komt ook vaak voor dat dit een zo omvangrijk (‘instrumenteel’, vgl. 9; l; 3) onderzoek op zichzelf zou vergen, dat dit niet in aanmerking komt. Men moet het dan dus hebben van bestaande, goed geijkte instrumenten - die in Nederland helaas nog bijzonder zeldzaam zijn in de sociale wetenschappen.1 Tenslotte is ook de beschikbaarheid van mechanische c.q.

elektronische hulpmiddelen voor de verwerking van het materiaal een factor van belang, vooral op onderzoekgebieden waar men op ingewikkelde statistische verwerkingswijzen (b.v. factor-analyse) en/of op grote aantallen gevallen aangewezen is (brouwer 1957).

Zo simpel en doorzichtig als het feit is, dat zulke praktische kwesties invloed hebben op onderzoek-beslissingen, zo ingewikkeld en irrationeel is dikwijls de wijze waarop zich die invloed in de onderzoek-praktijk doet gelden. Het succes van een onderzoeker hangt waarschijnlijk voor een belangrijk deel af van zijn vaardigheid om zulke praktische factoren te organiseren: financiële steun te krijgen; hulpmiddelen (testmethoden, machines voor bewerkingen) te verkrijgen, of te vinden en te gebruiken als zij in principe beschikbaar zijn; het onderzoekplan aan de beschikbare gelden, hulpmiddelen en staf aan te passen. Wie niet gewend is aan veel technische hulpmiddelen (geijkte objectieve methoden en tests, statistische bewerkingstechnieken, sorteer- en rekenmachines), neemt ze dikwijls ten onrechte niet, of op inadequate wijze,1 in zijn onderzoekplan op, ook dan als zij wel beschikbaar zijn; wie er teveel aan gewend is, ziet gemakkelijk meer directe, eenvoudige procedures over het hoofd. Hoewel het argument van geringe middelen - b.v. in vergelijking tot de Verenigde Staten - vaak, en soms ook wel terecht, wordt gehanteerd om afwezige of gebrekkige research te verontschuldigen, wringt de schoen dikwijls op een andere plaats: onvoldoende staf, onvoldoende kennis van de mogelijkheden en beperkingen van hulpmiddelen en technieken. Het is hier niet de plaats om een casuïstiek van gangbare research-tekortkomingen in dit vlak op te stellen. Het is echter wel zeker, dat deze praktische, zo men wil technische, overwegingen bij de opzet en de voorbereiding van research-plannen (toetsingsonderzoekingen of andere) veel meer aandacht verdienen dan zij, althans in Nederland, dikwijls krijgen.

Tot de praktische overwegingen kan men ook rekenen die van inpassing in een groter plan, en die van aansluiting bij wat anderen hebben gedaan. Ook dit is een punt van efficiëntie. Deze is in een individualistisch land als Nederland vaak ver te zoeken. Men is te vaak geneigd eigen theorieën na te jagen en telkens weer iets ‘interessants’, nieuws te beproeven, in plaats van een consequente lijn te volgen: voor research nodige tests te construeren of te vertalen, te ijken; ‘replicaties’ van reeds eerder uitgevoerd onderzoek te verrichten (herhalingen van het onderzoek met een andere steekproef); kortom: een steentje bij te dragen tot een reeds ontworpen en gedeeltelijk opgetrokken gebouw, in plaats van telkens weer een ‘eerste steen te leggen’. Ook dit zijn praktische overwegingen van betekenis, die meer aandacht verdienen dan zij vaak krijgen.

5;1;4 Het belang van analyse vooraf.

De beschrijving van het proces van voorbereiding van een toetsingsonderzoek als een reeks keuzen, of als een reeks beslissingen met betrekking tot subproblemen van het hoofddoel (namelijk de confirmatie van een hypothese), zal de lezer misschien reeds aan hoofdstuk 1 (met name 1:2) hebben herinnerd. De planning van een toetsingsonderzoek is inderdaad in principe niet zo verschillend van planning en doelgericht denken voor andere doeleinden. Waar het op aankomt is het vooruit zien en analyseren van consequenties. Ook de schaker doet dat wanneer hij een plan opstelt of zetten vooruitberekent om tot de keuze van een zet te komen.

De researcher heeft echter het voordeel dat hij niet gedwongen is het bij ‘mentaal proberen’ (1;1;4) te laten. Hij kan van papier en potlood gebruik maken, van allerlei vormen van exploratief proberen, en hij mag ‘consulteren’ - middelen, die de schaker althans tijdens de partij ontzegd zijn. Het is van groot belang deze middelen uit te buiten om tot een zo doordacht mogelijke toetsingsopzet te geraken. In verband met de keuzevrijheid van de onderzoeker, en vooral, in verband met de diversiteit van research-problemen en -situaties, kan men voor de uitwerking van de regel, dat ‘alles vooraf moet worden doorgeanalyseerd’, natuurlijk geen strikte normen opstellen. Er zijn echter wel enkele mogelijkheden te noemen en aanbevelingen te geven.

Een zo volledig mogelijke uitwerking op papier van de toetsings- (c.q. experimentele) opzet vooraf, is in ieder geval sterk aan te bevelen. Deze moet dan bevatten:

een korte expositie van de theorie, een formulering van de te toetsen hypothese(n);

een precieze weergave van de deducties die tot de te verifiëren voorspellingen leiden;

een beschrijving van de te gebruiken instrumenten - in de ruimste zin - compleet met instructies voor hun hantering (operationele definities) tot en met de bepaling, in een vastgelegde schaal (vgl. 7;2;2), van de te gebruiken variabelen;

een duidelijke bepaling van de universa waarop de hypothese en waarop de te verifiëren voorspelling betrekking heeft;

een preciese beschrijving van de wijze waarop men steekproeven wil trekken of samenstellen;

een vastlegging van de confirmatie-criteria, inclusief formulering van eventueel gebruikte nulhypothese(n), keuze van statistische toets(en), significantieniveau en resulterende confirmatie-intervallen (vgl. 3;4;2 en 4;1;3).

In aansluiting hieraan kan dan in het geschreven plan, naar gelang van het geval, meer of minder aandacht worden besteed aan die verder strekkende, naar de theorie en eventueel naar toepassing generaliserende confirmatie- en evaluatie-kwesties die uiteindelijk de belangrijkste zijn.

De eis, dat dit alles vastgelegd moet zijn, wordt niet alleen gesteld uit administratief-organisatorische overwegingen, d.w.z. om de toetsing (en de evaluatie) zelf zo vlot en foutloos mogelijk te doen verlopen. Deze overwegingen kunnen belangrijk genoeg zijn, maar belangrijker is het gebruik van voorlopige versies van het onderzoekplan als ‘working paper’. Pas wanneer men alle stappen doordenkt, dóórdat men ze moet uitschrijven, plegen zwakheden van de opzet, onduidelijkheden met betrekking tot de confirmatie-vraag (5;1;2) en uitvoerbaarheidsproblemen (5;1;3) scherp aan het licht te komen. Men kan ze dan trachten te verhelpen vóórdat men voor het fait accompli van een mislukt onderzoek of een moeilijk interpreteerbare uitkomst komt te staan.

In sommige gevallen kan het van groot belang zijn vooraf de consequenties uit te werken, die een bepaalde empirische uitkomst zou hebben - stel dat deze gevonden werd - voor het theoretische model, waarmee men meent te kunnen werken. Hierbij kan het nodig zijn zich in mathematische details te begeven. Zo werd bijvoorbeeld door Clyde H. Coombs bij het zoeken naar de psychologische utiliteitsfuncties, die het menselijke gedrag

bij wedden en kansspelen bepalen, vóórdat tot een experimentele opzet werd besloten, geregeld de vraag gesteld en geanalyseerd, wat voor soort model (mathematisch uitgewerkt) er precies zou moeten corresponderen met een bepaald, empirisch mogelijk, gedragspatroon van de proefpersonen. Pas als dit duidelijk is, dus als men de experimentele opzet zo heeft weten te maken, dat de uitkomsten scherp discrimineren tussen verschillende acceptabele en duidelijke utiliteitsmodellen, wordt tot experimentatie besloten (coombs 1958). Helaas komen zulke overwegingsen discussie-processen, die aan het toetsingsonderzoek zelf zijn voorafgegaan, vaak in de publikaties over het onderzoek nauwelijks meer ter sprake - een reden te meer om er hier de nadruk op te leggen.

Na al het bovenstaande behoeft de betekenis van uitwisseling, onderlinge kritiek en discussie, voor het tot stand komen van een goede opzet nauwelijks meer te worden onderstreept. Eén vorm daarvan is consultatie van experts, een andere groeps-discussie met collega's in de research, of, in universitair verband, met assistenten en gevorderde studenten. Beide worden in Nederland nog steeds te weinig consequent toegepast in de sociale- en gedrags-wetenschappen. Onderwijs-experimenten, bijvoorbeeld zijn zelden gebaseerd op een voldoende uitgewerkt plan (de groot 1959a); en ook op andere gebieden wordt maar al te vaak verzuimd de methodologische en/of statistische expert te raadplegen - of hij wordt er bijgehaald als het onderzoek al is geschied en er niet veel meer te repareren valt.1 Kritische groepsdiscussies zijn uiteraard vooral dan noodzakelijk als research wordt verricht door samenwerkende personen of instituten. Het is dan zaak de experimentele opzet tot het bittere einde dóór te analyseren en te organiseren, d.w.z. totdat men er zeker van is dat een zó verricht onderzoek zinvol is (5;1;2) én tot in details geregeld en vlot uitvoerbaar is (5;1;3). Maar ook wanneer de organisatie-vorm van het onderzoek geen groeps-overleg vereist, kan groeps-discussie bijzonder nuttig zijn indien zij op deze basis wordt gevoerd. Voorwaarde is dan, dat er òf een tot in details uitgewerkte experimentele opzet uitkomt, òf, eventueel, een zorgvuldig gemotiveerde groepsbeslissing, dat een onderzoek langs de voorgestelde lijnen niet zinvol of niet goed genoeg uitvoerbaar is. Ook in het universitaire onderwijs, en in het algemeen voor

de opleiding van goede sociaal-wetenschappelijke onderzoekers kunnen hierop gerichte discussie-groepen belangrijke diensten bewijzen.

Tenslotte moet nog als een belangrijk hulpmiddel voor de opstelling van een goede onderzoek-opzet genoemd worden het empirische c.q. experimentele vóór-onderzoek. Vooral bij meer omvangrijke, kostbare onderzoekingen is het zaak risico's van mislukking of onduidelijkheid zoveel mogelijk vooraf uit te schakelen. Dit kan vaak worden gerealiseerd door een zgn. pilot investigation, op kleine schaal. Daarin beproeft men de gehele opzet aan de praktijk, nog niet om resultaten te krijgen, maar om te zien ‘of het gaat’: of de verschillende onderdelen uitvoerbaar zijn; of de situaties of condities, die men bijvoorbeeld experimenteel wil creëren en vergelijken, inderdaad volgens plan intreden, en dgl. Soms is een vooronderzoek alleen op bepaalde kritieke onderdelen gericht. Men wil bijvoorbeeld in een groepsexperiment één van de proefpersonen het gevoel geven door de groep verstoten te worden: heeft het middel dat men daartoe heeft uitgedacht - b.v. vooropgezet frustrerend gedrag van pseudo-proefpersonen in de groep (hutte 1953, p. 15 e.v.) - inderdaad dit effect? De wenselijke omvang van zulke vóór-onderzoekingen varieert naar gelang van het onderwerp, maar als algemene aanbeveling kan zeker worden gesteld, dat het tenminste noodzakelijk is aan een aantal gevallen vooraf te beproeven of de onderzoek-methode ‘werkt’. Zeer dikwijls leidt dit tot verbeteringen in de instructies, tot het wegwerken van onduidelijkheden en misverstanden, en dgl. - en het kàn leiden tot de, uiterst belangrijke, conclusie dat de opzet niet deugt en radicaal moet worden veranderd, of opgegeven.

 

Deze paragraaf is sterk betogend, bijna propagandistisch gesteld. Dit is echter nodig omdat in Nederland het belang van de voorbereiding van research nog steeds zeer vaak onderschat wordt. Men wil te gauw beginnen, respectievelijk resultaten zien, men is te individualistisch of te bang voor kritiek om anderen, experts en collega's, erbij te betrekken; en het gevolg is een vloed van onderzoekingen en onderzoekinkjes, die door gebreken in de opzet theoretisch onbeduidend en/of praktisch vrijwel waardeloos zijn. Het is van groot belang, niet alleen dat de onderzoekers en de onderzoekers-in-spe de hier beschreven technieken van de toetsingsopzet beheersen, maar ook dat de opdrachtgevers, die de fondsen verstrekken, van de betekenis ervan op de hoogte zijn. Welke gevolgen

onvoldoende aandacht voor de opzet van een onderzoek kan hebben, en met name welke worstelingen er daarna nodig kunnen zijn om tenslotte toch nog tot redelijke resultaten te komen, is aan het geval van het zgn. Bazen-onderzoek duidelijk beschreven in hoofdstuk 14 van het betreffende rapport (c.o.p. 1959).

Als praktische conclusie wordt daar gesteld, dat men erop moet rekenen, dat voor een goed sociaal-wetenschappelijk onderzoek - als ruwe schatting - circa een kwart van de tijd, de inspanning en het budget gaat zitten in de voorbereiding van de (toetsings-)opzet. Verder wordt aanbevolen het maken van een opzet te beschouwen als een zelfstandig onderdeel, waartoe apart opdracht wordt gegeven. Daardoor blijft de belangrijke mogelijkheid open, dat of de research-groep of de opdrachtgever kan besluiten, dat het oorspronkelijke onderzoekplan niet op zinvolle wijze uitvoerbaar is. Een beslissing hierover kan men inderdaad pas op goede gronden nemen als het onderzoek-plan voldoende is uitgewerkt.


Vorige Volgende