● Betrouwbaar toetsen
Welbeschouwd draait het in deze opstelkwestie om drie criteria waaraan elke goede toets moet beantwoorden: validiteit, betrouwbaarheid en uitvoerbaarheid.
Een toets is valide als hij meet wat hij wil meten. Een schrijftoets moet schrijfvaardigheid meten en niet bijvoorbeeld zakenkennis van een bepaald onderwerp. Het probleem is dat de meningen over wat schrijfvaardigheid is, sterk uiteenlopen. Poll en andere literatoren, die daarbij in de eerste plaats aan een aantrekkelijke stijl denken, zullen het nooit eens worden met bestrijders van functioneel analfabetisme, die het voldoende en al veelgevraagd vinden dat iemand genoeg gegevens in een brief verwerkt om antwoord te kunnen krijgen. Ja, het probleem is nog veel groter, want er gaan steeds meer (wetenschappelijke) stemmen op die beweren dat schrijfvaardigheid als een algemeen vermogen dat zich bij verschillende schrijfopdrachten min of meer constant manifesteert, niet eens bestaat.
Maar stel dat er een opgave bedacht kan worden die écht schrijfvaardigheid meet. Dan ben je er nog niet, want het zou best kunnen dat een dergelijk type opgave niet betrouwbaar (‘objectief’) door die ene examinator nagekeken kan worden. Met het traditionele opstel is dat bijvoorbeeld ook het geval: hetzelfde opstel door verschillende beoordelaars gecorrigeerd of door dezelfde beoordelaar op verschillende tijdstippen nagekeken, levert onaanvaardbaar uiteenlopende cijfers op. Praktijkmensen ontkennen dit wel vaak, maar er zijn stapels onderzoeken die het aantonen. Uit die onderzoeken komt ook naar voren dat betrouwbare beoordelingen van vrij open schrijfopdrachten - en alleen die typen lijken valide - vragen om verschillende opgaven en verschillende beoordelaars per opgave.
Dit laatste is echter bijna onuitvoerbaar, want de leraar Nederlands heeft geen tijd om verschillende examenschrijfprodukten te beoordelen, en kan ook niet als tweede, laat staan als derde of vierde corrector optreden. Bovendien heeft hij geen tijd om de kandidaten in het wenselijke brede scala van schrijfopgaven te onderwijzen, onder andere ook weer door de correctiedruk.