4. Vuistregels voor een betrouwbare toets
Het is belangrijk dat een toets zo betrouwbaar mogelijk is of met andere woorden dat de scores niet afhankelijk zijn van het toeval of van externe factoren zoals de plaats van de toetsafname of de persoon die de toets afneemt. Het is evenmin wenselijk dat een kandidaat door te gokken goede scores haalt op een toets of dat een andere kandidaat een hele opdracht niet kan uitvoeren omdat de instructie niet duidelijk is. Bij een tweede afname van een toets zouden de scores bij éénzelfde kandidaat niet te veel mogen verschillen van de eerste afname.
Onafhankelijke vragen Geef kandidaten de kans om elke vraag goed te beantwoorden, ook al is een vorige vraag niet of fout beantwoord. Wanneer vragen onderling van elkaar afhangen, resulteert één gemaakte fout automatisch in meerdere fouten en geeft de score een vertekend en ongenuanceerd beeld. Een vaak voorkomende toets met afhankelijke vragen is deze: een kandidaat krijgt een tekst in vier stukken gehakt die hij in de juiste volgorde moet plaatsen. Wanneer je de plaats van elk stuk tekst apart beoordeelt, krijg je afhankelijke scores. Als stuk A foutief op plaats 3 wordt gezet, waar eigenlijk stuk B thuishoort, dan maakt de kandidaat automatisch twee fouten. Beide stukken tekst staan verkeerd. De scores voor stuk A en B zijn in dit geval afhankelijk van elkaar. Dit probleem kan opgelost worden door de opdracht als onderdeel op te nemen in een groter toetsgeheel en globaal te scoren met één score voor de hele taak: álle stukken in de goede volgorde levert één goede score op, minstens één fout in de volgorde levert geen punten op. Je kan de afhankelijkheid in taakvarianten waarbij elementen op een bepaalde plaats moeten worden gezet ook beperken door in de instructie aan te geven dat meerdere elementen op een zelfde plaats mogen worden gezet. Wanneer één element fout wordt geplaatst, wordt niet noodzakelijk een ander element ook op een foute plaats gezet.
Een opdracht met hetzelfde probleem van afhankelijke vragen/antwoorden is het geven van een wegbeschrijving waarbij je vraagt de weg aan te duiden op een kaart of stratenplan. Als een kandidaat één van de stappen in de wegbeschrijving fout aanduidt op de kaart, zal hij de volgende stappen sowieso ook fout doen. Na de verkeerd begrepen stap zit de kandidaat immers op een verkeerde plaats op de kaart van waaruit hij de juiste weg niet meer kan volgen. Hier kan dit probleem omzeild worden door momenten in te bouwen waarop alle kandidaten sowieso terug op de goede weg wordt gezet. De scores voor de stappen in de wegbeschrijving na zo een moment zijn dan onafhankelijk van de scores voor de stappen ervoor.
Eenvoudige en duidelijke vragen en instructies Instructies zorgen ervoor dat kandidaten weten hoe een toets gemaakt moet worden. Ze mogen dus geen drempels vormen waardoor kandidaten een toets niet (goed) kunnen uitvoeren. De scores op de toets leveren dan geen betrouwbare informatie over de taalvaardigheid van de kandidaten. De instructies bij een toets moeten behalve makkelijk te begrijpen dan ook ondubbelzinnig zijn. Laat kandidaten niet in het ongewisse. Geef duidelijk aan wat ze precies moeten doen en hoe dat moet gebeuren. Ook de vragen in de toets zelf moeten eenvoudig en duidelijk zijn zodat de kandidaten ze zonder problemen begrijpen en via hun antwoorden kunnen aantonen hoe het met hun taalvaardigheid gesteld is.
Als instructies of vragen te moeilijk zijn, heeft dat niet altijd te maken met de manier waarop ze geformuleerd zijn. Ze horen misschien bij een procedure die ongewoon is voor de kandidaten. Kandidaten die bijvoorbeeld gewoon zijn open leesopdrachten uit te voeren, kunnen soms moeite ondervinden bij het beantwoorden van meerkeuzevragen of omgekeerd. Het is daarom raadzaam om een nieuwe toetsprocedure met nieuwe instructies op voorhand een keer te oefenen met de kandidaten.
Voldoende vragen Met een toets wil je te weten komen hoe het staat met de taalvaardigheid van de kandidaten. Iedere kandidaat moet voldoende kans krijgen om zijn taalvaardigheid aan te tonen zonder dat zijn of haar toetsprestaties negatief worden beïnvloed door toevalligheden zoals een persoon die binnenkomt tijdens de toets, geluid op de speelplaats, een verstrooid moment, een verkeerd begrepen instructie, … . Om de invloed van zulke toevalligheden zoveel mogelijk in te perken, moet de toets genoeg vragen en opdrachten bevatten. De vraag waarbij een kandidaat door een toevalsfactor de mist ingaat, weegt bij twintig vragen veel minder door dan bij drie vragen.
|