Tip 1: vuistregel - neem in een tentamen veertig vragen op
Is er een leidraad voor hoeveel vragen je opneemt in een toets met vierkeuzevragen? Ja, het korte antwoord is: minimaal veertig. Daar zit een redenering achter vanuit een betrouwbaarheids- en validiteitsoverweging: (1) zorgen dat de uitslag voor een individuele student niet te veel afhankelijk is van het toeval, (2) dat je daadwerkelijk meet wat je wilt meten en (3) dat één en ander uitvoerbaar blijft.
Om toeval in de meting zoveel mogelijk uit te sluiten streef je naar een hoge betrouwbaarheid wat betekent dat de toets een (naderhand) berekende betrouwbaarheidscoëfficiënt cronbach alpha van meer dan 0,75 heeft. Daarnaast wil je dat de validiteit van de toets goed is, dat wil zeggen dat je toets de onderwerpen van de cursus goed afdekt. Tot slot wil je dat de tijd die het kost voor een student om de toets af te ronden niet te lang is zodat studenten niet overmatig lang hoeven concentreren en dat het nog roosterbaar is. Om dit voor elkaar te krijgen zijn er drie factoren die je alle drie gezamenlijk moet toepassen waarbij is gebleken dat het aantal van veertig vierkeuzevragen een mooi optimum is. Valt er een factor weg, dan valt ook de aanvaardbaarheid van de betrouwbaarheid en de validiteit van je toets weg - net als een kruk die drie poten nodig heeft.
Het gaat om de volgende drie factoren:
- Je bedenkt discriminerende toetsvragen. Dat betekent vragen waarop studenten met een betere algemene kennis of vaardigheid meer kans hebben om correct te antwoorden en omgekeerd.
- Je neemt de toets af bij een studentenpopulatie met een redelijke spreiding in kennis of vaardigheid.
- De hoeveelheid stof van je cursus is niet te beperkt of te uitgebreid (zeg tussen 8-12 verschillende onderwerpen).
Als je niet in staat bent goed discriminerende vragen te ontwerpen of de stof is veel uitgebreider, dan moet je overwegen om meer vragen in je toets op te nemen als het ook mogelijk is om meer toetstijd in te plannen. Als je weet dat de vaardigheidsverschillen klein zijn (dat is overigens niet eenvoudig vast te stellen), dan zijn er p geen consequenties, behalve dat de berekende betrouwbaarheid van je toets laag is.
Tip 2: varieer op de vuistregel
Er zijn verschillende variaties mogelijk op de bovenstaande vuistregel, afhankelijk van de situatie. hieronder lees je er twee:
- Meer vragen in een toets. Afhankelijk van de bron die je erop naslaat, zullen meer of minder vragen aanbevolen worden. Zo beveelt CITO minimaal zestig vragen aan. En dat is verklaarbaar omdat zij toetsen maken waar nog grotere belangen aan hangen dan bij tentamens en dus betrouwbaarder moeten zijn.
- Minder vragen in een toets. Mocht het eindcijfer op een cursus worden opgebouwd uit twee deeltoetsen, dan kun je per toets minder vragen gebruiken. De individuele toets is dan wat minder betrouwbaar, maar de betrouwbaarheid van de uitslag voor de cursus als geheel (namelijk de twee toetsen bijelkaar) is dan waarschijnlijk toch acceptabel.
Tip 3: driekeuzevragen zijn eigenlijk beter
Niet alleen het aantal vragen is belangrijk om over na te denken bij een meerkeuzetoets, maar ook het aantal antwoordalternatieven. Daarom eerst deze vraag: is volgens jou een meerkeuzetoets met drie antwoordalternatieven per vraag beter, of vier? Je bent niet de enige als je denkt dat vier de beste optie is, toch is dit helaas een misvatting. Het gebruik van de vier keuzemogelijkheden in Nederland als norm werd bedacht door A.D. de Groot (1946) die meerkeuzetoetsen naar Nederland bracht. Hij nam eigenlijk een persoonlijk standpunt in door het type meerkeuze-item met vier keuzemogelijkheden te promoten. Dit is inmiddels onderdeel van de cultuur geworden. Mede daardoor denken we vaak dat vier keuzemogelijkheden het beste zijn voor meerkeuzetoetsen, drie keuzes zouden het namelijk te gemakkelijk maken voor de student. Maar de moeilijkheidsgraad vloeit eigenlijk voort uit de inhoud van de vraag en de kwaliteit van de afleiders, niet uit het aantal alternatieven.
Review studies (Rodriguez, M. C., 2005) laten namelijk zien dat de derde afleider (het laatst bedachte incorrecte antwoord) van vierkeuzevragen over het algemeen slecht werkt: deze is niet aantrekkelijk voor zowel vaardige als weinig vaardige studenten. En dat terwijl je als docent vaak veel tijd kwijt bent om zo’n laatste afleider te bedenken. Het is daarom juist aan te raden om toetsen samen te stellen uit driekeuzevragen. Dan hou je als docent tijd over om meer vragen te maken, dit heeft twee voordelen: je hebt een betere spreiding over de stof en je verhoogt de betrouwbaarheid.