Een combinatie van open en gesloten vragen in één toets is daarom een prima alternatief. Maar wat betekent dit voor de verdeling van de vragen over deze twee vormen? Hoe stel je zak-slaaggrenzen in? En hoe bepaal je de toetsbetrouwbaarheid? Met deze vier stappen ben je goed op weg.
Stap 1: balanceer de toets met deze vier regels
Wanneer je open en gesloten vragen combineert in één toets, is het belangrijk om de samenstelling te balanceren. Hiervoor kun je gebruik maken van vier regels:
- Verwerk voor meerkeuze en open vragen bij elkaar zo’n 40-60 scorepunten (zie deze tip voor meer uitleg ). Zo kun je een toets krijgen die waarschijnlijk tot een redelijke betrouwbare uitslag leidt.
- Zet de meerkeuzevragen in om spreiding over de stof te realiseren. Gebruik daarvoor dan bijvoorbeeld de helft van het aantal scorepunten. Gebruik dan de rest van de scorepunten voor verdiepende open vragen. Dus bijvoorbeeld 20 meerkeuzevragen van elk 1 scorepunt en 5 open vragen van elk 4 scorepunten (= totaal 40 punten).
- Verdeel de te behalen scorepunten zodanig dat belangrijke onderwerpen en vaardigheden er meer van hebben. Van belangrijkere onderwerpen wil je namelijk meer informatie verzamelen om de uitslag op te baseren. Als er bijvoorbeeld vier onderwerpen in de cursus zitten, waarvan één onderwerp duidelijk belangrijker is dan de andere drie, dan wijs je aan dat belangrijke onderwerp bijvoorbeeld 20 scorepunten toe en aan de andere drie onderwerpen in totaal 20 scorepunten.
- Tot slot: mocht bijvoorbeeld dat ene belangrijke onderwerp niet met voldoende vragen terug kunnen komen in de toets (bijvoorbeeld omdat ze moeilijk te construeren zijn) dan zou je met het vergroten of verkleinen van het relatieve ‘gewicht’ van de scorepunten nog iets kunnen compenseren in het eindoordeel. Maar bij voorkeur doe je dat niet.
Stap 2: voorkom deze valkuilen
Bij het combineren van open en gesloten vragen in een toets, kom je verschillende valkuilen tegen. Let op dat je deze valkuilen voorkomt:
- Valkuil: geen spreiding van puntentoekenning voor open vragen. Zorg ervoor dat er een goede puntenspreiding is bij het scoren van de open vragen. Denk aan een open vraag waarbij een student 4 punten kan verdienen, maar bij het scoren krijgen de studenten alleen maar 0 of 4 punten (dichotoom scoren). Dit gaat ten koste van zowel de betrouwbaarheid van de beoordeling als – naar verwachting – het slagingspercentage. Zorg ervoor dat er bij zo’n vraag daadwerkelijk 0, 1, 2, 3 of 4 punten worden toegekend (polytoom scoren).
- Valkuil: te veel scorepunten toekennen aan moeilijke vragen. Als je dat doet krijg je namelijk een vertekend beeld van hetgeen je studenten echt kunnen. De student met meer vaardigheid scoort namelijk vanzelf al punten op alle vragen en zal vanzelf een hogere eindscore krijgen. Die score hoef je dan niet kunstmatig op te schroeven. Daarbij komt dat bovendien open vragen niet per sé moeilijker zijn dan gesloten vragen.
Stap 3: cijfers toekennen
Voor het toekennen van cijfers kun je uitgegaan van het combineren van de gegevens: alle scorepunten tel je bij elkaar op. De zak-slaaggrens wordt dan bepaald op basis van (volgens Nederlandse traditie) de raadscore van het meerkeuzedeel van de toets. De raadscore wordt afgetrokken van het totaal aantal te behalen punten van de toets en de studenten moeten dan de helft of meer scorepunten behalen van het overgebleven deel van de score-range voor een voldoende.
Wanneer je verschillende toetsvormen combineert, moeten studenten dan voor zowel het meerkeuzedeel als het open deel een voldoende scoren? Of laat je de delen elkaar compenseren?
In je toets, test je als het goed is een bij elkaar horende hoeveelheid kennis en vaardigheden, daarom is compensatie de regel. Als er in de stof onderdelen zitten die de studenten elk apart met een voldoende moeten afsluiten, spreek je eigenlijk van twee verschillende onderwijsonderdelen waarvoor twee aparte toetsen nodig zijn. Daarbij onderzoek je de betrouwbaarheid van beide onderdelen dan ook apart.
Stap 4: bereken de betrouwbaarheid
De betrouwbaarheid van combinatietoetsen met meerkeuzevragen en open vragen, is simpel te berekenen. Op basis van een score tabel waarin zowel de scores van de meerkeuzevragen staan vermeld (dichotoom: 0-1) als de open vragen (polytoom: 0, 1, 2, 3) kan Cronbach alpha berekend worden. Cronbach alpha is namelijk geschikt voor beide soorten data (in tegenstelling tot KR20 die alleen met dichotome data overweg kan). Bij veel toetssystemen worden deze analyses standaard uitgevoerd, ook het toetssysteem van de VU: TestVision.