Kwaliteit en kwaliteitszorg toetsen

Waar kan Education Analytics je bij helpen?

• Verwerking en analyse meerkeuzetoetsen 

  Bij de Tentamenservice van team Education Analytics bestaat de mogelijkheid meerkeuzetoetsen automatisch te laten verwerken. Bij de uitslag van de toets wordt altijd een itemanalyse (en interpretatie hiervan) bijgeleverd. De itemanalyse van een toets geeft informatie over de kwaliteit van het tentamen in het algemeen (moeilijkheidsgraad en betrouwbaarheid) en over die van de vragen in het bijzonder. De informatie die door de Tentamenservice geleverd wordt, geeft de docent/examinator inzicht in de kwaliteit van de toets en geeft hierbij handvatten voor het verbeteren van toetsen. Zo kan deze analyse een belangrijke bijdrage leveren aan de kwaliteitszorg omtrent toetsing.
  
  Het kan hierbij gaan om meerkeuzetoetsen met vragen met twee, drie, vier, vijf of zes antwoordmogelijkheden (alternatieven).
  
  Daarnaast is het mogelijk de toets af te nemen in maximaal zes verschillende volgordeversies (waarbij de vragen in een andere volgorde staan om afkijken tegen te gaan).
  Na verwerking krijgt de docent via e-mail de volgende gegevens:

  • per student op naam en studentnummer de ruwe score (het aantal goed beantwoorde vragen) en het daaraan verbonden cijfer, berekend op basis van de door de examinator opgegeven cesuurscore;
  • het percentage gezakte studenten (cijfer lager dan 5.5);
  • de verdeling van de ruwe scores en de cijferverdeling over alle deelnemende studenten;
  • een betrouwebaarheids- en itemanalyse met daarbij: a. per vraag en per alternatief het percentage studenten dat het desbetreffende alternatief heeft gekozen (a-waarden); b. per vraag het percentage studenten dat de vraag goed heeft beantwoord (p-waarden) en de discriminatiewaarden (item-restcorrelaties of Rir-waarden): indicatie van de mate waarin een vraag onderscheid maakt tussen studenten met en studenten zonder kennis van de stof; c. de betrouwbaarheid van het tentamen (Cronbach's alpha/KR-20) en de moeilijkheidsgraad (gemiddelde P-waarde).
  • een korte toelichting van de psychometrische begrippen in het algemeen en de interpretatie ervan voor de betreffende toets.     
    

  Voor een voorbeeld van een begeleidende brief bij de item-analyse zie: Voorbeeldbrief Tentamenanalyse
     
  Naar aanleiding van de uitslag en de uitkomsten van de itemanalyse is het mogelijk de toets met gewijzigde gegevens opnieuw te laten verwerken, bijvoorbeeld met weglating van kennelijk ongeschikte vragen en/of het goedkeuren van meerdere alternatieven. De Tentamenservice verwerkt de toets in principe binnen vijf werkdagen, beginnend met de dag nà inlevering van het tentamen in de inleverbox. De inleverbox bevindt zich in het souterrain van het Hoofdgebouw, naast de trap, tegenover security desk KC-04.

• Procedure meerkeuzetentamens

  Hieronder vindt u de beschrijving van de exacte procedure (met betrekking tot de aanlevering van de toets en het bijbehorende verwerkingsformulier).   

  • Procedure meerkeuzetentamens
  • Verwerkingsformulier tentamens NL
  • Verwerkingsformulier tentamens ENG - Exam processing form

• Analyse van toetsen met open vragen

  Naast het verwerken en analyseren van meerkeuzetoetsen, bestaat er bij de Tentamenservice van het team Education Analytics ook de mogelijkheid om een analyse te maken van de kwaliteit van toetsen met open vragen. De informatie die geboden wordt, komt overeen met die van meerkeuzetentamens (de betrouwbaarheid van het tentamen, de moeilijkheidsgraad, de p-waarden en Rir-waarden). Om een dergelijke analyse te maken, zijn specifieke gegevens van de gemaakte toets nodig, waaronder de ruwe scores van de studenten op alle vragen en deelvragen. Neem voor meer informatie contact op met de Tentamenservice VU.

• Maatwerkbegeleiding constructie meerkeuzevragen 

  Team Education Analytics biedt maatwerkbegeleiding voor individuele docenten bij het maken van gesloten toetsvragen. In de praktijk blijkt het niet eenvoudig om goede, valide vragen te stellen. Enkele veel gemaakte fouten bij het opstellen van meerkeuzevragen zijn:

  1. Vragen die niet aansluiten bij de kern van de stof, maar een detail betreffen. Toetsing zou echter altijd moeten aansluiten bij de leerdoelen.
  2. Vragen waarbij meerdere aspecten in één vraag zitten (bijvoorbeeld met de alternatieven: A) 1 is juist, 2 is onjuist, B) 1 is onjuist, 2 is juist, C) 1 is juist, 2 is juist, D) 1 is onjuist, 2 in onjuist). Feitelijk zijn er dan meerdere antwoorden deels goed, terwijl er maar bij één antwoord punten worden toegekend. Dit type vragen kan men beter vermijden door bijvoorbeeld over elk aspect een afzonderlijke vraag op te nemen in de toets.
  3. Vragen waarbij er vier alternatieven zijn, maar waarbij sowieso één alternatief geen goede afleider is. Het is niet eenvoudig om goede afleiders te formuleren en bovendien is het niet noodzakelijk dat alle vragen hetzelfde aantal alternatieven hebben.  

  Docenten kunnen een concepttoets bij team Education Analytics aanleveren en vervolgens kan er in een bijeenkomst met de docent feedback worden gegeven op de conceptvragen.

• Kosten

  Met de invoering van de Producten en Diensten Catalogus (PDC) wordt een deel van werkzaamheden van team Education Analytics in het Kosten Doorbelasting Model (KDM) opgenomen, waardoor de kosten hiervoor niet meer apart in rekening worden gebracht. Met betrekking tot tentamens gaat het om de volgende werkzaamheden:

  • Tentamenanalyse (mc-tentamens én open vraag toetsen): dataverwerking en rapportage. (Aanschaf papieren antwoordformulieren niet inbegrepen: verloopt via Repro);
  • Advies bij het opstellen van tentamens (beschikbaarheid en planning graag in overleg).

Misschien ben je hier ook naar op zoek?