• Verwerking en analyse meerkeuzetoetsen

  Meerkeuzetentamens afgenomen op papier kunnen door de Tentamenservice van team Education Analytics automatisch worden verwerkt. De formulieren worden gedrukt door de afdeling Repro van de VU en kunnen worden afgehaald bij het onderwijsbureau van de faculteit. De ingevulde tentamenformulieren kunnen worden ingeleverd bij de Tentamenservice, voor verwerking en analyse. (Zie de Procedure meerkeuzetentamens voor een uitgebreide beschrijving van de procedure).

  Bij de uitslag van de toets wordt altijd een betrouwbaarheids- en itemanalyse en interpretatie hiervan bijgeleverd. De kwantitatieve analyse van een toets geeft informatie over de kwaliteit van het tentamen in zijn geheel, zoals betrouwbaarheid en moeilijkheidsgraad,) en over die van de afzonderlijke vragen. De informatie die door de Tentamenservice geleverd wordt, geeft de docent/examinator inzicht in de kwaliteit van de toets en geeft hierbij handvatten voor het verbeteren ervan. Zo kan deze analyse een belangrijke bijdrage leveren aan de kwaliteitszorg van toetsing.
  
  Het kan hierbij gaan om meerkeuzetoetsen met vragen met twee, drie, vier, vijf of zes antwoordmogelijkheden (alternatieven).
  
  Daarnaast is het mogelijk de toets af te nemen in maximaal zes verschillende volgordeversies (waarbij de vragen in een andere volgorde staan om afkijken tegen te gaan).
  Na verwerking krijgt de docent via e-mail de volgende gegevens:

  • per student op naam en studentnummer de ruwe score (het aantal goed beantwoorde vragen) en het daaraan verbonden cijfer, berekend op basis van de door de examinator opgegeven cesuurscore;
  • het percentage geslaagde studenten (cijfer 5.5 of hoger);
  • de verdeling van de ruwe scores en de cijferverdeling over alle deelnemende studenten;
  • een betrouwbaarheids- en itemanalyse met daarbij:
    • a. de betrouwbaarheid van het tentamen (Cronbach's alpha/KR-20)
    • b. de moeilijkheidsgraad (gemiddelde P-waarde);
    • c. per vraag en per alternatief het percentage studenten dat het desbetreffende alternatief heeft gekozen (a-waarden);
    • d. per vraag het percentage studenten dat de vraag goed heeft beantwoord (p-waarden)
    • e. de discriminatiewaarden (item-restcorrelaties of Rir-waarden): indicatie van de mate waarin een vraag onderscheid maakt tussen studenten met en studenten zonder kennis van de stof; een korte toelichting van de psychometrische begrippen in het algemeen
  • de interpretatie van de analyse van de toets
  • een aantal genoemde toetsvragen waarvoor een eventuele aanpassing benodigd is

  Voor een voorbeeld van een begeleidende brief bij de item-analyse zie: Voorbeeldbrief Tentamenanalyse
      
  Naar aanleiding van de uitslag en de uitkomsten van de itemanalyse is het mogelijk de toets met gewijzigde gegevens opnieuw te laten verwerken, bijvoorbeeld met weglating van ongeschikt bevonden vragen en/of het goedkeuren van meerdere alternatieven. De Tentamenservice verwerkt de toets in principe binnen vijf werkdagen, gerekend vanaf de dag na inlevering van het tentamen in de inleverbox. De inleverbox bevindt zich in het souterrain van het Hoofdgebouw, naast de trap, tegenover de Security Desk bij KC-04.

• Procedure meerkeuzetentamens

  Hieronder vindt u de beschrijving van de exacte procedure (met betrekking tot de aanlevering van de toets en het bijbehorende verwerkingsformulier).   

  • Procedure meerkeuzetentamens
  • Verwerkingsformulier tentamens NL
  • Verwerkingsformulier tentamens ENG - Exam processing form

• Analyse van toetsen met open vragen

  Naast het verwerken en analyseren van meerkeuzetoetsen, bestaat er bij de Tentamenservice van het team Education Analytics ook de mogelijkheid om een analyse te maken van de kwaliteit van toetsen met open vragen. De informatie die geboden wordt, komt overeen met die van meerkeuzetentamens (de betrouwbaarheid van het tentamen, de moeilijkheidsgraad, de p-waarden en Rir-waarden). Om een dergelijke analyse te maken, zijn specifieke gegevens van de gemaakte toets nodig, waaronder de ruwe scores van de studenten op alle vragen en deelvragen. Neem voor meer informatie contact op met de Tentamenservice VU.

• Maatwerkbegeleiding constructie meerkeuzevragen

  Team Education Analytics biedt maatwerkbegeleiding voor individuele docenten bij het maken van gesloten toetsvragen. In de praktijk blijkt het niet eenvoudig om goede, valide vragen te stellen. Enkele veel gemaakte fouten bij het opstellen van meerkeuzevragen zijn:

  1. Vragen die niet aansluiten bij de kern van de stof, maar een detail betreffen. Toetsing zou echter altijd moeten aansluiten bij de leerdoelen.
  2. Vragen waarbij meerdere aspecten in één vraag zitten (bijvoorbeeld met de alternatieven: A) 1 is juist, 2 is onjuist, B) 1 is onjuist, 2 is juist, C) 1 is juist, 2 is juist, D) 1 is onjuist, 2 in onjuist). Feitelijk zijn er dan meerdere antwoorden deels goed, terwijl er maar bij één antwoord punten worden toegekend. Dit type vragen kan men beter vermijden door bijvoorbeeld over elk aspect een afzonderlijke vraag op te nemen in de toets.
  3. Vragen waarbij er vier alternatieven zijn, maar waarbij sowieso één alternatief geen goede afleider is. Het is niet eenvoudig om goede afleiders te formuleren en bovendien is het niet noodzakelijk dat alle vragen hetzelfde aantal alternatieven hebben.  

  Docenten kunnen een concepttoets bij team Education Analytics aanleveren en vervolgens kan er in een bijeenkomst met de docent feedback worden gegeven op de conceptvragen.

• Kosten

  • Voor tentamenanalyse van mc-tentamens én open vraag toetsen zijn geen nadere kosten (deze zijn opgenomen in het Kosten Doorbelasting Model (KDM):
  • De kosten voor aanschaf van papieren antwoordformulieren is hierin niet inbegrepen, maar verloopt via Repro;
  • Advies bij het opstellen van tentamens (beschikbaarheid en planning graag in overleg).

Wil je meer weten?