Examinator (docent)

Voorbereidende & uitvoerende stappen die een examinator doorloopt

• Voorbereiding - Ontwerpen

  De eerste fase in het toetsingsproces is die van het ontwerpen. Hierbij worden nog geen toetsvragen gemaakt, maar gaat het om aspecten als de te toetsen onderdelen (leerdoelen), kwaliteitseisen, of er formatief of summatief getoetst gaat worden en de keuze voor de toetsvorm. Hierbij wordt aangesloten bij het toetsplan van de opleiding en wordt gebruik gemaakt van een toetsmatrijs. Zie bijlage 11 van het toetskader voor voorbeelden en een toelichting op de toetsmatrijs.

• Voorbereiding - Wat toetsen?

  Deze vraag dwingt ons om na te denken over de essentie. Hierbij gaat het om de inhoud van toetsen.

  De eindtermen van een opleiding moeten op het niveau van een studieonderdeel uitgewerkt zijn in concrete, studentgerichte en toetsbare leerdoelen. Goed geformuleerde leerdoelen bevatten minimaal twee componenten:

  • Een inhoudscomponent (dit geeft aan waarover de student iets moet leren).
  • Een gedragscomponent (dit geeft expliciet aan wat de student met de inhoud moet kunnen doen, bovendien betreft het gedrag dat de student moet kunnen vertonen beschreven in observeerbare activiteiten).

  De (summatieve) toets bepaalt of de studenten de leerdoelen van de cursus voldoende beheersen. De docent, of het docententeam heeft dan ook de taak te zorgen voor een duidelijke relatie tussen de leerdoelen van de cursus en de opzet van de toets en de toetsvragen. 

  De toetsmatrijs is een document waaruit blijkt hoe de leerdoelen van een studieonderdeel worden getoetst. Het maken van een toetsmatrijs bij het construeren van een toets heeft als doel de toets zo valide en evenwichtig mogelijk te maken. De toetsmatrijs functioneert voornamelijk als een hulpmiddel voor de examinator die de toets construeert. Het helpt hem/haar het overzicht te houden over de toets (of set van toetsen) en in hoeverre de leerdoelen in voldoende mate en op het juiste niveau getoetst worden, overeenkomend met de positie van het studieonderdeel in het toetsplan. Het helpt hem/haar bij het expliciteren van de relatie tussen de toetsvormen en de leerdoelen.

  In eerste instantie is de toetsmatrijs een instrument van de professionele docent dat hem/haar gedurende de loop van het studieonderdeel al kan ondersteunen bij het voorbereiden van de toets. Achteraf, als de toets gemaakt is, kan het helpen bij het interpreteren van de resultaten en het voor zichzelf evalueren van het verloop van het studieonderdeel.

  • Kwaliteitseis 4 : De examinator formuleert de leerdoelen toetsbaar, en stemt deze af op de eindtermen van de opleiding en op de overige studieonderdelen in het curriculum.
  • Kwaliteitseis 5 : De toetsing dient in lijn te zijn met de geformuleerde leerdoelen en de gekozen onderwijsvormen (‘constructive alignment’). Het relatieve gewicht van de leerdoelen wordt weerspiegeld in de toetsing.

  Training

  • Bij de LEARN! Academy kunnen docenten de cursus Ontwerpen van onderwijs volgen, waarvan de onderwerpen toetsen en beoordelen deel uitmaken. Ook biedt LEARN! Academy cursussen Toetsen en beoordelen op maat aan afdelingen of opleidingsteams. 
  • De kwaliteitseisen voor toetsen en beoordelen komen ook aan bod in de verschillende trajecten voor het behalen van de Basiskwalificatie Onderwijs (BKO). 
  • In het traject voor de Senior Kwalificatie Onderwijs (SKO) is aandacht voor de ontwikkeling van leerlijnen en toetsplannen op opleidingsniveau. 

• Voorbereiding - Hoe toetsen?

  Bij het ‘hoe’ van toetsing gaat het vooral om de keuze voor een bepaalde toetsvorm. Dit is een gedeelde verantwoordelijkheid van de docent/het docententeam en het opleidingsmanagement. Het is van groot belang dat de toetsvorm aansluit bij de leerdoelen, bij het niveau van de cursus of het cursusonderdeel en bij de onderwijsvorm. Dit dient dan ook het uitgangspunt te zijn bij de keuze van de toetsvorm. Tevens kunnen ook het effect van de toetsvorm op het studeergedrag van de student, de kwaliteitseisen en praktisch-organisatorische elementen zoals de grootte van de studentengroep, de onderwijsvorm en de kosten/efficiёntie de keuze van de toets mede bepalen. 

  Tentamenduur
  Soms is de beschikbare tijd ook een factor in de keuze voor de toetsvorm of het aantal vragen dat gesteld kan worden. Een vast format om te bepalen wanneer een tentamen exact aan de juiste kwaliteit voldoet, bestaat niet. Wel is bekend dat het aantal vragen van belang is voor de validiteit en betrouwbaarheid van de toets. Door SOZ Tentamenservice is een handreiking opgesteld die docenten kunnen gebruiken om te bepalen of de lengte van de tentamenopgaven correspondeert met de beoogde kwaliteit. 

  Er mag bij deze keuze niet alleen worden uitgegaan van de cursus/het cursusonderdeel op zich, maar er dient ook een evenwicht in toetsvormen over de gehele opleiding te worden nagestreefd. Een weloverwogen samenstelling van toetsvormen is noodzakelijk om recht te doen aan de verschillende vormen van kennis, vaardigheden en attitudes die van belang zijn binnen een opleiding of binnen de toekomstige beroepsuitoefening. Het opleidingsmanagement is verantwoordelijk om over dit evenwicht te waken. 

  >   Kwaliteitseis 4: Het opleidingsmanagement waakt over een evenwicht in toetsvormen over de gehele opleiding om recht te doen aan de verschillende vormen van kennis, vaardigheden en attitudes die van belang zijn binnen een opleiding of binnen de toekomstige beroepsuitoefening.
  

  Ondersteuning

  • Opstellen van (MC-)vragen/tentamens en becommentariëren toetsen
    De afdeling OKP biedt begeleiding bij het maken van gesloten toetsvragen. 
    Contact: Christoffel Reumer.
    
  • Digitale (thuis)toetsen

  1. TestVision  
     Voor digitale (summatieve) toetsen beschikt de VU over TestVison. Dit programma is volledig gericht op een veilige afname van summatieve toetsen in de (Digi)TenT en computerzalen en beschikt daarnaast over meer geavanceerde toetsmogelijkheden dan Canvas. Allerhande vraagtypen kunnen worden gebruikt, nakijken gebeurt ook digitaal en het organiseren van inzages wordt ook gefaciliteerd. Kijk voor meer informatie op de pagina Toetsorganisatie en naar de Canvas course Getting to know TestVision for teachers. 
  2. Via het leermanagementsysteem Canvas van de VU kan de docent aan de student online formatieve toetsen aanbieden. Deze toetsen kunnen bestaan uit juist/onjuist vragen, multiple-choice vragen, multiple-response vragen, numerieke vragen, open vragen etc.
     Gezien de fraudegevoeligheid van online toetsen dienen docenten af te zien van het geven van bonuspunten aan studenten voor deze toetsvorm als niet zeker gesteld kan worden dat studenten niet dezelfde vragen krijgen te beantwoorden.
     Meer informatie over toetsen in Canvas vind je in de online cursus ‘Getting To Know Canvas for Teachers’ in Canvas.“ Heb je nog geen toegang tot deze cursus, kijk dan op de pagina ‘Training en ondersteuning Canvas voor docenten en medewerkers’

  • Vragenbank aanleggen
    TestVision kan ook gebruikt worden voor het aanleggen van een vragenbank. Hierdoor is het gemakkelijker om een pool van vragen aan te leggen en toetsen en vragen te hergebruiken.
  • Digitaal tentamineren, de digitale toetszaal
    De 'DigiTenT' tentamenhal van de VU beschikt over 581 computerwerkplekken. De hal is vooral geschikt voor faculteiten met middelgrote tot grote cohorten studenten en faculteiten die optimaal gebruik willen maken van de mogelijkheden van de computer voor deeltoetsen en tentamens.
    
    Denk vooral aan toetsen waarbij studenten gebruik moeten maken van beroepssoftware (bijvoorbeeld SPSS, Matlab) en waarbij veel geschreven moet worden (Word).
    De zaal is beveiligd zodat afkijken niet mogelijk is. Er is een ondersteuner beschikbaar die docenten helpt de toetsen succesvol te ontwikkelen en af te nemen.
    Digitale tentamens worden ingepland op basis van hetgeen de docent invult in de UAS uitvraag.

• Voorbereiding - Wanneer toetsen?

  • Kwaliteitseis 9 : De student ontvangt zo vroeg mogelijk (formatieve) feedback over de vorderingen van de student ten opzichte van de leerdoelen en de beoordelingscriteria die gelden voor het behalen van (onderdelen van) het studieonderdeel. 

   
  Toetsing dient niet alleen om de prestaties van studenten en de realisatie van de leerdoelen te meten. Toetsing kan ook een feedback-doel dienen. Naar de student, om de effectiviteit van studiegedrag te toetsen of de vorderingen ten opzichte van de beoogde doelen te peilen. Naar de docent/examinator om de vorderingen van de studenten te volgen en eventueel het onderwijs bij te sturen. Hiertoe worden studenten gedurende het studieonderdeel (regelmatig) formatief getoetst.
  

  Compensatie bij deeltoetsen

  • Kwaliteitseis 7 : Voor elke toets is vooraf de wijze van cesuurbepaling bekend gemaakt. Hierbij wordt gebruik gemaakt van een absolute cesuur of de compromismethodes. Volledig relatieve cesuur kan alleen onder specifieke voorwaarden en op basis van goede argumenten worden ingezet. 

  Cesuur 

  Een (summatieve) toets is ervoor gemaakt te bepalen of de studenten de leerdoelen van het studieonderdeel voldoende beheersen. De toets moet dus kunnen onderscheiden tussen de studenten die de stof wel en niet beheersen. Een gemotiveerde en duidelijke bepaling van de waarderingsschaal, in het bijzonder van de cesuur is belangrijk om het niveau vast te stellen. De cesuur betreft een vooral vanuit de leerstof bepaalde beheersingsstandaard waaraan een student minimaal moet voldoen om een voldoende te halen. Er zijn verschillende manieren om de cesuur te berekenen, waarbij voor meerkeuzetentamens (waarbij men rekening dient te houden met de gokkans) de 60-procentmethode de meest gebruikte is. Het vaststellen van de cesuur is een verantwoordelijkheid van de examinator, waarbij er (vanwege uniformering) wel afspraken gemaakt kunnen worden op facultair of opleidingsniveau. 

  • Kwaliteitseis 8 : Per studieonderdeel worden het gewicht en de compensatiemogelijkheden van de deeltoetsen vooraf vastgelegd. Op basis daarvan wordt de eindbeoordeling vastgesteld. 

  Naast deeltoetsen over de theorie kunnen uiteraard ook andere toetsvormen voorkomen waarmee subonderdelen van een studieonderdeel worden getoetst, bijvoorbeeld een verslag of een presentatie. Per studieonderdeel wordt het gewicht (de weging) en/of de voorwaardelijkheid van de (summatieve) deeltoetsen en de subonderdelen vooraf bepaald. Op basis daarvan wordt de eindbeoordeling vastgesteld. 

  Of summatieve deeltoetsen elkaar deels of volledig mogen compenseren is afhankelijk van de leerdoelen die door de deeltoetsen worden bestreken. De beslissingen van de examinator over het al dan niet toestaan van compensatie tussen deeltoetsen dient in overeenstemming te zijn met het toetsplan van de opleiding (of facultaire toetsbeleid), waarin ook bepalingen over compensatie kunnen zijn opgenomen. 

  Indien de deeltoetsen betrekking hebben op leerdoelen die sterk van elkaar verschillen en ook aan verschillende eindtermen van de opleiding gerelateerd zijn, kan men beter geen (volledige) compensatie toestaan. 

  Wordt gekozen voor een tussentoets (over een deel van de stof) en een eindtoets (over de totale stof), dan zou die afweging anders kunnen zijn. De eindtoets zou in dat geval de deeltoets volledig kunnen compenseren. Ook kan gekozen worden voor een voorwaardelijke compensatie, waarbij voor de tussentoets een minimumcijfer moet worden gehaald om te kunnen compenseren.
  

  Herkansingen

  De examinator dient er voor te zorgen dat bij de verschillende gelegenheden (eerste gelegenheid en herkansing) waarop een tentamen kan worden afgelegd, de inhoud en toetsvorm vergelijkbaar is. 

  • Kwaliteitseis 10 : Het laatste reguliere toetsmoment/ de uiterste inleverdatum dient binnen de periode van het studieonderdeel te vallen. Later ingeleverd werk geldt als herkansing. Voor studieonderdeel overstijgende toetsing worden de termijnen vastgesteld in het toetsplan. 
  • Kwaliteitseis 11 : Tot het afleggen van tentamens van de opleiding wordt per studieonderdeel twee maal per studiejaar de gelegenheid gegeven. 

  Bij (summatieve) toetsen dient het aantal herkansingsmogelijkheden beperkt te zijn. Er is onderwijskundige evidentie waaruit blijkt dat een toename van het aantal herkansingen aanleiding geeft tot uitstelgedrag van studenten, terwijl daarnaast ten onrechte de indruk wordt gewekt dat de voorbereiding op en deelname aan een toets eigenlijk een soort trial-and-error aangelegenheid is. Daar komt bij dat de samenstelling en/of correctie van een toets een tijdrovende aangelegenheid is, vanwege de hoge kwaliteitseisen die er aan worden gesteld. 

  De herkansing is dus primair bedoeld voor studenten die getroffen zijn door pech of overmacht, en is uitdrukkelijk niet bedoeld om het cijfer op te hogen. Dat is ook de reden waarom bij de VU het laatst behaalde cijfer telt. De manier waarop de opleiding of faculteit omgaat met herkansingen dient aan te sluiten op de visie van de opleiding op het onderwijs. Het is daarbij goed om te voorkomen dat er net als bij reguliere toetsen, concurrentie ontstaat tussen het onderwijs en een herkansing.

• Voorbereiding - Wie toetst?

  De examinator, die daartoe aangewezen is door de Examencommissie, is eindverantwoordelijke voor de toetsing. 

  Kwaliteitseis 1 : De examinator is door de examencommissie verantwoordelijk gesteld voor de ontwikkeling en de afname van toetsen en het vaststellen van de uitslag en verstrekt de examencommissie informatie aangaande de kwaliteit van de afgenomen toetsen. [Wet Hoger Onderwijs en Wetenschappelijk Onderzoek, artikel 7.12 c, verder WHW] 

  Kwaliteitseis 9 . De student ontvangt zo vroeg mogelijk (formatieve) feedback over de vorderingen van de student ten opzichte van de leerdoelen en de beoordelingscriteria die gelden voor het behalen van (onderdelen van) het studieonderdeel. 

  Bij het gebruik van peer-review systemen, waarbij studenten elkaars werk beoordelen, blijft de examinator altijd de verantwoordelijkheid houden voor de eindbeoordeling. Als studenten elkaar beoordelen mag dit dus alleen een diagnostische functie hebben en geen selectieve. Peer-review systemen worden om die reden voornamelijk ingezet als formatief toetsinstrument.

  Ondersteuning

  Peer review 

  De VU ondersteunt docenten met een online systeem voor peer-review: Turnitin. Dit programma is geïntegreerd in Canvas. Met behulp van Turnitin kunnen studenten eigen werk uploaden en het systeem ondersteunt de docent bij het verdelen van de werkstukken onder de studenten en het laten beoordelen van de werkstukken door de studenten. Er kunnen verschillende instellingen voor al dan niet anoniem laten beoordelen worden ingesteld, deadlines etc. 

  Online nakijken van werkstukken 

  VU ondersteunt docenten op de VU met twee programma’s voor het beoordelen van werkstukken. 

  1. Het programma Turnitin bezit een rijke set van mogelijkheden om werkstukken van commentaar te voorzien, om online feedback te geven en om te beoordelen met behulp van Rubrics. De functie Grade Mark van Turnitin verzorgt deze functie. Meer informatie:
  2. Ook Canvas heeft mogelijkheden om werkstukken van commentaar te voorzien, om online feedback te geven en om bij het beoordelen gebruik te maken van Rubrics. Meer informatie over online nakijken in Canvas vind je in de online cursus ‘Getting To Know Canvas for Teachers’ in Canvas. Heb je nog geen toegang tot deze cursus, kijk dan op de pagina ‘Training en ondersteuning Canvas voor docenten en medewerkers’. 

  Training

  • De kwaliteitseisen voor toetsen en beoordelen komen ook aan bod in de verschillende trajecten voor het behalen van de Basiskwalificatie Onderwijs (BKO).  
  • In het traject voor de Senior Kwalificatie Onderwijs (SKO) is aandacht voor de ontwikkeling van leerlijnen en toetsplannen op opleidingsniveau.
    Contact: Informatie over inschrijvingen, planning en betaling: Lucretia Prade, ho.ucgb@vu.nl (onderwijssecretariaat) Inhoudelijke informatie: Anneke Smorenburg, a.smorenburg@vu.nl (020) 59 85392 (coördinator SKO-VU)  
  • Voor docenten en examinatoren is er de cursus Basis Kwalificatie Examineren (BKE).
    Contact: Docent: Susan Voogd of toetsbekwaamheid.fgb@vu.nl

• Uitvoering

  Bij de uitvoering gaat het om het samenstellen en het afnemen van de toets, het vaststellen van het eindoordeel en het geven van feedback. 

• Uitvoering - Construeren

  Bij de fase van het construeren worden toetsitems, opdrachten en antwoordmodellen (of beoordelingsformulieren) gemaakt. In deze fase dient het ontwikkeld materiaal ter review te worden aangeboden aan collega´s (vier-ogenprincipe). 

• Uitvoering - Afnemen

  De derde stap is het daadwerkelijk afnemen van de toets. Examinatoren zorgen er met het oog op transparantie voor dat de leerdoelen en de wijze van toetsen van een studieonderdeel vooraf gecommuniceerd worden via studiegidsen, Onderwijs- en examenregeling (OER), studiehandleiding of andere bronnen. De instructie bij een toets dient volledig en helder te zijn en moet voldoen aan de eisen die de faculteit of opleiding daaraan stelt. Hiertoe wordt informatie gegeven op het voorblad van het tentamen (bijvoorbeeld over de puntentoekenning per (deel)antwoord). In deze stap hoort ook het voorkomen van fraude en de veiligheid van de toetsomgeving (zoals beschreven in de Regels en Richtlijnen van de examencommissie). 

• Uitvoering - Beoordelen

  Het nakijken, beoordelen en scoren van de gemaakte toets(opgaven) vormen de vierde stap van de toetscyclus. Men kan hierbij nakijken aan de hand van een antwoordmodel of beoordelingsformulier. Als verschillende collega’s een deel van het werk beoordelen, worden duidelijke afspraken gemaakt over de wijze waarop eenvormigheid zal worden bereikt. De beoordelaars zijn alert op het vaststellen van fraude. 

• Uitvoering - Analyseren

  Als de afname is geweest, is het tijd om te kijken naar de kwaliteit van de toets door middel van een analyse. Een toetsanalyse gebeurt via de Tentamenservice VU of via andere analysetools. Via een analyse kan het tentamen als geheel worden geanalyseerd en kunnen tevens items van onvoldoende kwaliteit opgespoord worden. Dit geldt bijvoorbeeld voor items die te makkelijk, te moeilijk of ambigu blijken te zijn. 

• Uitvoering - Rapporteren en waarderen en/of becijferen

  De rapportage kan in de vorm van feedback en een cijfer. Hierbij speelt het doel van de toets (summatief of formatief) en cesuur een rol. De examinator legt voor elke summatieve toets de cesuur (zak/slaaggrens/slaagvoorwaarden) vast. Met VUnet Resultaatregistratie (VRR) registreren en valideren docenten en examinatoren (tentamen-) resultaten van het eigen studieonderdeel. Het is (nog) niet mogelijk deelresultaten te registreren voor een studieonderdeel. De manier waarop deelresultaten worden geregistreerd verschilt per faculteit. Bij sommige faculteiten houden docenten hun eigen (excel)administratie bij en voeren alleen het eindcijfer is, bij andere faculteiten voeren onderwijsbureaus de deelresultaten in. Ook hebben de studenten recht op inzage (zie OER) in de antwoorden of de antwoordsleutel en kunnen ze eventueel feedback krijgen op hun resultaten.

• Kwaliteitseisen formatieve toetsing

  • Kwaliteitseis 9 : De student ontvangt zo vroeg mogelijk (formatieve) feedback over de vorderingen van de student ten opzichte van de leerdoelen en de beoordelingscriteria die gelden voor het behalen van (onderdelen van) het studieonderdeel. 

  Goed onderwijs kenmerkt zich door het geven van gerichte feedback aan de student, op de juiste momenten en op alle leerniveaus. Biedt de studenten voldoende mogelijkheden om hun vorderingen t.a.v. de leerdoelen te peilen en voorzie in opdrachten in lijn met de leerdoelen van feedback die het leerproces ondersteunen. 

  Naar aanleiding van een toets krijgen studenten feedback. Dat kan individuele of plenaire feedback zijn van de docent/examinator, of feedback van één of meer peers. Essentieel is dat de feedback tijdig wordt gegeven, zodat de feedback door studenten gebruikt kan worden om studiegedrag (nog tijdens het studieonderdeel) bij te stellen of zich te richten op de volgende stap in hun ontwikkeling. 

  Feedback bij een formatieve toets is ook van groot belang om studenten te activeren. Bij een formatieve toets krijgen studenten (in het ideale geval) geen cijfer, maar informatie over de mate waarin hun werk beantwoordt aan de criteria en over het gewenste vervolg. 

  Met name voor het ontwikkelen van academische vaardigheden en kritisch denken blijkt het krijgen en het (leren) geven van goede feedback één van de beste manieren te zijn om beoordelingscriteria te doorgronden en te internaliseren. Wanneer studenten zelf leren begrijpen aan welke maatstaven een academische prestatie (nu en in de toekomst) moet voldoen, zullen ze gaandeweg beter op hun eigen werk kunnen reflecteren en minder afhankelijk worden van de feedback van de docent/examinator. 

  Het is van belang dergelijke toetsen een duidelijke plaats in het totale onderwijsprogramma te geven, het belang ervan te benadrukken en de toetsen voor- en na te bespreken tijdens bijeenkomsten.

• Kwaliteitseisen aan toetsing als meetinstrument (summatieve toets)

  • Kwaliteitseis 2 : Bij de ontwikkeling van een toets wordt altijd het vier-ogen principe toegepast om de kwaliteit van een toets te waarborgen (validiteit, betrouwbaarheid, transparantie, bruikbaarheid en vergelijkbaarheid).
  • Kwaliteitseis 5 : De toetsing dient in lijn te zijn met de geformuleerde leerdoelen en de gekozen onderwijsvormen (‘constructive alignment’). Het relatieve gewicht van de leerdoelen wordt weerspiegeld in de toetsing.
  • Kwaliteitseis 6: Examinatoren zorgen ervoor dat studenten voor de start van het onderwijs weten wat de leerdoelen en de wijze van toetsen van een onderwijseenheid zijn, en dat de instructie bij een toets volledig en helder is (transparantie).
  • Kwaliteitseis 7 : Voor elke toets is vooraf de wijze van cesuurbepaling bekend gemaakt. Hierbij wordt gebruik gemaakt van een absolute cesuur of compromismethodes. Volledig relatieve cesuur kan alleen bij uitzondering, onder specifieke voorwaarden en op basis van goede argumenten worden ingezet.
  • Kwaliteitseis 8: Per studieonderdeel worden het gewicht en de compensatiemogelijkheden van de deeltoetsen vooraf vastgelegd. Op basis daarvan wordt de eindbeoordeling vastgesteld.
  • Kwaliteitseis 10: Toetsresultaten worden binnen tien werkdagen na het afnemen van een toets – met inachtneming van regels voor bescherming van persoonsgebonden informatie – bekend gemaakt. De resultaten van scripties worden binnen twintig werkdagen na de officiële inleverdatum van de scriptie bekend gemaakt. Vervolgens heeft de student binnen een in de OER vastgestelde termijn recht op inzage van het gemaakte werk.

  Een summatieve toets heeft de functie een oordeel over de kennis en vaardigheden van een student uit te spreken en te bepalen of de studenten de leerdoelen van het studieonderdeel voldoende beheersen. Aan de resultaten van summatieve toetsen zijn consequenties verbonden, meestal in de vorm van een cijfer. Er wordt nagegaan in welke mate de studenten de vooropgestelde doelstellingen hebben bereikt en vervolgens wordt op basis daarvan een oordeel geformuleerd. De toets moet dus kunnen onderscheiden tussen de studenten die de stof wel en niet beheersen. 

  Summatieve toetsen zijn alle toetsen waarvan het oordeel een bijdrage levert aan het eindcijfer/eindoordeel op het studieonderdeel. Omdat op grond van summatieve toetsen beslissingen genomen worden over de kennis en kunde van een student, is het van belang dat deze toetsen betrouwbaar zijn. De belangrijkste kwaliteitseisen zijn; bruikbaarheid, validiteit, betrouwbaarheid, vergelijkbaarheid en transparantie.

  • Validiteit van toetsen
    Een valide toets is een toets die meet wat men beoogt te meten. Een belangrijk hulpmiddel om ervoor te zorgen dat een toets de geleerde stof goed weerspiegelt en de beoogde beheersingsniveaus meet, is de toetsmatrijs. In deze matrijs zijn de inhoud van de te toetsen leerstof en het beheersingsniveau tegen elkaar afgezet. De tabel kan zowel gebruikt worden bij het samenstellen van de toets als bij de controle of de eenmaal samengestelde toets evenwichtig is. 
  • Betrouwbaarheid van toetsen
    Om de betrouwbaarheid van de toets zelf te garanderen zijn een vijftal criteria van belang. De examinator is verantwoordelijk dat de toets aan deze criteria voldoet.
    • Zorg ervoor dat de beoordeling objectief is: hetzelfde antwoord zou, wanneer het door verschillende examinatoren werd beoordeeld, ongeveer dezelfde waardering moeten krijgen. Gebruik hiervoor een antwoordmodel (bij open vragen) of een beoordelingsformulier met criteria (bij essays en werkstukken).
    • Zorg voor een eenduidige vraagstelling (dat wil zeggen géén multi-interpretabele vragen). Formuleer de vraag zo duidelijk mogelijk en grens daarmee het antwoord zo precies mogelijk af.
    • Stel geen vragen die onderling afhankelijk zijn. Het voornaamste bezwaar daarvan is dat de toets(uitslag) dan minder representatief wordt voor het aanwezige kennisdomein van de student.
    • Breng het aantal en de aard van de gestelde vragen in overeenstemming met de beschikbare tijd. De betrouwbaarheid van de toets wordt bepaald door de kwaliteit van de vragen, maar deze wordt ook direct beïnvloed door de toetslengte. Een vuistregel voor multiple choice tentamens is ca. 60 vragen om een redelijk goede betrouwbaarheid te bereiken.
    • De moeilijkheid: de opgaven zijn qua moeilijkheidsgraad afgestemd op het niveau dat van de studenten wordt verwacht.

  De betrouwbaarheid van een toets kan achteraf bepaald worden aan de hand van een (psychometrische) analyse. De uitkomst van een dergelijke analyse geeft ook informatie over de validiteit (onderscheidend vermogen) van afzonderlijke items. Dit wordt voor meerkeuzevragen standaard geleverd door de Tentamenservice van de VU, voor open vragen kan een dergelijke analyse ook uitgevoerd worden. Het wordt sterk aangeraden om deze analyses uit te laten voeren.

  • Transparantie van toetsen
    Vooraf moet de student weten wat er op de toets van hem/haar verwacht wordt. De examinator informeert de studenten bij aanvang van het studieonderdeel over 
    • de leerdoelen (zowel op inhoudelijk vlak als op het vlak van het beoogde beheersingsniveau);
    • de stof waarop de toets betrekking heeft;
    • de vorm van de toets;
    • het gewicht van de verschillende onderdelen van de toetsing (bij deeltoetsen of wanneer het cijfer wordt bepaald door een toets én een werkstuk, presentatie o.i.d.);
    • de wijze waarop de norm (cesuur) wordt bepaald en - zo mogelijk - de norm zelf;
    • de geplande toets- en herkansingsdatum en/of de datum waarop opdrachten moeten zijn ingeleverd;
    • de consequenties voor het eindcijfer wanneer opdrachten niet op tijd zijn ingeleverd;
    • de wijze waarop de inzage van de verschillende toetsen geregeld is.

  Het voorblad van de toets bevat daarnaast nog de volgende informatie (N.B. een facultair format voor het te gebruiken voorblad wordt aanbevolen):

  • de beschikbare tijd;
  • het aantal pagina’s en vragen;
  • een invulinstructie (wijze waarop het antwoord moet worden gegeven);
  • bij open vragen/casus: te behalen punten per vraag (weging van onderdelen);
  • indicatie voor het minimaal te behalen punten voor een voldoende;
  • het moment waarop en de plaats waar de studenten hun beoordeelde werk kunnen inzien.

  Bij de inzage kan de student die aan het tentamen heeft deelgenomen, kennisnemen van de vragen en opdrachten van het desbetreffende tentamen alsmede van de normen aan de hand waarvan de beoordeling heeft plaatsgevonden. Bij open vragen is een antwoordmodel met bijbehorende puntenwaardering beschikbaar ter inzage. Bij werkstukken of theses zijn de beoordelingscriteria beschikbaar (ingevuld beoordelingsformulier).

  • Bruikbaarheid van toetsen
    De vorm van de toets moet passen bij de groepsgrootte en de onderwijsvorm. De efficiëntie, eerlijkheid en beschikbare tijd voor de toets bepalen de bruikbaarheid ervan. De examinator moet in de eerste plaats streven naar een goede verhouding tussen de tijdsinvestering van het docententeam, de student en de organisatie voor de ontwikkeling, afname en beoordeling van de toets en de informatie die de toets oplevert. Daarnaast heeft de examinator de taak te zorgen dat iedere student een goede en even grote kans krijgt om zijn of haar echte kennen en/of kunnen te demonstreren (eerlijkheid) en dat de toets de juiste lengte heeft met het oog op de beschikbare tijd, zodat het werktempo geen (positieve of negatieve) invloed heeft op het resultaat. 
  • Vergelijkbaarheid van toetsen 
    De examinator dient er voor te zorgen dat bij de verschillende gelegenheden (eerste gelegenheid en herkansing) waarop een tentamen kan worden afgelegd, de inhoud en toetsvorm vergelijkbaar is. Voor wat betreft de inhoud van de toets (dat wil zeggen de onderwerpen waarover vragen worden gesteld, en het vraagniveau) kan de toetsmatrijs behulpzaam zijn. Bij een herkansing dient men echter géén vragen op te nemen die bij de eerste kans ook werden gesteld. In praktische zin wordt aanbevolen dat een tentamen voor maximaal 30% uit oude tentamenvragen (van eerdere jaren) mag bestaan. De examinator is er verantwoordelijk voor de juiste balans te vinden tussen hergebruik van oude tentamenvragen en het maken van goede nieuwe vragen over de kern van de stof. De examencommissie vervult hierin een belangrijke toezichtsrol, en kan op grond daarvan gerichte aanwijzingen geven over de mate waarin het is toegestaan oude tentamenvragen te hergebruiken. Speciale aandacht verdient het afnemen van een herkansing met een andere toetsvorm dan de oorspronkelijke toets (bijvoorbeeld een mondelinge toets bij herkansing). Gezien de eisen die gesteld worden aan de vergelijkbaarheid zal men hier zeer terughoudend mee moeten zijn.

• Kwaliteitseisen aan toetsing als waarderingsinstrument (de beoordeling)

  Toetsen en beoordelen zijn onlosmakelijk met elkaar verbonden. Een goede toets als meetinstrument is slechts het halve werk, ook de beoordeling moet aan een aantal kwaliteitseisen voldoen.

  • Cesuurbepaling
    Gelet op de consequenties van cijfers voor studenten is een valide cijferbepaling vereist. Een gemotiveerde en duidelijke bepaling van de waarderingsschaal, in het bijzonder van de cesuur en de slaagvoorwaarden is belangrijk.
    Waar de cesuur voor geslaagd en niet-geslaagd precies ligt, is afhankelijk van het studieonderdeel. De cesuur betreft een vooral vanuit de leerstof bepaalde beheersingsstandaard waaraan een student minimaal moet voldoen om een voldoende te halen: een hoeveelheid kennis, begrip, vaardigheden en/of attitudes die vereist is om op de cesuur uit te komen. In principe is het hierbij mogelijk dat alle studenten zakken of alle studenten slagen. Een examinator moet voor het geheel van het studieonderdeel kunnen motiveren waar precies de cesuur ligt.
    Er zijn verschillende manieren om de cesuur te berekenen, waarbij voor meerkeuzetentamens (waarbij men rekening dient te houden met de gokkans) de 60-procentmethode de meest gebruikte is. Zie Handboek Onderwijskwaliteit H11, bijlage 4: Cesuurbepaling.
  • Beoordelen van open vragen
    Vooral bij open vragen kunnen nakijkproblemen voorkomen, in die zin dat de betrouwbaarheid een grote rol speelt.
    Om de antwoorden op open vragen zo betrouwbaar mogelijk te kunnen nakijken gelden de volgende regels: 
    • Voorkom dat vragen multi-interpretabel zijn (dit geldt overigens ook voor meerkeuzevragen). Leg ze voor aan een collega of een toetscommissie (Handboek Onderwijskwaliteit, H11, bijlage 2 checklist vraagconstructie)
    • Stel van tevoren een goed uitgewerkt antwoordmodel met bijbehorende puntenwaardering vast
    • Voer een proefcorrectie uit
    • Kijk per vraag na en niet per student
    • Als er meerdere beoordelaars zijn:
      • Train dan de beoordelaars
      • Laat de beoordelaars een proefcorrectie uitvoeren op een aantal dezelfde uitwerkingen
      • Bepaal de verschillen in beoordeling (toegekende scores), bespreek deze
      • Bij grote verschillen: voer nog een aantal proefcorrecties uit op een aantal dezelfde uitwerkingen, en bepaal weer de verschillen. Zorg dat er geen systematische beoordelingsverschillen meer optreden.
      • Beoordeel nu de rest van alle toetsen
    • Stel vooraf een voorlopige cesuur vast

  Ondersteuning

  • Analyseren open vraag tentamens
    Naast het verwerken en analyseren van meerkeuzetoetsen, bestaat er bij de afdeling OKZ ook de mogelijkheid om een analyse te maken van de kwaliteit van toetsen met open vragen. De informatie die geboden wordt, komt overeen met die van meerkeuzetentamens (de betrouwbaarheid van het tentamen, de moeilijkheidsgraad, de p-waarden en Rir-waarden).
    
    Om een dergelijke analyse te maken, zijn specifieke gegevens van de gemaakte toets nodig.
    
    Contact: Christoffel Reumer
  • Toetsen en beoordelen van vaardigheden (stage en thesis)
    Het toetsen van vaardigheden is gecompliceerd, omdat het meestal gaat om een combinatie van onderling niet steeds gemakkelijk te onderscheiden (deel)vaardigheden. Bij het beoordelen van een thesis bijvoorbeeld lopen schrijfvaardigheid en cognitieve vaardigheden als analyse, synthese en structurering, door elkaar heen. Vaardigheden worden meestal getoetst in de vorm van een product: een thesis, een uitgewerkte opdracht, een presentatie of een (stage)verslag. Bij de beoordeling van het product gaat het om de vraag: kun je aan het product zien dat de student weet hoe het moet/ het kan? 
    
    Natuurgetrouw versus betrouwbaar
    Een belangrijk probleem bij het toetsen van vaardigheden is de mate waarin de toets een weerspiegeling van de werkelijkheid moet zijn. Dit is een probleem omdat een hoge natuurgetrouwheid (validiteit), zodat de toets dicht bij de werkelijkheid staat, doorgaans ten koste gaat van de betrouwbaarheid. Een voorbeeld hiervan is het rijexamen, maar ook de stage. Wat de examinandus/student onderweg tegenkomt is sterk afhankelijk van toeval, en daarmee ook het eindresultaat. Anderzijds is een casus op papier wellicht relatief heel betrouwbaar, maar heeft hij weer een lage natuurgetrouwheid. In de handreiking voor stage- en scriptiecoördinatoren (pagina 108 van het toetskader) wordt aangegeven hoe de beoordeling van de stage en de thesis dienen te verlopen, en worden gedetailleerde kwaliteitseisen gegeven voor zowel bachelor- als masterstages en - theses. 
    • Kwaliteitseis 14 : Het eindwerk (of een opdracht binnen het ‘palet van eindwerken’) dient op individuele verdiensten te kunnen worden beoordeeld. In het geval een eindwerk door twee of meer studenten uitgevoerd wordt, wordt duidelijk afgesproken welke taken, onderdelen of onderzoeksvragen per individu worden uitgewerkt. Ook dient in de verslaglegging de bijdrage van de afzonderlijke studenten zichtbaar te zijn; deze dient te kunnen leiden tot een individuele beoordeling, gerelateerd aan de hoofddoelen van het eindwerk en de eindtermen van de opleiding. Details ten aanzien van het eindwerk of palet van eindwerken dienen te worden uitgewerkt in het toetsplan. 
    • Kwaliteitseis 15 : De beoordelingscriteria voor een eindwerk (bv. de stage, scriptie/thesis, portfolio, verslag) worden geoperationaliseerd in een beoordelingsschema. Deze beoordelingscriteria sluiten aan bij de eindtermen van de opleiding en zijn al eerder in de opleiding aan de orde geweest. In de stage- of thesishandleiding of de studiewijzer bij het eindwerk is vastgelegd hoe en op welke momenten de beoordeling plaatsvindt. 
    • Kwaliteitseis 16 : Het eindproduct van de masterstage of ‐thesis wordt beoordeeld door de begeleidende docent en een onafhankelijke beoordelaar betrokken bij de opleiding, die getraind zijn in het gebruik van de beoordelingscriteria. Beide beoordelaars noteren de motivatie van het oordeel; deze worden ook beide gearchiveerd. Student ontvangt alleen de uiteindelijke beoordeling met daarbij aansluitende eenduidige motivatie. Externe begeleiders kunnen in de rol van informant aan de begeleidende docent een waardering geven voor het proces en de attitude van de stagiair. 
    • Kwaliteitseis 17 : Een eindwerk in de bachelor wordt beoordeeld door de begeleidende docent en een onafhankelijke beoordelaar betrokken bij de opleiding, die getraind zijn in het gebruik van de beoordelingscriteria. In het uitzonderlijke geval dat het werk beoordeeld wordt door slechts één beoordelaar, mag dit niet de begeleidende docent zijn. Tevens is de noodzaak voor de uitzondering onderbouwd en wordt in het toetsplan aangegeven welke aanvullende maatregelen genomen zijn om de betrouwbaarheid van de beoordelingen te waarborgen. 
    • Kwaliteitseis 18 : De examencommissie stelt in samenwerking met de opleidingsdirecteur en het faculteitsbestuur richtlijnen op waarin is aangeven hoe het eindcijfer van eindwerken wordt vastgesteld en hoe wordt omgegaan met verschillen in beoordeling tussen eerste en tweede beoordelaar (art. 7.12 b lid 1 b WHW). 
    • Kwaliteitseis 23 : Voor het oefenen en verwerven van vaardigheden zoals schrijven, presenteren en relevante ICT-vaardigheden, heeft de opleidingsdirecteur de verantwoordelijkheid voor het vastleggen van het vereiste niveau (of niveaus voor verschillende opleidingsjaren) en passende beoordelingscriteria, die zijn afgeleid van de eindtermen van de opleiding. Deze criteria worden bij alle studieonderdelen die deze vaardigheden toetsen toegepast en zijn bekend bij de studenten. De opleidingsdirecteur stelt vast in welke studieonderdelen de vaardigheden worden geoefend en getoetst. 
    • Kwaliteitseis 25 : De examencommissie neemt regelmatig kennis van de kwaliteit van de beoordeling van studieonderdelen waarin eindtermen op eindniveau (eindwerken) worden getoetst. Een procedure hiervoor wordt vastgelegd door de examencommissie. 
    • Kwaliteitseis 26 : In de stage‐en thesishandleiding zijn per opleiding de taken en verantwoordelijkheden zo duidelijk en volledig mogelijk vastgelegd. Er wordt expliciet aangegeven hoe begeleiding en beoordeling plaats zullen vinden en welke mogelijkheden er zijn bij klachten of problemen. 
    • Kwaliteitseis 27 : Bij een verplichte stage is het een taak van de opleiding om studenten te helpen bij het vinden van een stageplaats. Een opleiding dient de verantwoordelijkheid hiervoor duidelijk te beleggen, bijvoorbeeld bij een docent of bij een stagecoördinator. 
      
      Bekijk hier een goed voorbeeld van een beoordelingsformulier.
  • Beoordelen van groepsproducten en –processen
    Gelijke bijdrage van elke student
    In de praktijk van het onderwijs zal het regelmatig voorkomen dat studenten gezamenlijk een rapportage, essay of werkstuk moeten maken. De VU verwacht dat iedere student van zo’n groep daar een gelijke bijdrage aan levert. Die bijdrage bestaat dan zowel uit een inspanningscomponent als een inhoudscomponent . Voor de inhoudscomponent geldt over het algemeen dat studenten voor elk onderdeel van de samenwerkingsopdracht geacht worden een bijdrage te leveren. Het is met andere woorden niet wenselijk dat de studenten de opdracht opknippen in (kleine) deelopdrachten, die ze aan het eind zonder veel overleg kunnen samenvoegen.
    Uit het oogpunt van toetsbeleid dient er een waarborg te zijn dat iedere student deze inspanning ook heeft geleverd (negatief gesteld: meeliftgedrag dient te worden tegengegaan of gedetecteerd) en met welke kwaliteit.
    
    Opdrachten en beoordeling
    In eerste aanleg dient een opdracht waarin gezamenlijk gewerkt wordt aan een product zodanig te zijn vormgegeven dat het daadwerkelijk noodzakelijk is voor studenten om een gelijke inbreng te geven. Het maken van goed doordachte opdrachten is daar een goede mogelijkheid voor met bijbehorende beoordelingswijzen, bijvoorbeeld:
    • Voor de aanpak van het werkstuk dient de groep eerst een gezamenlijke probleemstelling met werkplanning en taakverdeling te maken. Deze moet zo snel mogelijk worden besproken met de docent, zodat deze kan bijsturen.
    • Gelijktijdig met het inleveren van het werkstuk voegt de groep een (klein) samenwerkings/procesrapport bij waarin de studenten onderling aangeven wie waaraan welke bijdrage heeft geleverd. Als daaruit naar voren komt dat de inspanningen onevenwichtig verdeeld waren, kan de docent de groep bijelkaar roepen om te bespreken wat hiervan de consequenties moeten zijn. 
    • Direct na het inleveren van het werkstuk en na de beoordeling, kan de docent de studenten groepsgewijs bevragen en het aandeel van de individuele studenten vaststellen. Het resultaat kan worden meegewogen in het eindcijfer, of gebruikt worden voor de afronding.
    • Direct na het inleveren van het werkstuk kunnen de studenten elkaars aandeel in het proces en eindproduct beoordelen. Elke student wordt daarbij anoniem beoordeeld door de andere studenten. Voor voorbeelden van middelen en scoringsrubrieken, zie Bax, A (2004) en documenten van de KU Leuven (verwijzingen onder 6. Naslagliteratuur). Het resultaat kan worden meegewogen in het eindcijfer, of gebruikt worden voor de afronding.
    • Geef niet één eindcijfer, maar ook deelcijfers voor de verschillende onderdelen van het eindproduct.
      
      Het verdient daarnaast de aanbeveling om tussentijds waarschuwingen te geven, indien studenten onvoldoende inspanning verrichten aan het groepsproduct.
      
      In verband met de lastige beoordeling van de precieze inspanningen die de individuele student heeft geleverd aan het groepsproduct, is de schaal waarop men tussen de cijfers van studenten binnen een groep differentieert in de regel niet groter dan 1 punt.
      
      Samenwerkingsvaardigheid
      Voor sommige onderwijsvormen is specifiek het leren samenwerken een onderdeel van de betreffende cursus. Los van het feit dat dan in dergelijke cursussen expliciet aandacht dient te zijn om samenwerkingsvaardigheden te trainen en begeleiden, dient de samenwerkingsvaardigheid  in die gevallen ook apart beoordeeld te worden. Hierbij is het vaak de vraag of de samenwerkingsvaardigheid summatief getoetst dient te worden of niet. De VU propageert om samenwerkingsvaardigheid in principe alleen formatief te beoordelen, maar bij onvoldoende inzet, een aanvulling te laten uitvoeren.
      
  • Mondeling toetsen
    Risico van subjectiviteit
    In vergelijking met andere toetsvormen speelt hier de subjectiviteit van de beoordeling. De betrouwbaarheid van mondelinge tentamens vormt daarom een groot probleem. Uit onderzoek blijkt dat in het uiteindelijke cijfer vaak andere zaken een rol spelen dan alleen het beheersen van de stof: de neiging van de docent om zelf veel of juist weinig aan het woord te zijn, persoonlijkheidsverschillen, geslacht en ras, prestaties van eerdere kandidaten. Een nogal eens gehanteerde oplossing, twee beoordelaars, is een schijnoplossing. Zij opereren namelijk niet onafhankelijk van elkaar en zien bijvoorbeeld elkaars reacties op de antwoorden. Al met al is dit een reden om het aantal mondelinge tentamens in de opleiding te beperken.
    
    Richtlijnen noodzakelijk
    Het afnemen van een mondelinge toets vergt specifieke deskundigheid van de docent. Bij opleidingen waar mondelinge toetsen regelmatig gebruikt worden, zijn richtlijnen nodig die docenten bij mondeling toetsen moeten naleven. Van belang zijn in ieder geval het gebruik van een specificatiemodel, en het duidelijk maken aan de student waarover de toets precies gaat, wat voor soort vragen er worden gesteld, wat er van studenten verwacht wordt m.b.t. hun kennis-en vaardigheidsniveau, hoe de uitslag wordt vastgesteld, en wat de evt. herkansingmogelijkheden zijn. Klik hier voor tips voor het inrichten van een mondelinge toets.

• Evaluatie en verbeteren

  De examinator evalueert de toetsing van zijn/haar studieonderdeel, aan de hand van de resultaten, aan de hand van de evaluatieresultaten van het onderwijs en/of eventuele panelgesprekken met studenten (bijvoorbeeld via de jaarvertegenwoordiging) en aan de hand van de feedback van andere betrokkenen bij de toetsing en de informatie van een eventuele itemanalyse. De examinator reflecteert erop en past zo nodig de toetsvorm, de aanpak bij de constructie, de afname en/ of het beoordelen van de toets aan. Als er gevolgen zijn voor de aansluiting bij het toetsplan van de opleiding dient dat uiteraard besproken te worden met de opleidingsdirecteur voordat de aanpassingen in het volgende ontwerp kunnen worden meegenomen. 

  Een korte beschrijving van de aanpak van de huidige toets, hoe het toetsproces is verlopen en wat er volgend jaar moet verbeteren wordt opgenomen in een toetsevaluatieverslag of toetsdossier. 

  Toetsdossier 

  Als hulpmiddel bij het streven naar systematische verbetering van de toetskwaliteit, is in het VU-Toetskader vastgesteld dat voor elk studieonderdeel in de opleiding een toetsdossier moet worden bijgehouden. 

  Het toetsdossier verschaft inzicht in (de kwaliteit van) de toets en beoordeling in een studieonderdeel. De inhoud wordt doorgaans al door een examinator verzameld bij het doorlopen van de toetscyclus. Het aanleggen van een dossier is geen garantie voor ‘kwaliteit’, maar kan wel een ondersteunende functie hebben bij het doorlopen van de toetscyclus. 

  Zie verder de ‘Handreiking voor examinatoren’ en de kwaliteitseisen toetsing op niveau studieonderdelen in het Toetskader VU.

Misschien ben je hier ook naar op zoek?