Onderwijsevaluaties met behulp van Evalytics

• Uitrol Evalytics

  Voor de standaard digitale evaluaties maken we gebruik van Evalytics. Evalytics is een intuïtief evaluatieprogramma's waar vakcoördinatoren tot op zekere hoogte zelf hun evaluatie kunnen vormgeven. Op deze pagina vind je de FAQ en handleidingen om Evalytics zo optimaal mogelijk te kunnen gebruiken. In het geval van vragen kun je contact opnemen met de evaluatiecoördinator van de faculteit.

  Als medewerker kun je bij je evaluaties in Evalytics komen door te klikken op deze link: https://evalytics.vu.nl/login. Voor uitgebreide instructies, klik hier. 

• Welke evaluaties zijn opgenomen in Evalytics?

  Sinds 2021-2022 worden de digitale standaard vragenlijsten voor cursussen afgenomen via Evalytics. Deze vragenlijsten worden automatisch verstuurd naar de studenten die het vak gevolgd hebben. Let op alleen vakken waarvan in SAP is aangegeven dat ze geëvalueerd moeten worden, worden op deze manier geëvalueerd.

  Vanaf 2022-2023 zullen ook curriculumevaluaties worden verstuurd vanuit Evalytics. 

• Vragen en antwoorden

  Actuele problemen

  • Docenten zijn in SAP wel toegevoegd aan het vak maar worden niet zichtbaar in de evaluatie.
    Selecteer de cursuseditie van het betreffende vak en voeg via bewerken de docent toe; sla dit op. Selecteer daarna de evaluatie van het vak en via de knop ‘vragen bewerken’ is de docent nu wel te selecteren. In het geval dat deze route niet werkt, neem contact op met de evaluatiecoördinator van jouw faculteit.
  • Er staan geen studenten bij mijn evaluatie.
    Neem contact op met de evaluatiecoördinator van jouw faculteit.
  • Ik kan als vakcoördinator geen nieuwe (nog niet bestaande) vragen toevoegen aan de evaluatie
    Nieuwe vragen kunnen alleen toegevoegd worden via de vragen bewerken button in Evalytics. Als het concept eenmaal is opgeslagen is het niet mogelijk deze weer te openen en aan te passen. Via de bewerken button kan je dan nog wel al bestaande vragen toevoegen aan de evaluatie. 
  • De evaluatie van een vak is nog niet afgelopen, maar ik zie wel al resultaten binnen komen
    Dit klopt. Er wordt aan gewerkt dit op te lossen, maar op dit moment worden de resultaten al zichtbaar vanaf 5 respondenten. De evaluatie blijft echter openstaan tot de einddatum zoals deze gepland is. Deze resultaten zijn niet zichtbaar voor de studenten.
  • Op mijn dashboard zie ik niet de resultaten van al mijn al afgeronde vakken
    Tot en met P3 (2021-2022) werden de cijfers voor docenten meegerekend in de gemiddelden voor de cursus vanaf P4 (2021-2022) is dit niet langer het geval. Enkel de KPI vragen tellen nu nog mee voor het gemiddelde. Echter blijkt dit nu ook het gevolg te hebben dat Evalytics de afgeronde cursus zonder cijfer voor docent in het gemiddelde niet meer toont op het dashboard van de vakcoördinator. 
  • Ik zie de resultaten van mijn vak niet
    Let op dat je het juiste jaar (het academisch jaar waar het vak in valt) selecteert, wanneer je de resultaten bekijkt.

  Evaluaties bewerken

  • Kan ik de evaluaties sorteren in het startscherm?
    Ja, dit kan door op het driehoekje naast de betreffende kolom te klikken.
  • Ik zie twee evaluaties staan van mijn vak.
    Evalytics maakt een evaluatie aan voor het onderwijs en een aparte evaluatie voor de toets. Als deze gelijktijdig afgenomen worden dan zien studenten dit als één evaluatie. Het is ook mogelijk om het de onderwijsevaluatie eerder af te nemen dan de toetsevaluatie, bijvoorbeeld tijdens het laatste college.
  • Wat betekenen VU_ALG_standaardset, en de andere standaardsets?
    Dit is een lijst van vragen die automatisch klaargezet wordt als de betreffende onderwijsvorm bij het vak onderwezen wordt. Deze set bestaat uit VU brede kernvragen die niet verwijderd kunnen worden, en uitgebreide vragen die de vakcoördinator kan weghalen. De standaard vragensets staan ook op deze website zowel in het Nederlands als in het Engels.
  • Kunnen vakcoördinatoren ook wijzigingen doorvoeren in de evaluatie, zoals zelf losse vragen toevoegen?
    Ja dat kan, zie hiervoor de handleidingen op deze website.
  • Kan een vakcoördinator vragen per werkvorm toevoegen en verwijderen?
    Dat kan, de vragen per evaluatie kunnen aangepast worden. De standaard vragen (kernvragen) kunnen niet verwijderd worden. Let wel op dat bij aanpassingen van de vragenlijsten een vergelijking over jaren dan ingewikkelder wordt. Kijk voor het toevoegen van vragen in de handleiding.
  • Wat gebeurt er als een vakcoördinator de vragenlijst niet controleert?
    Het proces is zo ingericht dat de vragenlijst die klaargezet is op basis van de onderwijsvormen, beschikbaar komt voor de studenten (na het tentamen). Als de vakcoördinator de evaluatie niet controleert, dan wordt die standaard vragenlijst verstuurd.
  • Wanneer wordt de evaluatie verstuurd?
    Standaard is ingesteld dat de evaluatie op de dag van het tentamen verstuurd wordt. De onderwijsvragenlijst en de tentamenvragenlijst worden dan als een evaluatie naar de studenten gestuurd. Het is mogelijk om de datum aan te passen, bijvoorbeeld om het onderwijs tijdens het laatste college te evalueren. Zie de quick reference card en paragraaf 3.3 van de handleiding hoe je dit kunt aanpassen. Let op dat ook indien nodig de feedbackdata worden aangepast.
  • Kan een mededocent de vragenlijst inzien?
    Ja, dat kan als deze docent ook is toegevoegd aan het vak in het bronsysteem (SAP). Het is dan ook raadzaam om bij de uitvraag academische structuur door te geven welke docenten betrokken zijn bij het vak. Dan komt het goed in SAP en dus ook automatisch in Evalytics. Daarnaast kan je de vragen exporteren naar Excel. Dit kan via de route Bewerken en dan in de  Actielijst kiezen voor Excel Export. Je krijgt dan een Excel bestand met de vragen per werkvorm.

  Taal

  • In welke taal wordt de evaluatie verstuurd?
    De taal waarin het vak in SAP geregistreerd staat, is de taal die wordt doorgegeven aan Evalytics. Een engelstalig vak geeft dus een Engelstalige evaluatie en vice versa. 

  In class

  • Wat kan ik live in class evalueren?
    De standaard evaluaties worden altijd uitgestuurd 'op uitnodiging'. Het is mogelijk deze standaard evaluatie in de klas af te nemen door de afnameperiode aan te passen. Zie de handleiding voor de exacte stappen. De optie live in class wordt enkel gebruikt voor extra evaluties om bijvoorbeeld specifieke onderwerpen te evalueren. Ook hierover is meer informatie te vinden in de handleiding.

  Resultaten

  • Kan de cursuscoördinator zelf ook de rapportage exporteren?
    Ja, bij Resultaten staat rechts bovenaan de optie Download Rapportage. 
  • Staat de standaarddeviatie in de resultaten?
    Ja, deze staat vermeld als sigma (σ).
  • Kan ik een rapportage downloaden?
    Ja. De rapportages zijn onder Resultaten via de download knop te exporteren in de volgende extensies: pdf, doc, xls, csv, xml.
  • Blijft het mogelijk om trendrapportages te maken?
    Ja, Evalytics biedt ook de mogelijkheid tot trendrapportages. De historie is van het vorige systeem is niet overgenomen in Evalytics. De trendrapportages kunnen gemaakt worden nadat een vak een tweede keer geëvalueerd is. In VUdata is de historische data beschikbaar.
  • Krijgen OLCleden ook toegang tot Evalytics?
    Het is momenteel niet mogelijk voor OLC leden om via Evalytics toegang te krijgen tot de evaluaties van hun opleiding. Zij ontvangen de evaluatierapporten van de facultaire evaluatiecoordinator.

  Vragen facultaire evaluatiecoördinatoren

  • Wat is nu eigenlijk de rol van de evaluatiekalender?
    In de evaluatiekalender worden aanpassingen in bronsystemen (vb. betrokken docenten, ingetekende      studenten, etc.) automatisch verwerkt. De kalender wordt ook gebruikt om te controleren of de evaluaties goed aangemaakt gaan worden door de facultaire evaluatiecoördinator. Vier weken voor de evaluatiedatum wordt de informatie gebruikt om de evaluatie aan te maken. De aanpassingen die vakcoördinator in de evaluatie maakt (bijvoorbeeld toevoegen van vragen of docenten) worden niet overschreven als er in bronsystemen veranderingen worden gemaakt.     
  • In de evaluatiekalender staat dat het aanmaken van de evaluatie mislukt is.
    Dit bericht verschijnt in het geval dat er geen studenten gekoppeld zijn aan de betreffende evaluatie (er zijn geen inschrijvingen). Deze evaluatie wordt dan niet aangemaakt vanuit de evaluatiekalender, en het evaluatieproces stopt voor dit vak. 
  • Ik wil als facultaire evaluatiecoördinator een evaluatie “overslaan” (niet laten uitvoeren) voor een bepaald vak. Hoe doe ik dat?
    Als de evaluatie nog niet aangemaakt is, maar wel al getoond wordt in de evaluatiekalender, dan kun je de evaluatiekalender voor de cursusevaluatie en de evaluatiekalender voor de toetsingsevaluatie van dat vak weggooien in Evalytics. Je moet dan echter ook nog zorgen dat het vinkje “Evaluatie” op moduleniveau in SAP-SLCM wordt uitgezet door de BAS, want anders zal er (een paar dagen later) opnieuw automatisch een evaluatiekalender aangemaakt worden voor dit vak en gaat het proces alsnog lopen! Als de cursusevaluatie en de toetsingsevaluatie reeds aangemaakt zijn, dan kun je deze twee evaluaties weggooien in Evalytics.

  Overige vragen

  • Waar kunnen studenten terecht met vragen over Evalytics?
    Studenten kunnen terecht bij de Centrale Studenten Balie.
  • Gebruikt Evalytics dezelfde terminologie als de VU?
    Nee, op punten zijn er verschillen:
    • Coördinatoren van de cursus = cursuscoördinator of vakcoördinator
    • Kwaliteitsmanagers van de opleiding = opleidingsdirecteur
    • Kwaliteit coördinatoren van de opleiding = opleidingscoördinator
    • Evaluatie coördinatoren van de opleiding = facultaire evaluatie coördinatoren (FEC)

• Handleidingen

  Hieronder vind je de handleidingen en documenten over evaluaties:

  • Handleiding Vakcoördinator
  • Cursusevaluaties - Best Practices voor Docenten
  • Onderwijsevaluaties - Aanbevelingen voor Opleidingsdirecteuren
  • Onderwijsevaluaties - Aanbevelingen voor Opleidingscommissies
  • Handleiding BAS
  • Tijdlijn Evalytics
  • VU Privacyverklaring Evalytics

  Daarnaast zijn er Quick Reference Cards beschikbaar voor de vakcoördinatoren:

  • QRC - Inloggen in Evalytics
  • Evaluaties Aanvullen - Quick Start Guide 
  • QRC - Cursusevaluatie tijdens het laatste college

  Voor vragen m.b.t. evaluaties kun je contact opnemen met de facultaire evaluatiecoördinator. 

• Vragensets

  • VU-brede vragenset cursusevaluaties Evalytics [Nederlands]
  • VU-brede vragenset curriculumevaluatie BSc Evalytics [Nederlands]
  • VU-brede vragenset curriculuemevaluatie MSc Evalytics [Nederlands]
  • VU-wide question set course evaluations Evalytics [English]
  • VU-wide question set curriculum evaluation BSc [English]
  • VU-wide question set curriculum evaluation MSc [English]

• Contact

  Vragen?

  Docenten en vakcoördinatoren kunnen contact opnemen met hun Facultaire Evaluatie Coördinator met technische en ondersteuningsvragen.

  Voor inhoudelijke evaluatievragen kun je contact opnemen met team OTIR: onderwijsevaluaties.dsz@vu.nl