Dit overzicht geeft geen beleid weer rondom het herkennen van AI-gebruik. Daarvoor verwijzen we je graag naar universiteits- en opleidingsbeleid. Het is ook niet zozeer gericht op het herkennen van patronen of het opsporen van AI-gebruik. Meer gaat het om het nadenken over wat je belangrijk vindt als het om het goede teksten gaat, en wat voor schrijvers je wilt dat je studenten worden.
Belangrijk om te weten: er is veel onderzoek gedaan naar Engelse schrijfvaardigheid en kenmerken van Engelse AI-teksten, maar er is veel minder vergelijkbaar onderzoek gedaan naar het Nederlands. We denken wel dat veel van de kenmerken in het Nederlands vergelijkbaar zullen zijn, al zijn er natuurlijk wel talige verschillen, bijvoorbeeld in zinsstructuren en woordenschat.
We werken ook aan een Canvas-cursus met oefeneningen om AI-teksten te herkennen. Wil je op de hoogte blijven? Laat het ons weten via alp.sgw@vu.nl.
Hieronder geven we weer wat het huidige onderzoek zegt over veelvoorkomende kenmerken van door AI gegenereerde teksten. Maar eerst willen we een aantal disclaimers meegeven:
- Veel van de kenmerken zijn niet per definitie slecht en komen ook voor in teksten van goede schrijvers. AI-tools zijn getraind op basis van een grote hoeveelheid teksten, waarvan een groot deel goed geschreven teksten zijn. Sommige kenmerken zijn echter wel problematisch.
- Deze kenmerken zijn geen middel om fraude en misbruik van AI op te sporen. Ook menselijke teksten kunnen deze kenmerken vertonen. Veel opleidingen staan het gebruik van AI-tools voor het redigeren van teksten toe, een manier waarop de kenmerken ook in teksten kunnen voorkomen. Uiteindelijk is het belangrijk om het beleid van de universiteit en de opleiding inzake ongepast gebruik van AI te kennen en na te leven. Ons doel is om ervoor te zorgen dat je de kenmerken van AI-teksten beter herkent en zo met meer vertrouwen teksten kunt beoordelen en feedback kunt geven op de kwaliteit ervan.
- De technologie ontwikkelt zich voortdurend. Elke beschrijving van de kenmerken van AI-teksten is slechts een momentopname. Deze kenmerken zullen blijven veranderen. Bovendien kunnen deze trends naarmate AI-gegenereerde teksten steeds gangbaarder worden van invloed zijn op door mensen geschreven teksten. Op sociale media, in nieuwsberichten en blogs hebben mensen bijvoorbeeld al opgemerkt dat AI-tools vaak een gedachtestreepje (een em-dash) gebruiken om een onderbreking aan te geven of nadruk toe te voegen. Als gevolg daarvan gebruiken sommige schrijvers het nu bewust, terwijl anderen het vermijden omdat ze bang zijn dat hun teksten er dan uitzien alsof ze door AI zijn gegenereerd.
- Ons overzicht geeft alleen bepaalde tendensen weer. Niet alle teksten die door AI-schrijftools worden geproduceerd hebben deze kenmerken. Bovendien kunnen tools tools die teksten ‘vermenselijken’ sommige kenmerken uit een tekst halen, net als geavanceerd prompten.
Met deze disclaimers uit de weg, gaan we kijken wat het huidige onderzoek zegt over de tendensen van door AI gegenereerde tekst. We zullen de talige, structurele en inhoudelijke aanwijzingen schetsen die zijn geïdentificeerd door middel van statistische taalkundige analyse. We zullen ook kijken naar aanwijzingen die zijn geïdentificeerd door middel van meer kwalitatief onderzoek op basis van de mening van experts en docenten.