Interview met masterstudent text-mining Noah-Manuel Michael
Om deze vraag te beantwoorden, sloegen VU-NT2 Research en de VU masterspecialisatie Text Mining (Linguistics) de handen ineen. Onder begeleiding van Lisa Beinborn (master Text Mining) en Camille Welie (VU-NT2 Research) onderzocht Noah-Manuel Michael, masterstudent Text Mining, hoe goed AI-taalmodellen woordvolgordefouten in het Nederlands kunnen herkennen. Noah-Manuel vertelt hoe hij zijn onderzoek heeft aangepakt en wat het heeft opgeleverd.
Wat is de onderzoeksvraag van je masterscriptie?
De hoofdonderzoeksvraag is of en hoe goed fouten in de werkwoordsvolgorde herkend kunnen worden met modellen uit de natuurlijke taalverwerking. Een van de moeilijkheden voor taalleerders is dat er in het Nederlands een verschil is tussen de positie van werkwoorden in hoofdzinnen en bijzinnen. In hoofdzinnen hoort de persoonsvorm op de tweede positie te staan (principe van verb second) en staan de andere werkwoorden meestal achteraan in de zin. In de bijzin staan alle werkwoorden meestal achteraan in de zin. Daarom heb ik specifiek naar de positie van werkwoorden gekeken.
Hoe heb je deze onderzoeksvraag beantwoord?
Eerst heb ik kunstmatige datasets gemaakt met Nederlandse zinnen waarin de werkwoorden verkeerd geplaatst zijn. Vervolgens heb ik met een aantal ‘traditionelere’ Natural Language Processing modelarchitecturen (NLP) onderzocht of je met hun hulp machine learning-modellen kunt trainen die kunnen voorspellen of de zinnen correct of incorrect zijn. NLP modelarchitecturen zijn bijvoorbeeld applicaties die automatisch zinnen ontleden (syntactische parsers). Tenslotte heb ik hetzelfde gedaan met de state-of-the-art transformermodellen, waarop onder andere het welbekende ChatGPT is gebaseerd. Dit soort modellen kunnen beter de context waarin zinsdelen staan meenemen om taal te begrijpen.
Wat zijn de uitkomsten van je onderzoek?
Ten eerste is het genereren van data niet eenvoudig. Als je de werkwoorden in een zin op een willekeurige positie plaatst, kunnen bijvoorbeeld zinnen ontstaan die van de originele zin verschillen maar alsnog grammaticaal correct zijn. De modellen die ik op basis van de output van de syntactische parser heb gecreëerd, konden incorrecte zinnen in de meeste gevallen met een grotere waarschijnlijkheid dan toeval herkennen. Vooral veelbelovend waren echter de transformermodellen. Sommigen presteerden bijna perfect.
Wat betekent dit onderzoek nu voor de NT2-praktijk? Hoe nu verder? We vragen het Camille Welie, vanuit VU-NT2 Research betrokken bij dit onderzoek.
We hopen uiteindelijk een webapplicatie te maken waarbij NT2-leerders tekst kunnen invoeren en ze automatisch feedback krijgen op woordvolgordefouten. De webapplicatie zal verkeerd geplaatste werkwoorden markeren en aangeven waarom die verkeerd geplaatst zijn. Schrijvers krijgen vervolgens de gelegenheid om hun tekst te verbeteren. We verwachten dat NT2-schrijvers die met zo’n webapplicatie gaan werken steeds beter leren om een correcte woordvolgorde in het Nederlands te hanteren. Samen met Noah Michael en softwarebedrijf EDIA - gespecialiseerd in AI-toepassingen - hebben we in kaart gebracht welke stappen en financiering nodig zijn om een webapplicatie te bouwen. We zoeken nog naar een instelling of uitgever die deze webapplicatie zou willen financieren, dus alle hulp is welkom!*
*Interesse? Neem contact op met Camille Welie.