Centraal stond een praktisch probleem: naarmate AI toegankelijker wordt, neemt het risico toe dat enquêtes worden ingevuld met geautomatiseerde of door AI ondersteunde antwoorden, wat de betrouwbaarheid van wetenschappelijke data ondermijnt.
We bevinden ons in een soort “wapenwedloop” tussen de mogelijkheden van AI en detectietechnologieën. Traditionele waarborgen zoals CAPTCHA, ooit een effectief middel tegen geautomatiseerde antwoorden, raken snel achterhaald. Een belangrijke nuance in de discussie was het onderscheid tussen daadwerkelijk kwaadwillende actoren die zwermen bots inzetten om betaalde survey-panels uit te buiten voor winst, en gewone deelnemers die uit gemak hun open antwoorden in ChatGPT plakken. Beide vormen vervuilen de data, maar vragen om verschillende tegenmaatregelen. Tactieken zoals “poison pill”-zinnen, het bijhouden van metadata zoals toetsaanslagen en responstijden, en het beperken van knip-en-plakfunctionaliteit bieden slechts gedeeltelijke oplossingen; de panelleden waren het erover eens dat dit tijdelijke maatregelen zijn en geen structurele oplossingen.
Bij het bespreken van mogelijke oplossingen kwam ook een meer filosofische vraag op: als een door AI gegenereerd antwoord niet te onderscheiden is van een menselijk antwoord, maakt het dan nog uit wie – of wat – er geantwoord heeft? Het antwoord van het panel was een duidelijk ja. Grote taalmodellen (LLM’s) zijn getraind op bestaande menselijke data, maar weerspiegelen niet de unieke leefwereld en ervaringen van individuele mensen. Ze hebben de neiging effectgroottes te overdrijven, hypothesen te sterk te bevestigen en minderheidsgroepen systematisch verkeerd te representeren. Wanneer bijvoorbeeld niet-moedertaalsprekers AI gebruiken om hun open antwoorden te “polijsten”, gaat er iets verloren: de ongefilterde toon, het sentiment en de eigen stem waarop kwalitatieve onderzoekers juist vertrouwen om rijkere inzichten uit data te halen. De panelleden uitten ook een bredere zorg: naarmate AI-gegenereerde inhoud het internet overspoelt, wordt de trainingsdata voor toekomstige modellen steeds homogener, met het risico op een epistemische feedbackloop die wetenschappelijke kennis op grote schaal verder kan vertekenen.
Grootschalige online steekproeven blijven voor bepaalde onderzoeksdesigns onvervangbaar – het is bijvoorbeeld onmogelijk om 2.000 nationaal representatieve respondenten naar een laboratorium te halen – en daarom blijft de afhankelijkheid van online enquêtes bestaan. Tegelijkertijd versterken de snelheid en schaal die online surveys mogelijk maken, ooit gezien als de grote voordelen van digitaal onderzoek, nu juist bepaalde kwetsbaarheden. Het panel plaatste vraagtekens bij de versnelde productie van academische output, waarbij publicaties zich in hoog tempo opstapelen en reviewers steeds vaker AI inzetten. Dit roept de vraag op wat de wetenschappelijke gemeenschap uiteindelijk wint als volledige onderzoekspijplijnen geautomatiseerd raken. Maatregelen om dit aan te pakken zijn nodig op meerdere niveaus: onderzoekers moeten hun data kritisch controleren en detectiemethoden transparant rapporteren; tijdschriften zouden integriteitsstandaarden moeten afdwingen die vergelijkbaar zijn met open-science-praktijken; en commerciële aanbieders van survey-deelnemers moeten verantwoordelijkheid nemen voor de authenticiteit van respondenten. Praktijken zoals het auditen op AI-antwoorden zijn geen administratieve last, maar een kernvereiste van rigoureuze wetenschappelijke methodologie.
Het panel sloot af met behoedzaam optimisme. AI is immers ook een krachtige versterker van onderzoek, bijvoorbeeld door het automatiseren van tekst- en videoanalyse, het mogelijk maken van grootschalige vragenlijstgeneratie en -validatie, en het openen van methodologische routes die voorheen te kostbaar waren. De consensus was dat online surveys als methode niet achterhaald zijn, maar zich wel op een kantelpunt bevinden. De weg vooruit vraagt om voortdurend onderzoek naar de zich ontwikkelende mogelijkheden van AI, een bredere institutionele bewustwording van de risico’s, en een gezamenlijke inzet om de authenticiteit van data voorop te blijven stellen.