Computerwetenschapper Inès Blin laat zien dat het aanleren van een gestructureerd geheugen van feiten en relaties aan AI de antwoorden nauwkeuriger en gemakkelijker te verifiëren maakt.
Blins onderzoek richtte zich op hoe AI-systemen het menselijk begrip van de wereld beter kunnen ondersteunen. Mensen begrijpen de wereld van nature door nieuwe gebeurtenissen of informatie te koppelen aan wat ze al weten, en dit om te zetten in een samenhangend verhaal (bijvoorbeeld: wat er gebeurde, waarom het gebeurde en waarom het ertoe doet). De huidige AI kan vloeiende tekst genereren, maar kan ook details verzinnen of moeite hebben om uit te leggen waar de antwoorden vandaan komen. Ik onderzocht hoe het combineren van gestructureerde kennis (zoals kennisgrafieken) met andere AI-methoden systemen kan helpen bij het opbouwen van verhalen die betrouwbaarder, transparanter en bruikbaarder zijn in verschillende domeinen. De motivatie was om AI te ontwerpen die gestructureerde geheugens kan gebruiken om verklaringen te ondersteunen, hypotheses te genereren en debatten te analyseren op een manier die mensen kunnen vertrouwen.
Nuttige alternatieven door AI
Haar onderzoek toonde aan dat het aanleren van een gestructureerd geheugen van feiten en relaties aan AI de antwoorden nauwkeuriger en gemakkelijker te verifiëren maakt. In plaats van direct tekst te genereren, verzamelen de systemen die Blin bouwde eerst relevante informatie en organiseren deze in een gestructureerde kaart van belangrijke entiteiten en hun onderlinge verbanden. Ze testte deze aanpak in drie domeinen: geschiedenis, discussies op sociale media en sociaalwetenschappelijk onderzoek. In het historische domein verbeterde de structurering van informatie de relevantie van wat het systeem ophaalde en verminderde het feitelijke fouten. In het domein van sociale media maakte het complexe debatten gemakkelijker te verkennen. In het domein van de sociale wetenschappen presteerden door AI gegenereerde hypotheses niet altijd beter dan die van mensen, maar ze boden vaak nuttige alternatieven, wat een sterk potentieel voor samenwerking tussen mens en AI aantoont.
Deze bevindingen zijn relevant voor iedereen die AI gebruikt om complexe onderwerpen te begrijpen, vooral wanneer vertrouwen en duidelijkheid belangrijk zijn. Voor gewone gebruikers kunnen gestructureerde narratieve weergaven AI helpen historische gebeurtenissen duidelijker en nauwkeuriger uit te leggen, in plaats van zelfverzekerde maar onjuiste antwoorden te geven. Voor experts kan dezelfde aanpak taken ondersteunen zoals het samenvatten van grote publieke debatten, zoals discussies op sociale media over ongelijkheid, of het helpen van onderzoekers bij het genereren van nieuwe ideeën in de sociale wetenschappen. In de praktijk zou dit kunnen leiden tot tools die gebruikers helpen snel door grote hoeveelheden informatie te navigeren, de belangrijkste standpunten te begrijpen en te zien hoe beweringen verband houden met bewijsmateriaal. Deze toepassingen zijn realistisch voor de nabije toekomst, omdat ze voortbouwen op bestaande AI-systemen en deze verbeteren met gestructureerde kennis.
Samenwerken met domeinexperts
Blin voerde haar onderzoek uit met een combinatie van literatuuronderzoek, computergestuurde experimenten en gebruikersstudies. Eerst bestudeerde ze bestaand onderzoek naar narratieven en hoe deze computergestuurd kunnen worden weergegeven. Vervolgens ontwikkelde ze methoden om relevante informatie te verzamelen en om te zetten in gestructureerde kennisrepresentaties, en testte deze in verschillende praktijkvoorbeelden. Ze evalueerde de resultaten met behulp van zowel kwantitatieve als kwalitatieve analyses. Voor de kwalitatieve analyses voerde ze gebruikersstudies uit om te beoordelen hoe nuttig de systeemoutput was, zowel voor door AI gegenereerde hypothesen in de sociale wetenschappen als voor de kwaliteit van antwoorden in het historische domein. Ten slotte werkte Blin waar nodig samen met domeinexperts om ervoor te zorgen dat de resultaten nuttig en realistisch waren in de praktijk.
Meer informatie over het proefschrift
