Om AI en mensen goed te laten samenwerken, is het belangrijk dat we goed kijken naar de manier waarop AI generaliseert. Dat stelt een groep onderzoekers, waaronder Filip Ilievski en Frank van Harmelen van de Vrije Universiteit Amsterdam.
Nieuwe AI-technologieën kunnen zeer nuttig zijn voor mensen, bijvoorbeeld als hulp bij wetenschappelijk onderzoek. AI-technologie kan echter ook worden gebruikt om democratieën te ondermijnen, bijvoorbeeld door middel van deepfake video's. Daarom is het cruciaal om AI op één lijn te brengen, zodat het doet wat we willen dat het doet. Om precies te zijn, om de manieren waarop mensen en AI hun vaardigheden of kennis generaliseren naar nieuwe situaties op elkaar af te stemmen, volgens Ilievski en co-auteurs in een nieuwe studie in Nature Machine Intelligence.
Generalisatie
Een belangrijk verschil tussen mens en machine is de manier waarop we generaliseren (zie ook deze visualisatie van de auteurs). Mensen hebben bijvoorbeeld gezond verstand, en kunnen generaliseren vanuit een paar voorbeelden. AI is juist goed in het generaliseren op basis van grote hoeveelheden data. Volgens de onderzoekers moet je daarom goed evalueren wat de sterke en zwakke punten ervan zijn op het gebied van generalisatie.
De auteurs onderzoeken wat generalisatie betekent, hoe het wordt gedaan en hoe we het kunnen evalueren. Hun conclusie: geen enkele benadering dekt alles. Deeplearningmodellen, gebaseerd op kunstmatige neurale netwerken, bieden schaal en nauwkeurigheid. Symbolische methoden, gebaseerd op symbolische (voor mensen leesbare) representaties, bieden verklarende eigenschappen. Instance-based methoden, waarbij een AI-model generaliseert op basis van de gelijkenis tussen nieuwe gegevens en eerdere voorbeelden, bieden robuustheid en stapsgewijs leren. Een veelbelovende stap voorwaarts is dus het combineren van de sterke punten van deze benaderingen door middel van hybride of neurosymbolische AI.
Om goed te kunnen samenwerken met AI, is het volgens de wetenschappers belangrijk om goede en verklaarbare mechanismen te hebben. Wanneer er sprake is van misalignment – bijvoorbeeld wanneer AI een tumor type 1 voorspelt en de arts tumor type 3 diagnosticeert – is het cruciaal om goede mechanismen voor foutcorrectie te ontwikkelen. AI-modellen moeten niet alleen juiste antwoorden geven, maar ook generaliseren op manieren die mensen kunnen begrijpen, checken en corrigeren.
Seminar
Het artikel is gebaseerd op een Dagstuhl-seminar "Generalization by Humans and Machines", dat werd bijgewoond door zo'n 30 toponderzoekers (experts) uit de hele wereld, die verschillende gebieden in AI en cognitiewetenschappen vertegenwoordigden. Het seminar werd georganiseerd door Ilievski en Van Harmelen samen met Sascha Saralajew (NEC Labs Europe) en Barbara Hammer (Universiteit van Bielefeld).