Reasoning in Language Models: Identification and Application
Nog veel meer onderzoek nodig naar redeneren door taalmodellen
Taalmodellen zoals gebruikt in populaire chatbots laten wel degelijk tekenen van redeneren zien, maar steeds met een ‘maar’. Dat blijkt uit onderzoek van taalkundige Stefan Schouten naar de vraag of taalmodellen echt redeneren en hoe robuust dat redeneren is.
Zo koos GPT-4 bij zinnen die verschillende interpretaties toelaten, in ruim 83 procent van de gevallen de juiste uitleg. Dat is veel beter dan gokken, maar niet foutloos. Ook in de interne verbanden tussen begrippen en zinnen zijn logische structuren terug te zien, maar modellen laten zich bijvoorbeeld beïnvloeden door informatie die er niet toe doet.
Miljoenen mensen gebruiken AI-chatbots dagelijks voor advies, studie en werk. Nieuwe ‘redeneermodellen’ tonen hun gedachtegang, maar tekst die op redeneren lijkt, is nog geen bewijs dat er echt geredeneerd wordt. Ook de beweegredenen die een model opgeeft voor een antwoord of beslissing, hoeven niet overeen te komen met wat er intern werkelijk aan voorafging.
De ontwikkelde onderzoeksmethoden helpen wetenschappers en AI-bedrijven om in modellen te kijken en te controleren hoe betrouwbaar ze redeneren. Meer onderzoek is nodig om vast te stellen of taalmodellen ook robuust problemen kunnen oplossen die ze nooit eerder hebben gezien.