Sociale robots kunnen mogelijk begrijpen waar mensen naar kijken zonder dure apparatuur voor oogtracking. Onderzoek van AI-wetenschapper Linlin Cheng laat zien dat gewone camera's hiervoor voldoende informatie kunnen bieden. Dat kan interactie met robots praktischer en betaalbaarder maken in bijvoorbeeld ziekenhuizen, scholen en op de werkvloer.
Naarmate robots steeds vaker buiten onderzoekslaboratoria worden ingezet, wordt het belangrijker dat ze sociale signalen van mensen kunnen begrijpen. Cheng onderzocht of sociale robots menselijke blik kunnen interpreteren met alleen gewone camera's, zonder gespecialiseerde hardware voor oogtracking.
‘Mijn onderzoek richt zich op de vraag of sociale robots menselijke blik kunnen begrijpen met alleen gewone camera's,’ zegt Cheng. ‘Traditionele eye-trackers kunnen nauwkeurige metingen leveren, maar zijn duur, kunnen als opdringerig worden ervaren en zijn moeilijk in te zetten buiten gecontroleerde laboratoriumomgevingen. Daarom heb ik onderzocht of op uiterlijk gebaseerde blikschatting, waarbij de blikrichting wordt voorspeld op basis van beelden van standaardcamera's, een praktisch alternatief kan zijn.’
De resultaten wijzen erop dat dit mogelijk is.
‘Robots kunnen met een gewone camera een bruikbaar beeld krijgen van waar iemand naar kijkt, zonder dat daarvoor speciale apparatuur voor oogtracking nodig is,’ zegt Cheng. ‘Dat betekent dat interactie op basis van blik veel praktischer en betaalbaarder kan worden voor robots die worden gebruikt op alledaagse plekken zoals ziekenhuizen en scholen.’
Goed in het herkennen van aandacht, minder goed in snelle blikken
De technologie kent ook beperkingen. In plaats van iedere oogbeweging nauwkeurig te volgen, is het systeem momenteel beter in het herkennen van bredere patronen van aandacht.
‘Het werkt goed voor het herkennen van iemands algemene aandachtspatroon, bijvoorbeeld of iemand naar de robot kijkt of naar een taak voor zich,’ zegt Cheng. ‘Dat geldt vooral wanneer de robot en de persoon zich op één tot twee meter afstand van elkaar bevinden.’
Snelle blikken en plotselinge veranderingen in aandacht zijn moeilijker vast te leggen. ‘Dergelijke snelle bewegingen zijn een natuurlijk onderdeel van menselijk gedrag, maar kunnen moeilijk door een camerasysteem worden geregistreerd.’
De technologie is daarom nog geen vervanging voor zeer nauwkeurige eye-trackers in iedere situatie. De kracht ervan ligt vooral in het bieden van een bruikbare en betaalbare indicatie van waar iemands aandacht op is gericht.
Van medicatietray tot werkplaats
Het onderzoek laat ook zien hoe deze informatie door robots kan worden gebruikt in praktische situaties.
‘Ik heb laten zien dat een robot dit soort bliktracking kan gebruiken om op te merken wanneer iemand een taak heeft voltooid, waarbij alleen goedkope camera's worden gebruikt in plaats van dure laboratoriumapparatuur.’
Dat kan toepassingen mogelijk maken in de zorg, het onderwijs en de industrie.
‘Een zorgrobot die een oudere persoon helpt, kan bijvoorbeeld vaststellen of die persoon naar de medicatietray kijkt of juist wegkijkt, afgeleid of verward is, en zijn gedrag daarop aanpassen, zonder dat de persoon apparatuur voor oogtracking hoeft te dragen,’ legt Cheng uit.
Ook op de werkvloer kan dezelfde aanpak robots helpen herkennen wanneer iemand een activiteit heeft afgerond.
‘Een ondersteunende robot in een werkplaats zou kunnen detecteren dat iemand een taak heeft voltooid door simpelweg te volgen hoe diens blik van de taak weggaat.’
Robots goedkoper en eenvoudiger maken
Omdat het systeem gebruikmaakt van apparatuur die al op veel robots beschikbaar is, kan de aanpak een van de barrières voor het inzetten van sociale robots in alledaagse omgevingen verkleinen.
‘Voor deze aanpak is alleen een gewone camera nodig. Dat verlaagt de kosten en complexiteit van het inzetten van sociale robots en maakt gebruik in de echte wereld binnen de komende jaren realistischer in plaats van pas over tientallen jaren,’ zegt Cheng.
‘Dit is vooral relevant nu robots zich steeds meer van laboratoria naar gedeelde ruimtes met mensen verplaatsen, waar betaalbare en natuurlijke interactie belangrijk is voor vertrouwen en gebruiksgemak.’
Volgens Cheng is de groep potentiële gebruikers breed: ‘Patiënten in ziekenhuizen, studenten in klaslokalen en werknemers op fabrieksvloeren of in magazijnen kunnen allemaal baat hebben bij robots die een basaal begrip hebben van waar mensen hun aandacht op richten.’
Getest met echte mensen en robots
Om vast te stellen hoe goed de aanpak werkt, combineerde het onderzoek technische vergelijkingen met experimenten met echte mensen en robots.
Eerst voerde Cheng vergelijkende onderzoeken uit waarin modellen voor op uiterlijk gebaseerde blikschatting werden getest aan de hand van referentiegegevens van eye-trackers en handmatige annotaties door mensen. Zo kon worden onderzocht hoe nauw de resultaten overeenkwamen met meer gevestigde methoden.
Vervolgens voerde ze experimenten met mens-robotinteractie uit. Deelnemers werkten tijdens gestructureerde taken met echte robots, terwijl hun blik werd gevolgd en geanalyseerd.
Hiermee kon de technologie onder realistischer omstandigheden worden getest en kon worden onderzocht hoe goed de modellen presteerden met echte gebruikers.
Daarnaast ontwikkelde en testte Cheng een realtime systeem dat blikgegevens gebruikte om te detecteren wanneer iemand een taak had voltooid. Het systeem draaide op standaard, goedkope robotica-hardware in plaats van dure gespecialiseerde apparatuur.
Een stap naar natuurlijkere interactie
De bevindingen van Cheng laten zien dat robots niet iedere oogbeweging perfect hoeven te registreren om meer sociale signalen van mensen te kunnen gebruiken. Een gewone camera kan al voldoende informatie bieden om de algemene aandachtsrichting van een persoon te begrijpen en die informatie te gebruiken voor natuurlijkere interactie.
‘Met deze methoden kon ik zowel de technische nauwkeurigheid van op uiterlijk gebaseerde blikschatting als de praktische bruikbaarheid ervan in echte interactieve situaties met mensen en robots beoordelen,’ zegt Cheng.
Het onderzoek wijst daarmee op een praktische mogelijkheid om robots te laten reageren op basale menselijke sociale signalen zonder gespecialiseerde apparatuur.