Robots die leren als mensen

Robots laten leren is veel moeilijker dan computers laten leren

Maar hoe ontwikkelt de robotica zich nu eigenlijk en wat is de laatste stand van zaken? Hoogleraar intelligente controle en robotica Robert Babuska van de afdeling Cognitieve Robotica van de faculteit ME onderzoekt hoe robots beter kunnen leren.

Babuska: “Sommige filmpjes met robots zijn in de eerste plaats PR-filmpjes, filmpjes voor de show. Wat ze niet laten zien, is dat hun robots eenmalig een bepaald kunstje hebben vertoond. Alle keren dat de robot omviel, laten ze je niet zien. En het kunstje lukt alleen maar als de omgeving perfect is voorbereid. Leg een balk anders neer, dim het licht een beetje en de robot valt om. De filmpjes laten je geloven dat een bepaald probleem is opgelost, maar dat is onzin. Dat wat je ziet generaliseert niet naar andere omstandigheden.”

Wat zou er dan moeten gebeuren om de perceptie bij een breed publiek realistischer te maken?

Babuska: “Als robotici moeten we eerlijker zijn over wat robots wel en niet kunnen. Er is te veel overselling, in de VS vaak nog sterker dan in Europa. Telkens wanneer we spreken met journalisten of zelf een lezing geven, moeten we duidelijk maken hoe complex het is om een robot goed in de wereld te laten opereren. Daarnaast vind ik ook dat er te veel angst is. Je kunt talloze drone-filmpjes vinden die je bang maken voor een toekomst met drones. Maar Drones kunnen juist veel nuttige dingen doen.”

“Hetzelfde geldt voor robots op de grond. Er zijn zoveel uitdagingen in de maatschappij waar robots kunnen bijdragen aan een oplossing. Er is nog zoveel saai, smerig en gevaarlijk werk dat we beter aan robots kunnen overlaten. In de bouwsector en in de steigerbouw zijn maar weinig arbeiders die zonder versleten rug hun pensioen halen. Of kijk naar mensen die in de voedingsindustrie de hele dag in een temperatuur van zeven graden dezelfde handeling uitvoeren. Dat is toch een beeld dat eerder bij het jaar 1900 past dan bij 2020. Ik wil er graag aan bijdragen dat robots ons gaan helpen bij al dat soort taken.”

Babuska: “Ik richt me daarbij vooral op robots die goed leren bewegen. Het maakt me niet uit of het gaat om lopen, rijden, varen, vliegen of om het beetpakken en verplaatsen van voorwerpen. Ik onderzoek algemene technieken die voor een diverse toepassingen bruikbaar zijn in plaats van slechts voor één specifieke toepassing.”

Toen de deep learning-revolutie zich voltrok, bleek al snel dat robotici niet zomaar een beeldherkenningsalgoritme van een computer in een robot kunnen stoppen en verwachten dat het dan goed werkt. Een robot is meer dan een computer, het is een computer gekoppeld aan een fysiek lichaam. Een robot heeft een fysieke interactie met zijn omgeving. Babuska: “Een robot die beweegt, ziet de wereld steeds iets anders. En hij moet in real-time snel beslissingen nemen die ook nog nauwkeurig en betrouwbaar zijn. Als de robot een fout maakt, is dat in de fysieke wereld veel kostbaarder dan in de virtuele wereld. Dat zijn allemaal aspecten die het extra moeilijk maken om robots goed te laten leren.”

Leren met behulp van beloning en straf

Grofweg kunnen robots op drie manieren nieuwe dingen leren: geheel onder supervisie, geheel zonder supervisie, of ergens tussen die twee uitersten in. Bij het leren onder supervisie leert de robot doordat een mens direct of indirect als instructeur optreedt en de robot laat weten welke actie in welke situatie juist is. Deze manier van leren is het verst ontwikkeld. Bij leren zonder supervisie moet de robot alles zelf uitzoeken. Deze vorm van leren is het moeilijkst en staat pas in de kinderschoenen.

Een manier van leren die tussen beide uitersten in ligt, is het leren met behulp van beloning en straf. Dit is vergelijkbaar met de manier waarop ouders hun kinderen opvoeden. Het idee is dat de robot zich eerst op willekeurige manieren gedraagt en dat hij evalueert hoe succesvol elk van die gedragingen uitpakt. Dat kan op basis van feedback van een instructeur die zegt of de robot zijn actie goed heeft uitgevoerd. Bijvoorbeeld: lukt het de robot om een appel op te pakken of laat hij hem weer op de grond vallen? De robot probeert het een paar keer, kiest het succesvolste gedrag, brengt daar een aantal willekeurige variaties op aan en gaat opnieuw proefondervindelijk bepalen welke van die nieuwe gedragingen het meest succesvol is. Deze manier van leren heet reinforcement learning.

Babuska gebruikt een combinatie van deep learning en reinforcement learning, een techniek die deep reinforcement learning heet. Maar ook deze combinatie doet het weliswaar goed in eenvoudige, spelachtige omgevingen op een computer maar niet automatisch in de complexe wereld waarin robots zich bewegen.

Wat is dan de oplossing?

Babuska: “We hebben in de afgelopen jaren ontdekt dat we de robot niet moeten laten leren van het volledige beeld dat hij ziet, maar van een versimpelde werkelijkheid. Uit de beelden die de robot ziet, extraheren we kenmerken die nuttig zijn om de robot het juiste gedrag te laten vertonen. Die versimpelde werkelijkheid bestaat uit wat we state-representations noemen. Stel, een mobiele robot rijdt rond in een magazijn en moet op zoek naar een stellage waar een boormachine ligt. Dan moet de robot in de beelden die hij onderweg ziet de kenmerken van de stellage en de boormachine kunnen herkennen. Die kenmerken zitten dan in zo’n state representation. Maar wanneer er mensen ergens ver weg in het beeld lopen, en ze de robot niet hinderen, dan is dat niet belangrijk voor het halen van zijn doel. Die informatie hoeft de robot dan ook niet te verwerken.”

Het gevolg is dat de robot in plaats van miljoenen beeldjes misschien paar honderdduizend nodig heeft. Dat is precies zoals mensen ook niet alle visuele informatie die ze binnenkrijgen verwerken, maar vooral die informatie waarvan ze verwachten dat deze bijdraagt aan het halen van hun doel op dat moment.