Drones navigeren beter als ze ook leren kijken naar textuur, kleur en vorm

Een bij kan schijnbaar moeiteloos navigeren tussen bloemen en langs obstakels. Je vraagt je misschien af hoe het komt dat zo’n klein insect, zo perfect zijn weg kan vinden? Die vliegkunst is voor een deel verklaarbaar door het concept ‘optische flow’, wat betekent dat insecten de snelheid waarnemen waarmee objecten zich door hun gezichtsveld verplaatsen. Roboticaonderzoekers proberen dat na te bootsen met vliegende robots, maar dat is tot op heden maar ten dele gelukt. Daarom presenteert een team van de TU Delft en de Westfälische Hochschule een op optische flow gebaseerd leerproces waarmee robots afstanden kunnen inschatten op basis van de visuele eigenschappen (vorm, kleur, textuur) van zichtbare objecten. Deze op kunstmatige intelligentie gebaseerde leerstrategie verbetert de navigatievaardigheden van kleine vliegende drones en biedt een nieuwe hypothese over de intelligentie van insecten. Het artikel verschijnt vandaag in Nature Machine Intelligence. 

Hoe landt een bij op een bloem? En hoe ontwijkt ze obstakels? Dat lijken vragen die vooral interessant zijn voor biologen. Maar met de opkomst van kleine elektronica en robotsystemen zijn dergelijke vragen ook relevant geworden voor de robotica en kunstmatige intelligentie. Zo zijn kleine robots bijvoorbeeld sterk beperkt als het gaat om de sensoren en processors die zij aan boord kunnen hebben. Als zulke robots even autonoom moeten zijn als zelfrijdende auto’s – die veel groter zijn – moeten ze gebruikmaken van een bijzonder efficiënt soort kunstmatige intelligentie, vergelijkbaar met de sterk ontwikkelde intelligentie van vliegende insecten.

Optische flow

Een van de dingen waar insecten veel gebruik van maken is ‘optische flow’: de manier waarop objecten zich door hun gezichtsveld bewegen. Die helpt hen om op bloemen te landen en obstakels en vijanden te ontwijken. De op optische flow gebaseerde strategieën die insecten voor complexe taken gebruiken zijn verrassend eenvoudig en elegant. Zo maken bijen bij het landen bijvoorbeeld gebruik van de ‘divergentie’, de snelheid waarmee zichtbare objecten groter worden. Als een bij zou vallen, zou de divergentie toenemen en zouden bijvoorbeeld grassprieten steeds sneller groter worden. Maar tijdens het landen gebruiken bijen een strategie om de divergentie constant te houden door af te remmen. Daardoor kunnen ze vloeiend en zachtjes landen.

 “We zijn begonnen aan het werken met optische flow uit enthousiasme over de elegante, eenvoudige strategieën die vliegende insecten gebruiken”, aldus Guido de Croon, hoogleraar Bio-inspired Micro Air Vehicles en eerste auteur van het artikel. “Maar het ontwikkelen van de benodigde besturingssystemen om deze strategieën uit te voeren met vliegende robots bleek verre van eenvoudig. Zo landden onze vliegende robots op een gegeven moment niet, maar bleven ze vlak boven het oppervlak oscilleren, oftewel op en neer gaan.”  

Fundamentele beperkingen

Optische flow heeft twee fundamentele beperkingen, die uitgebreid zijn beschreven in de toenemende literatuur in de door biologie geïnspireerde robotica. De eerste is dat optische flow alleen gecombineerde informatie verschaft over afstand en snelheid, en niet over afstand of snelheid afzonderlijk. Dat betekent bijvoorbeeld dat als er twee drones aan het landen zijn, en een daarvan twee keer zo hoog en snel vliegt als de andere, ze allebei dezelfde optische flow waarnemen. Maar voor een goede besturing moeten deze twee drones verschillend reageren op afwijkingen in de divergentie van de optische flow. Als een drone zijn reacties bij het landen niet aanpast aan de hoogte, komt hij nooit op de grond terecht, maar blijft hij daarboven oscilleren. Ten tweede is de optische flow in de richting waarin een robot beweegt heel klein. Dat is zeer nadelig, omdat daardoor de metingen van de optische flow in die richting relatief veel ruis vertonen en dus zeer weinig informatie verschaffen over de aanwezigheid van obstakels. Daardoor zijn de belangrijkste obstakels – die waar de robot naartoe beweegt – in de praktijk het lastigst om te detecteren.

Visuele verschijning leren als oplossing

“We realiseerden ons dat beide problemen met optische flow opgelost zouden zijn als de robots niet alleen de optische flow konden interpreteren, maar ook de visuele verschijning van objecten in hun omgeving”, vervolgt De Croon. “Robots zouden dan de afstand tot objecten kunnen waarnemen ongeveer zoals mensen afstanden kunnen inschatten bij een foto. De enige vraag was: Hoe kan een robot leren om op die manier afstanden waar te nemen?”

Het antwoord op die vraag zat hem in een onlangs door De Croon ontwikkelde theorie, waaruit blijkt dat vliegende robots door actief te oscilleren afstanden kunnen waarnemen. In het in Nature Machine Intelligence gepubliceerde artikel wordt een benadering gepresenteerd waarbij robots dergelijke oscillaties gebruiken om te leren hoe de objecten in hun omgeving er op verschillende afstanden uitzien. Op die manier kan een robot bijvoorbeeld leren hoe fijn de textuur van gras er vanaf verschillende afstanden uitziet tijdens het landen, of hoe dik boomstammen op verschillende afstanden zijn als hij door een bos vliegt.

Relevantie voor robotica en toepassingen

“Leren om afstanden te bepalen op basis van visuele verschijning levert veel snellere en vloeiendere landingen op dan voorheen mogelijk waren”, vertelt Christophe De Wagter, onderzoeker aan de TU Delft en coauteur van het artikel. “Bovendien konden de robots nu obstakels in de vliegrichting heel duidelijk zien om ze te ontwijken. Daardoor werd niet alleen de detectie van obstakels beter, maar konden onze robots ook sneller vliegen.” De gepresenteerde methodes zullen bijzonder relevant zijn voor vliegende robots met beperkte sensoren en rekenkracht, met name als die actief zijn in een omgeving met weinig ruimte, bijvoorbeeld in een kas om gewassen te monitoren of in een magazijn om de voorraad bij te houden.

Relevantie voor de biologie

De bevindingen zijn niet alleen relevant voor de robotica, maar hebben ook een nieuwe hypothese over de intelligentie van insecten opgeleverd. “Meestal beginnen experimenten met bijen met een leerfase, waarin de bijen verschillende oscillerende gedragingen vertonen tijdens de kennismaking met een nieuwe omgeving en de daarbij horende nieuwe prikkels, zoals kunstmatige bloemen”, vertelt Tobias Seidl, bioloog en hoogleraar aan de Westfälische Hochschule. “De uiteindelijke metingen die in artikelen worden gepresenteerd worden meestal gedaan na deze leerfase en daarbij ligt de nadruk voornamelijk op de rol van optische flow. Het hier gepresenteerde leerproces biedt een nieuwe hypothese over de manier waarop vliegende insecten in de loop van hun leven hun navigatievermogen verbeteren, bijvoorbeeld om te landen. Dat wijst erop dat we meer onderzoek naar deze leerfase moeten doen.”