Kriskras door straten slingerende fietsers zijn een grote uitdaging voor zelfrijdende auto’s. Universitair docent robotica Holger Caesar leert autonome auto’s om fietsers te ‘zien’ en hun gedrag te voorspellen. Daarvoor heeft hij veel data nodig en die verzamelt hij op ‘Hollandse wijze’.
Holger Caesar is waarschijnlijk de enige op de campus die enthousiast wordt als de steile brug tussen het centrum van Delft en de universiteitscampus opengaat. In snel tempo verzamelen zich tientallen studenten voor de slagboom, terwijl een meterslang schip langzaam passeert. Ongeduldig staan de fietsers te wachten tot de slagboom in beweging komt. Zodra de weg vrij is, proberen de studenten allemaal tegelijk op te stappen. Met druk op de trappers om niet achteruit te rollen, slingert iedereen kriskras door elkaar de brug over.
Wat maakt Caesar geïnteresseerd in deze chaos? De verkeerssituatie bevat interessante gegevens over het gedrag van fietsers. Wie kiest op de brug bijvoorbeeld welke route tussen langzamere fietsers door? “Tot nu toe is er nog maar weinig data van fietsers beschikbaar”, vertelt hij. De fietsersdata gebruikt hij om zelfrijdende auto’s te leren omgaan met deze tweewielers in het verkeer.
De datasets die hij ontwikkelt, deelt hij met andere onderzoekers. “Er is veel interesse voor deze data. Met één goede openbare dataset kunnen veel verschillende onderzoeksvragen worden onderzocht”, zegt hij. Zo maakt hij met één dataset grote impact. Eerder maakte hij al de dataset nuScenes, waarin twee complete steden tot in detail zijn vastgelegd. Deze dataset wordt wijdverspreid gebruikt door onderzoekers om nieuwe software voor zelfrijdende auto’s te testen.
Auto’s leren zien in de regen
Dat zelfrijdende auto’s nog niet goed op fietsers kunnen anticiperen, komt allereerst doordat de auto’s in Amerika of Azië zijn ontwikkeld, vertelt Caesar. “Het onderzoek naar zelfrijdende auto’s begon in een woestijn in Arizona. Dat is voor maar weinig plekken op de wereld representatief”, zegt hij. Daar zijn geen fietsers of stoplichten en schijnt altijd de zon.
Ook is het waarnemen van fietsers uitdagend. “Fietsers zijn voor grote delen doorzichtig. Denk bijvoorbeeld aan de ruimte tussen de spaken”, legt hij uit. En is hun gedrag lastig te voorspellen, vertelt Caesar: “Auto’s volgen de rijbanen, fietsers bewegen veel vrijer.” Ook zijn de bewegingen die ze maken anders. “Ze kantelen heen en weer. Als een fietser een bocht maakt bijvoorbeeld, beweegt hij eerst in tegengestelde richting.” Ook daar moet rekening mee gehouden worden voor veilige interactie in het verkeer.
Fietsers zijn voor grote delen doorzichtig. Denk bijvoorbeeld aan de ruimte tussen de spaken.
Holger Caesar
Om auto’s te leren fietsers te zien, moest Caesar eerst bedenken wat geschikte ‘ogen’ zouden zijn voor de auto. Belangrijk daarbij was dat het voertuig ook onze natte herfstmaanden kan trotseren. De oplossing vond hij in een radarsensor onder de motorkap. “In tegenstelling tot camera’s, gaat radar dwars door de motorkap én regen heen.” Op een testlocatie naast het lab deed hij meerdere testritten. Hij zette voetganger ‘Hans’ neer, een zachte stoffen pop die op wieltjes heen en weer rijdt. De auto was met de radar in staat zelfstandig door de regen over de parkeerplaats rond te rijden, zonder Hans in gevaar te brengen.
Onderzoek op ‘Hollandse wijze’
Nu de auto kan zien, moest hij het voertuig nog leren hoe een fietser eruit ziet én hoe ze zich in het verkeer gedragen. Daarvoor had hij goede voorbeelden nodig. Maar hoe verzamel je die? Er hangen weinig camera’s op straat die op fietsers gericht zijn. En een auto met sensoren om fietsers vast te leggen, kan niet zomaar het fietspad op. De oplossing vond Caesar in, jawel, een fiets.
In het roboticalab loopt Caesar zwaaiend naar de testfiets toe. Op een computerscherm naast de fiets is het zwaaien direct zichtbaar als een kleurrijke collectie aan stippen, wat de laser- en radardata in drie dimensies laat zien. Met achterop twee lasers en uitstekende antennes en voorop een derde laser, blijft de fiets in het verkeer niet onopgemerkt. “Het is leuk om met de fiets over de campus te rijden, mensen kijken om en vragen wat je aan het doen bent”, zegt hij.
Van laserbeelden naar dataset
Na uren Delft rondtrappen op de testfiets, heb je nog geen bruikbare dataset. Daarvoor moet de data ‘gelabeld’ worden. Labelen houdt in dat aan alles wat op de beelden te zien is, een beschrijving gekoppeld wordt wat het is. Denk aan: ‘boom’, ‘fietser’ en ‘verkeerslicht’. Zo weet de auto wanneer hij naar een fietser kijkt. Nu gebeurt dit nog vaak handmatig en dat is veel werk. Zoals bij de ‘ik ben geen robot’ plaatjes, waarop je moet aangeven op welke vakjes binnen een foto scooters of stoplichten te zien zijn.
Je zou een applicatie kunnen maken die autobestuurders attendeert op een fiets die een onverwachte beweging maakt
Holger Caesar
Caesar wil labelen automatiseren. Hiervoor ontwikkelt hij samen met zijn team computeralgoritmes, die hij op zijn computerscherm laat zien. “Je ziet hier dat alles wat het algoritme herkent een kleur krijgt”, licht hij toe. Zo zijn de bomen groen en de gebouwen oranje. Ook voorspelt het algoritme in welke richting een verkeersdeelnemer gaat bewegen. De meest waarschijnlijke locatie is zichtbaar als een groene vlek, iets minder waarschijnlijk kleurt oranje.
Van Delft naar Rotterdam
Caesar ziet veel toepassingen voor dezelfde fietsersdataset. “Je zou een applicatie kunnen maken die autobestuurders attendeert op een fiets die een onverwachte beweging maakt”, zegt hij. Zo kan de veiligheid van fietsers in het verkeer worden vergroot. Ook ziet hij mogelijkheden voor collega’s. “Er zijn hier onderzoekers die fietsen ontwikkelen die niet om kunnen vallen, zij hebben ook veel interesse voor de datasets die wij maken”, vertelt hij.
Nadat afstudeerders Delft centrum in beeld brachten en de campus rond trapten, heeft Caesar als fietsfanaat nu grotere plannen. Eerder fietste hij in zijn vrije tijd al van Vietnam naar Thailand en van Duitsland naar Italië. Zulke afstanden wil hij ook met de fiets met sensoren afleggen. “Ik wil met de testfiets van Delft eerst naar Rotterdam en later ook naar Duitsland en België fietsen”, vertelt hij met een brede lach. Zo kan hij zijn dataset nog verder uitbreiden, wat veel nieuwe onderzoeksmogelijkheden oplevert voor zijn eigen team én voor vele anderen. Caesar: “Deze zaadjes kunnen, met hulp van onderzoekers en ondernemers, uitgroeien tot innovatieve oplossingen voor een veiligere fietservaring voor iedereen.”
