Rijd eens met je auto in een drukke Nederlandse binnenstad rond en observeer wat er allemaal om je heen gebeurt. Voortdurend moet je als bestuurder beslissingen nemen. Heeft die plotseling overstekende voetganger je wel gezien? Geef je dat bestelbusje even voorrang? Wat is die moeder met een kind achterop op haar fiets van plan? En dan heb je nog het weer. Je kunt verblind worden door de zon. Je kunt minder zien in de schaduw en in het donker. Het kan glad zijn of keihard regenen. We beseffen meestal niet hoeveel intelligente beslissingen we tijdens het autorijden nemen, en onder welke lastige omstandigheden.
Jaarlijks overlijden 1,3 miljoen mensen wereldwijd bij auto-ongelukken. Dat zijn er gemiddeld meer dan honderd per uur. Ongeveer een half miljoen van de doden zijn kwetsbare weggebruikers als voetgangers en fietsers. Kijken we naar de oorzaken van de ongelukken, dan gebeurt naar schatting 94% door menselijk fouten zoals gebrek aan concentratie, slaperigheid, drank en te hard rijden.
Een zelfrijdende auto heeft daar allemaal geen last van. Het verbeteren van de verkeersveiligheid is dus de belangrijkste reden voor de ontwikkeling van zelfrijdende auto’s. Als de zelfrijdende auto een groot deel van die ongelukken kan voorkomen, en zelf geen of nauwelijks nieuwe ongelukken introduceert, dan zou dat een enorme maatschappelijke bijdrage betekenen. Een andere goede reden voor de zelfrijdende auto is dat een bestuurder geen tijd meer verliest door het bedienen van pedalen en stuur en die tijd kan gebruiken om productief te zijn, met vrienden te communiceren of juist te ontspannen.
Het is heel bevredigend dat mijn onderzoek tot een systeem heeft geleid dat de verkeersveiligheid op straat verhoogt en mensenlevens redt.
Kwetsbare weggebruikers
Binnen de afdeling Cognitive Robotics leidt hoogleraar Dariu Gavrila de Intelligent Vehicles-onderzoeksgroep. Hij richt zich vooral op de interactie tussen de zelfrijdende auto en kwetsbare weggebruikers als voetgangers en fietsers.
Gavrila: “Vanuit het standpunt van de robotica is automatisch rijden een gecompliceerd en dus een interessant probleem. De omgeving is weinig gestructureerd, er bewegen verschillende weggebruikers met relatief hoge snelheden dichtbij elkaar en iedereen heeft een eigen doel. De interacties kunnen complex zijn en er is onzekerheid in de waarneming van de omgeving. Tenslotte moeten er snelle beslissingen genomen worden."
Gavrila werkt al sinds 1997 aan omgevingswaarneming voor auto’s met behulp van intelligente sensoren. Tot 2016 deed hij dat in dienst van de Duitse autofabrikant Daimler, de maker van Mercedes-Benz. Gavrila was daar een pionier van de actieve voetgangersveiligheid. In 2003, toen dit nog maar mondjesmaat onderwerp van wetenschappelijk onderzoek was, lag het detectiepercentage van voetgangers slechts op 40% en werden er wel 10 voetgangers per minuut ten onrechte door het systeem erbij verzonnen (false positives), met name bij bomen, struiken en stoplichten.
In de jaren daarna kwamen er snellere processoren, betere algoritmen en vooral veel meer trainingsdata. In 2010 lag het detectiepercentage al op 90% en was het aantal false positives tegen nul gereduceerd. In 2013-2014 werd Gavrila’s voetgangersysteem in de Mercedes-Benz S-, E- en C-klasse limousines ingebouwd. Het systeem gebruikt een stereocamera om gevaarlijke situaties met voetgangers te detecteren. In eerste instantie wordt de bestuurder akoestisch gewaarschuwd, maar als het gevaar te groot wordt voert de auto automatisch een noodstop uit. De afdeling ongevallenanalyse bij Mercedes-Benz heeft berekend dat met dit systeem het aantal aanrijdingen met voetgangers met 6% gereduceerd wordt. Bovendien reduceert het bij 40% van de aanrijdingen de zwaarte van de verwondingen. Gavrila: “Het is heel bevredigend dat mijn onderzoek tot een systeem heeft geleid dat de verkeersveiligheid op straat verhoogt en mensenlevens redt.”
Gavrila onderscheidt vier stappen in de omgang van de zelfrijdende auto met kwetsbare weggebruikers. In de eerste stap detecteert de auto waar zich objecten bevinden. Dankzij steeds betere sensoren (radar, lidar en stereo-camera’s) zijn zelfrijdende auto’s steeds beter geworden in het in kaart brengen van hun ruimtelijke omgeving. In de tweede stap moet de auto ook weten welke objecten hij ziet: een voetganger, een fietser, een verkeersbord, een kuil in de weg, een rij bomen enzovoort. Dankzij grote trainingssets en het sterk toegenomen lerende vermogen van computers lukt ook dat steeds beter.
Samen met onderzoekers van Daimler heeft Gavrila inmiddels een unieke dataset verzameld: de Eurocity Person Detection Dataset. Daarin zitten verkeersbeelden van 31 Europese steden in 12 landen, in alle seizoenen en zowel overdag als ’s nachts. De voetgangerdetectiesystemen die deze grote dataset gebruiken om te trainen hebben nu een grote streep voor.
De heilige graal: voorspellen wat de andere weggebruikers gaan doen
De derde en waarschijnlijk moeilijkste stap in de omgang van de zelfrijdende auto met andere weggebruikers is het voorspellen wat deze gaan doen en daarop te anticiperen. Vooral kwetsbare weggebruikers, zoals voetgangers en fietsers, zijn moeilijk in te schatten. Ze zijn heel wendbaar en kunnen in een mum van tijd versnellen of van richting veranderen. Een oplettende menselijke bestuurder is er heel goed in om uit de verkeerscontext en aan de lichaamshouding van een voetganger of fietser af te leiden wat deze van plan is te doen.
Gavrila: “Tot voor kort zagen zelfrijdende auto’s voetgangers alleen maar als bewegende stippen. Ze hadden geen dieper begrip van wat een voetganger ging doen. In de afgelopen drie jaar hebben wij een systeem gebouwd dat dat wel kan. In 2019 demonstreerden we als eerste in de wereld een zelfrijdende auto die aan de lichaamshouding van een plotseling overstekende voetganger kan zien of hij de auto wel of niet heeft opgemerkt. Op basis daarvan past de auto vanzelf zijn koers aan. De auto wijkt preventief uit als de voetganger de auto niet heeft gezien en de voetganger geen duidelijke aanstalten maakt dat hij gaat stoppen.”
Het systeem werkt ook voor het herkennen van het gedrag van fietsers. Stel, een zelfrijdende auto rijdt achter een fietser, dan ziet de auto aan de houding van de fietser of deze linksaf slaat of niet, zelfs als de fietser zijn hand niet uitsteekt. Voor de bewegingsplanning werkte Gavrila trouwens samen met de onderzoeksgroep van collega-hoogleraar Robert Babuska.
Een vierde stap in de omgang van de zelfrijdende auto met andere weggebruikers is het mogelijk maken van een expliciete communicatie. Dat staat pas in de kinderschoenen. Toch is het belangrijk. Mensen communiceren in het verkeer vaak met gebaren of met hun lichaamshouding. Gavrila: “Een paar jaar geleden deed Mercedes-Benz een test in een Duits stadje. Een oude mevrouw zag de auto, bleef staan bij een zebrapad en gebaarde dat de auto wel mocht voorgaan. Ze wist niet dat het een zelfrijdende auto was en bleef maar gebaren dat de auto mocht voorgaan. Mensen lossen dat makkelijk met gebaren op maar de zelfrijdende auto begreep deze mevrouw niet.”
Andersom moet ook de zelfrijdende auto met signalen duidelijk maken aan de omgeving wat deze van plan is. Bij vervolgonderzoek gaat Gavrila samenwerken met de groep van hoogleraar David Abbink aan de communicatie tussen de zelfrijdende auto en omgeving.
Ik verwacht dat het binnen twee jaar mogelijk wordt als ‘bestuurder’ in je zelfrijdende auto op de snelweg je ogen van de weg te halen om bijvoorbeeld een appje te schrijven.
Na de hype is het nu tijd voor realisme
Rond 2015 voorspelden talloze mensen, met Tesla-baas Elon Musk voorop, dat de volledig zelfrijdende auto in 2020 een feit zou zijn. Zo snel zijn de ontwikkelingen echter bij lange na niet gegaan. Het verbaast Gavrila niet: “Mensen als Musk hebben een commercieel belang bij het overdrijven van hun voorspellingen. De meeste ingenieurs wisten dat er nog tal van onopgeloste problemen zijn, zowel praktisch als fundamenteel van aard. Drukke binnensteden zijn een probleem. Camera’s kunnen een probleem hebben bij laagstaande zon of ’s nachts. Slecht weer is een groot probleem. Er is een groot aantal situaties dat heel weinig voorkomt en toch grote impact kan hebben. Denk aan plotseling overstekend wild of een stuk plastic dat over de weg waait. En het probleem van het voorspellen wat andere weggebruikers gaan doen is nog niet bevredigend opgelost. Onze demonstratie uit 2019 was een mijlpaal, maar het is maar één situatie en we weten niet hoe goed de automatische anticipatie van de auto opschaalt naar een drukke binnenstad.”
Gavrila is ervan overtuigd dat de volledig zelfrijdende auto er gaat komen, maar langzamer en geleidelijker dan een paar jaar geleden door mensen als Musk werd gedacht. “Ik verwacht dat het binnen twee jaar mogelijk wordt als ‘bestuurder’ in je zelfrijdende auto op de snelweg je ogen van de weg te halen om bijvoorbeeld een appje te schrijven. En dan zal er wel een camera zijn die in de gaten houdt of je niet in slaap valt, want dat zal voorlopig nog niet mogen.”
In de komende jaren zullen ook grootschalige tests plaatsvinden met volledig zelfrijdende auto’s zonder back-up-bestuurder, maar dan slechts op bepaalde, overzichtelijke routes waarvoor goede kaarten bestaan, zoals van een station naar een bedrijventerrein. Gavrila verwacht dat het tenminste nog twintig jaar gaat duren voordat robottaxi’s op meerdere plekken rondrijden in een stad als Amsterdam. “Dat is de termijn die je noemt als je eigenlijk geen idee hebt hoe lang het nog gaat duren”, voegt hij er lachend aan toe.
Grote uitdagingen voor de zelfrijdende auto
- Perceptie van de omgeving van de auto. Dit is sterk vooruit gegaan door steeds betere sensoren, maar nog niet foutloos.
- Beter begrip van de semantiek van de waargenomen omgeving, zoals onderscheid maken tussen objectklassen: voetganger, fietser, auto, infrastructuur…
- Omgaan met moeilijke weersomstandigheden: ijzel, sneeuw, zware regen, verblinding door zonlicht…
- Omgaan met complexe omgevingen en zeldzame gebeurtenissen: drukke binnensteden met chaotisch en divers verkeer, wegwerkzaamheden, overstekende dieren…
- Anticiperen en voorspellen van gedrag van andere weggebruikers
- Communicatie met andere weggebruikers, iets wat mensen doen via oogcontact, praten, lichaamshouding…
Vijf niveaus van autonomie in zelfrijdende auto
Niveau 0: Menselijke bestuurder doet alles zelf. Geen automatische functies.
Niveau:
- Auto heeft enkelvoudige automatische rijfuncties: remmen/versnellen of sturen (b.v. cruise control op snelweg, pre-crash systemen, vasthouden van rijbaan). Menselijke bestuurder moet constant blijven opletten en kunnen ingrijpen.
- Auto heeft gecombineerde rijfuncties: zowel remmen, versnellen als sturen (b.v. cruise-control met vasthouden van de rijbaan). Menselijke bestuurder moet constant blijven opletten en kunnen ingrijpen.
- Menselijke bestuurder mag controle op bepaalde trajecten overlaten aan zelfrijdende auto en nevenactiviteiten uitvoeren waardoor zijn ogen niet meer op de weg hoeven te zijn. Na waarschuwing door systeem moet bestuurder wel bereid zijn om de controle weer over te nemen.
- Mens kan controle volledig aan zelfrijdende auto overlaten in van te voren gedefinieerde situaties (bepaalde routes, normale weersituaties).
- Zelfrijdende auto doet altijd en onder alle omstandigheden alles zelf.
D. Gavrila
Foto's: Jesse Kraal - De Beeldredacteur
