Onderzoek opent black box van data-gedreven keuzemodellen

Gezichtsherkenning bij het nemen van foto’s met je smartphone, zoekmachines op het internet en aanbevelingssystemen op Netflix en andere streamingdiensten: artificiële intelligentie beïnvloedt dagelijks onze keuzes. Maar we weten vaak niet hoe het precies werkt. Als het gaat om bijvoorbeeld beslissingen bij het maken van overheidsbeleid, zoals het uitstippelen van nieuw transportbeleid, dan moeten de modellen waarop het beleid is gebaseerd wel volledig transparant zijn. Ahmed Alwosheel onderzocht hoe je vertrouwen in artificiële neurale netwerken kunt vergroten wanneer deze worden gebruikt om menselijk gedrag te begrijpen. Dit is van belang wanneer ze worden ingezet bij het onderbouwen van transportbeleid. Op 10 juli promoveert hij op dit onderwerp aan de TU Delft. 

Statistische keuzemodellen worden al tientallen jaren gebruikt om keuzegedrag mee te voorspellen in de mobiliteitssector en in andere domeinen. Traditioneel zijn zulke modellen gebaseerd op gedragstheorie, zoals de theorie van de nutsmaximalisatie: het idee dat mensen rationeel zijn en dus altijd zullen kiezen voor het alternatief dat de grootst mogelijke behoeftebevrediging met zich meebrengt. “Bij theorie-gedreven modellen doe je allerlei aannames. Je gaat er bijvoorbeeld vanuit dat er een vooraf vastgelegde relatie bestaat tussen bijvoorbeeld de kosten of de duur van een reis en het nut dat een bepaald vervoersmiddel oplevert. Dat heeft als grote voordeel dat het heel transparant is hoe je model werkt”, vertelt Sander van Cranenburgh, die het onderzoek van Alwosheel als co-promotor begeleidde.  

Black box

Een recente ontwikkeling in het gedragsmodellenveld is het gebruik van modellen die niet theorie-gedreven, maar data-gedreven zijn, ofwel ze zijn gebaseerd op artificiële intelligentie. “Bij data-gedreven modellen laat je veronderstellingen over hoe mensen keuzes maken achterwege en gaat het model zelf op zoek naar de relaties in de data”, legt Van Cranenburgh uit. “Het voordeel van deze modellen is dat complexe processen er vaak goed mee voorspeld kunnen worden. Een nadeel is dat je niet precies weet waar de voorspellingen van deze data-gedreven modellen op gebaseerd zijn.” Het is dit black box-fenomeen dat het gebruik van data-gedreven modellen in sommige domeinen nog in de weg staat. “Gaat het bijvoorbeeld om het maken van transportbeleid dan moet de overheid wel kunnen uitleggen op basis waarvan bepaalde beslissingen zijn genomen”, zegt Van Cranenburgh. 

Hond of kat?

Alwosheel laat in zijn proefschrift zien hoe je beter inzichtelijk kunt maken waarop de voorspellingen in een data-gedreven model, zogeheten artificiële neurale netwerken, gebaseerd zijn. Daarmee wordt het vertrouwen in deze modellen vergroot, omdat inzichtelijk wordt waarop voorspellingen van het model zijn gebaseerd. Daarvoor pionierde de promovendus met twee methodes.

De eerste methode komt uit de hoek van de computer vision, waar AI wordt gebruikt om beelden te analyseren en begrijpen. “Een systeem dat heeft geleerd om honden en katten te onderscheiden, kun je vragen hoe een archetypische hond eruit ziet. Zit er dan een kattenstaart aan, dan komt dit niet overeen met een menselijk beeld van een hond”, zegt Van Cranenburgh. Vertaal je deze methode naar gedragsmodellen, dan kijk je naar de karakteristieken van een typische OV-reiziger. “Als daar dan uitkomt dat het iemand tussen de 20 en 30 is zonder rijbewijs, dan kan je –als onderzoeker– dat spiegelen aan je menselijk beeld van de OV-reiziger: heeft het model geleerd wat ik had verwacht dat het zou leren?” 

De tweede methode kijkt niet naar het model als geheel, maar naar specifieke voorspellingen met behulp van layer-wise relevance propagation (LRP). LRP pelt als het ware alle lagen van de voorspelling af en kijkt zo terug door het netwerk naar de belangrijkste verklarende factoren die van invloed waren op de voorspelling. 

Winst

“Met zijn onderzoek heeft Ahmed Alwosheel ervoor gezorgd dat we nu tools hebben die inzichtelijk maken wat er in zo’n data-gedreven model gebeurt. Daarmee wordt het vertrouwen in deze modellen vergroot, en dat maakt dat het gebruik van deze modellen voor het maken van bijvoorbeeld transportbeleid een stap dichterbij komt”, stelt Van Cranenburgh. “Dat is winst, want met een data-gedreven model kun je rijkere voorspellingen maken. Het wordt niet beperkt door de restricties over keuzegedrag die de onderzoeker oplegt; zodoende kan het model allerlei (nog niet bekende) gedragsfenomenen oppikken.” Uiteindelijk wil Van Cranenburgh theorie-gedreven en data-gedreven modellen dichter bij elkaar brengen om keuzegedrag beter te leren begrijpen en voorspellen. “We hebben nu twee modelleerparadigma’s, die beide goed zijn in iets anders. De uitdaging is om manieren te vinden zodat ze elkaar kunnen versterken”   

Meer informatie

Promotie A.S.A. Alwosheel
Trustworthy and explainable artificial neural networks for choice behaviour analysis.
Link naar het proefschrift in de TU Delft repository: https://doi.org/10.4233/uuid:82fcb7b1-153c-4f6f-9d8c-bbdc46cc2d4e
Promotor 1: Prof.dr.ir. C.G. Chorus; Copromotor: Dr.ir. S. van Cranenburgh.