Beeldherkenning, spraakverwerking, medische diagnostiek – er is bijna geen domein waar machine learning niet een enorme impact heeft. Elvin Isufi voegt een extra dimensie aan machine learning toe, waardoor het ook efficient kan worden toegepast op complexe netwerken zoals aanbevelingssystemen, sociale netwerken en, meer down to earth, waternetwerken.
We weten allemaal dat machine learning een hot topic is en dat het succes ervan samengaat met grote hoeveelheden trainingsdata. Minder bekend, behalve onder computerwetenschappers, is dat de benodigde data typisch in een soort tabelvorm wordt aangeboden. Bij spraak is het bijvoorbeeld de luchtdruk die over de eendimensionale tijd varieert. Bij medische diagnostiek varieert de waarde van pixels op een twee- of driedimensionaal grid. Elvin Isufi, tenure track universitair docent in de Multimedia Computing Group aan de TU Delft: ‘Standaard deep learning scant deze data op zoek naar een patroon dat overeenkomt met een woord, een kat of een tumor. Netwerken zoals de hersenen, sociale netwerken of het waternetwerk zijn heel complex. Zij hebben een afwijkende, onregelmatige structuur. Om deep learning ook efficient op zulke netwerken te kunnen toepassen, moeten we deze geometrie goed benutten.’
Mijn onderzoeksvraag is hoe machine learning-modellen de structuur van complexe netwerken benutten
Connectiviteit is belangrijk
Met zijn fundamenteel-computerwetenschappelijk onderzoek duikt Elvin de dieptes van dit zogenoemde geometric deep learning in. Hierbij laat hij zich echter wel inspireren door uitdagingen uit verschillende andere vakgebieden. Neem bijvoorbeeld een drinkwater- en rioolnetwerk. Het bestaat uit knooppunten die water distribueren, pijpen die het transporteren, en een beperkt aantal sensoren die het waterniveau meten. Dankzij geometric deep learning is het mogelijk om het gehele netwerk te monitoren op
onregelmatigheden, zoals lekkages en cyberaanvallen. Of om voorspellingen te doen wat betreft toekomstig onderhoud en gebruik. Elvin: ‘Je komt niet heel ver als je een machine learning netwerk alleen voedt met trainingsdata, en daarna real-time data, van deze sensoren. Je moet het ook het inzicht geven in alle connecties. Mijn onderzoeksvraag is hoe een machine learning-model deze informatie, deze connectiviteit, benut bij het oplossen van bepaalde taken. En als het daar geen gebruik van maakt, hoe kunnen we dit verbeteren?’
Het openen van de ‘black box’
Elvin zegt dat het een bekend probleem met machine learning is dat het typisch een ‘black box’ is, en we weten niet hoe het doet wat het doet. ‘Ik wil deze doos openen. Daarbij maak ik gebruik van technieken die ik ken vanuit mijn ingenieursachtergrond in telecommunicatie en netwerk-signaalverwerking. Daarnaast pas ik ook de meest moderne machine learning technieken toe.’ Hij wordt hierbij gedreven door dezelfde nieuwsgierigheid die hij als klein kind al tentoonspreidde – toen hij speelgoed openbrak om de daarin aanwezig elektronica te bekijken en te achterhalen hoe die voor beweging zorgde. Dat is wat hem inspireerde tot een studie Electrotechniek. ‘Ik was helemaal weg van de fundamentele precisie waarmee informatie live kan worden verzonden van een radiostation naar een auto die met 100 km/uur op de snelweg rijdt. Nu wil ik AI begrijpen, met diezelfde fundamentele precisie.’
Koude start
Een deel van Elvin’s onderzoek in geometric deep learning focust op zogenoemde aanbevelingssystemen (“recommender systems”). Deze worden door bijvoorbeeld Netflix en bol.com ingezet om miljarden aanbevelingen te doen over hun films en producten. Elvin: ‘Een belangrijk probleem is de zogenoemde koude start. Een nieuw item komt beschikbaar, dus hoe past dit in het netwerk van bestaande producten en hun onderlinge connecties? Hoe kunnen we dit aanbevelen als nog niemand het gekocht heeft of er op geklikt heeft? Geometric deep learning kan hier een beter antwoord op geven.’ Fundamentele ontwikkelingen in wetenschap en techniek zijn vaak breder toepasbaar dan een enkel domein, en dat geldt ook voor het onderzoek van Elvin. Goed mogelijk dus dat het van pas komt als het toekomstige elektriciteitsnetwerk wordt uitgebreid met een nieuw zonnepark, of het rioolnetwerk met een extra overloop.
Watermanagement is een match tussen wat ik op fundamenteel vlak doe en hoe dit een vrijwel directe impact op de samenleving kan hebben
In plaats van iemand geheel verantwoordelijk te maken voor kritieke beslissingen in netwerken, zorgt AI voor ondersteuning
Watermanagement
Het geometric deep learning onderzoeksgebied bestaat pas vijf jaar, maar is al zo veelbelovend dat ingenieurs met verschillende achtergronden Elvin weten te vinden. Zo leidt hij samen met de faculteit Civiele Techniek en Geowetenschappen het AIDRO-lab. ‘Het lab focust op AI-onderzoek naar robuust en duurzaam waterbeheer. Het is een match tussen wat ik op fundamenteel vlak doe en hoe dit een vrijwel directe impact op de samenleving kan hebben.’ Naast de al genoemde stedelijke watersystemen zijn overstromingen een tweede focus. Als een gebied onderloopt, zoals bij de recente overstromingen in Duitsland, België en het zuiden van Nederland, dan is het belangrijk om te weten waar het water morgen of zelfs over een uur naar toe gaat. En of de overgebleven dijken het hoge water aan zullen blijven kunnen. ‘Bestaande modellen zijn heel nauwkeurig, maar het kost soms maanden aan rekentijd om tot een antwoord te komen. Machine learning-modellen zijn veel sneller, maar het duurt veel te lang om trainingsdata van alle mogelijk scenario’s te genereren. Mijn vraag is: Hoe kan ik machine learning technieken ontwikkelen die voldoende hebben aan tien of twintig scenario’s? Dit is essentieel opdat het model op elk mogelijk scenario van toepassing is.’
Met geometric deep learning is het mogelijk om het maximale uit AI te halen
Leidend in AI
De aanhoudende digitalisering van onze maatschappij betekent dat er een overvloed aan data is – de grondstof voor AI. Elvin: ‘De TU Delft neemt een leidende positie in binnen AI-onderzoek. Het is een bruisende omgeving waarin ik veel met andere onderzoekers praat, om zo inspratie op te doen van de methodes die ze toepassen en de problemen waar ze tegenaan lopen. Het elektriciteitsnetwerk, waternetwerken, de hersenen – deze zijn allemaal veel te complex voor een mens om te overzien. In plaats van iemand geheel verantwoordelijk te maken voor het kritieke beslissingen, kunnen we deze persoon ondersteunen met AI. Met geometric deep learning is het mogelijk om het maximale uit AI te halen.’
