Promovendi Nail Ibrahimli en Shenglan Du werken allebei in de 3D Geoinformation groep van de faculteit Bouwkunde. Als voorbeeld van wat AI kan doen, wijst Nail op de achtergrond van zijn laptop. Het is een prachtige AI-gedreven samenvoeging van zijn vakantiefoto van Spaanse architectuur en een schilderij van een jonge kunstenaar uit Azerbeidzjan. Hij gebruikt vaak het werk van lokale kunstenaars om dergelijke mengvormen te maken en vaak waarderen de kunstenaars het resultaat. Op de vraag of hij trots is op dit kunstwerk en of hij zichzelf als kunstenaar beschouwt, lacht Nail zelfbewust. "Nee, ik ben een programmeur. Ik meet de reactie van het publiek op mijn resultaten om mijn modellen te verbeteren. Kunst is in mijn geval een middel, niet een doel." Lees het dubbelinterview met twee promovendi die beiden werken met AI.

Wat is jullie academische loopbaan tot nu?

Nail is geboren in Azerbeidzjan, maar deed een bachelor in computertechniek in Turkije voordat hij naar Italië verhuisde als onderzoeksassistent. Parallel aan zijn studie deed hij ervaring op bij REscan, een spin-off van het Stanford Research Institute. Zijn master haalde hij in München, voornamelijk op het gebied van beeldherkenning. Hij raakte gefascineerd door digitale 3D-reconstructie, vooral fotogrammetrie. Deze techniek analyseert objecten op basis van foto’s uit verschillende hoeken.

Shenglan begon met een bachelor in China gericht op ‘remote sensing’, bijvoorbeeld de analyse van satelliet- en luchtfoto's. "Nederland leek aantrekkelijk vanwege de Engelstalige programma's, gastvrije cultuur, en betaalbare onkosten", zegt Shenglan, die besloot een master Geomatics te volgen. Tijdens haar master raakte ze gefascineerd door het verwerken van puntenwolken van bomen en het reconstrueren van hun vormen uit ruwe gegevens. "Hoewel een nationaal register met bijna elke Nederlandse boom al publiekelijk beschikbaar is, leverde mijn werk preciezere inzichten op. Bijvoorbeeld over hun potentieel om de CO2-uitstoot te verminderen en hun impact op de wijkesthetiek. Zonder dat iemand elke boom handmatig moet beoordelen."

Hoe kwamen jullie uit bij AI-geïntegreerde PhD projecten?

Shenglan: "Ik ontdekte tijdens mijn werk in Nijmegen dat het verwerken van puntenwolken sneller en nauwkeuriger kan met behulp van recente ontwikkelingen in AI. Voor mijn PhD breid ik de scope uit naar stedelijke objecten in het algemeen." Haar onderzoek bevindt zich nog in de eerste fase, het model trainen met behulp van AI en 'perfecte' puntenwolken. In de tweede fase wordt het resulterende model getest op de identificatie van specifieke stedelijke objecten in echte datasets. Nail daarentegen was aanvankelijk sceptisch over de potentie van deep learning voor 3D-objecten, maar veranderde van gedachten toen hij demonstraties zag van zelflerende algoritmen. Voor zijn PhD besloot hij AI-modellen te bouwen die fotogrammetrie combineren met kunstanalyse om gestileerde 3D-objecten te maken.

Wat is de huidige status van jullie PhD's?

Nail: "Mijn project is sinds 2020 zo veel veranderd! Ik moet bijna elke maand mijn doelen bijwerken. Publicaties van meer dan een paar jaar geleden zijn al verouderd, ik heb het gevoel dat ik constant moet rennen om bij te blijven. Vanwege de vooruitgang in OpenAI probeer ik nu een programma te bouwen waarmee je 3D-objecten kunt bewerken door simpelweg aanwijzingen te schrijven." Shenglan: "Ik verwacht dat mijn grootste uitdaging de lagere kwaliteit en het gebrek aan annotatie van real-world data zal zijn." De recente vooruitgangen op het gebied van AI zijn voor haar project niet zo storend als voor die van Nail, maar ze merkt zeker veranderingen. "Het type modellen dat ik gebruik wordt steeds complexer en levert steeds betere resultaten. In de toekomst zullen we steeds meer vertrouwen op semi-supervised of zelfs unsupervised programma's om onze modellen te bouwen."

Hebben jullie ook zorgen over de snelle vooruitgang in AI?

"Ik maak me zeker zorgen over de opkomst van deepfakes", zegt Nail. "En de monopolisering van AI door techgiganten. Ook hebben AI-onderzoekers duidelijkere regels nodig over het gebruiken en reproduceren van kunst." Shenglan vraagt zich af wat de invloed van AI gaat zijn op de beoordeling van kunst en design. "Kunnen we nog steeds verschillende ontwerpers onderscheiden als iedereen AI gebruikt?" En ze heeft nog veel meer zorgen. "AI kan gevoelige informatie uit grote datasets halen. Het automatiseren van taken kan leiden tot minder banen. En veel onderzoekers maken zich nu zorgen over de toenemende CO2 footprint van AI-technologie."

Shenglan vindt dat onderzoekers beperkte mogelijkheden hebben om deze problemen aan te pakken, hoewel ze hoorde dat mensen in de TBM-faculteit kaders aan het ontwikkelen zijn om de kloof tussen AI-onderzoekers en beleidsmakers te overbruggen. "Uiteindelijk is het de taak van de overheid om te reguleren. Ik zou graag zien dat ze samenwerken met wetenschappers om dit doel te bereiken." En Nail voegt toe: "Misschien moeten we nadenken over het oprichten van een onafhankelijke organisatie van wetenschappers en experts om ontwikkelingen en potentiële crises te beoordelen. Zoiets als de IAEA, maar dan voor Kunstmatige Intelligentie."

Meer informatie

• Nail Ibrahimli doet zijn PhD onderzoek naar zelflerende 3D-reconstructie en 3D-begrip van stedelijk gebied. Shenglan Du haar PhD onderzoek heeft betrekking op machine learning, 3D geodata analyse en 3D modellen. 
• Shenglan Du en Nail Ibrahimli promoveren binnen de 3D Geoinformation group van de afdeling Urbanism van de faculteit Bouwkunde. Beiden werken in het 3D Urban Understanding lab. 
• Hun promotor is Dr. Liangliang Nan. 

Het kantoor van de groep van Shenglan en Nail is versierd met een gigantische foto van... het kantoor zelf, bewerkt door twee neurale netwerken in de stijl van Van Goghs 'Sterrennacht'.