Verslag Masterclass 26 april 2021

Tracking & tracing
Lagendijk gaf een tweede voorbeeld: de geautomatiseerde selectie van sollicitanten voor een baan. ‘Het systeem bepaalt dan of het CV van mensen goed genoeg past bij het functieprofiel om voor een gesprek te worden uitgenodigd. Dat systeem zal dit nooit 100% goed doen, maar bijvoorbeeld wel in 80 of 90% van de gevallen. Daar kun je tevreden mee zijn, maar als nu blijkt dat één specifieke groep sollicitanten stelselmatig en onterecht minder goed door de selectie komt – bijvoorbeeld door geslacht of huidskleur –, dan is er iets mis. De procedure moet immers eerlijk gaan en daarvoor is een menselijke afweging nodig: wat vinden we eigenlijk precies eerlijk? En wie maakt dat uit? Hiervoor introduceer ik het concept Meaningful Humnan Control.’ Om ervoor te zorgen dat mensen daadwerkelijk controle houden over beslissingen van een autonoom systeem, zijn twee basisvoorwaarden nodig: tracking en tracing. Lagendijk: ‘Tracking betekent dat herleidbaar is hoe het systeem zich verhoudt tot belangrijke waarden, zoals hier eerlijkheid; tracing betekent dat het gedrag, de capaciteiten en de uitkomsten van het systeem op z’n minst tot één menselijke actor moeten worden kunnen teruggeleid. Om tracking en tracing goed te kunnen vormgeven voor daadwerkelijke Meaningful Human Control moeten relevante stakeholders met elkaar aan tafel.’

Minimaal invasief
Lagendijk: ‘Het is dus niet genoeg om alleen een Operational Design Domain te hebben – de technische specificaties van waar een systeem aan moet voldoen. Nee, er is ook een Moral Operational Design Domain bij nodig. Daarin leg je de waarden, normen en grenzen vast waarbinnen de AI moet functioneren. Dat is iets dat je in dialoog met elkaar doet. Je kunt dan ook aangeven dat sommige beslissingen nu eenmaal niet door de machine kunnen worden genomen, maar alleen door de betrokken mensen.’ We moeten ons dus realiseren dat ‘computationele optimalisatie’ niet altijd de oplossing is. Lagendijk pleitte dan ook voor een ontwerp van AI-systemen met een ‘minimaal invasief effect’: ‘Laten we AI alleen gebruiken wanneer en waar dat echt nodig is. En AI-systemen moeten zich uiteindelijk ook zelf bewust zijn van hun eigen beperkingen.’

Recht op zinvolle menselijke tussenkomst
Jurgen Goossens is universitair hoofddocent staats- en bestuursrecht aan Tilburg University en projectleider van het NWO-project CHAIN (Connecting Humankind through Algorithms and Information Networks). Dit project handelt over de inzet van blockchaintechologie en het gebruik van algoritmen door de overheid. ‘Wij kijken hier naar vanuit een constitutioneel perspectief. Indien de overheid in hoge mate geautomatiseerde besluiten neemt, dan zou er toch sprake moeten zijn van een recht op zinvolle menselijke tussenkomst, zoals dit nu bijvoorbeeld ook al bestaat in de wetgeving rond verwerking van persoonsgegevens, de AVG. We hebben zowel te maken met beslissingsondersteuning door algoritmen en AI – in dat geval vooral bij de zogenoemde discretionaire bevoegdheden van de overheid –, als met volledig geautomatiseerde beslissingen, bijvoorbeeld inzake belastingen of de flitspaal die automatisch voor een boete zorgt als je te hard rijdt. Die laatste zijn ‘gebonden bevoegdheden’ van de overheid. Wat met name daarbij kan gebeuren, is dat beslissingen lost in automation raken of dat er heel rigide en ‘gedeïndividualiseerde’ beslissingen ontstaan. Dan willen we toch wel dat er nog een mens is die kan ingrijpen.’

Beginselen onder druk
In alle gevallen van overheidsbeslissingen moet er een verbinding gelegd worden tussen algemene regels en individuele beslissingen via een proces van toepassing. Goossens: ‘In principe is het toepassen van regels op individuele gevallen traditioneel mensenwerk. Daarbij moet onder meer rekening worden gehouden met de algemene beginselen van behoorlijk bestuur, en de democratische en rechtelijke controle. Maar hoe meer onderdelen in het besluitvormingsproces worden vervangen door algoritmen en AI, des te meer de beginselen van de democratische rechtsstaat en beginselen van behoorlijk bestuur onder druk komen te staan. Hoe transparant is geautomatiseerde overheidsbesluitvorming bijvoorbeeld nog voor het parlement of de rechter als zij controle dienen uit te oefenen? Zijn beslissingen nog uit te leggen – goed te legitimeren? En worden de fundamentele beginselen van de democratische rechtsstaat misschien zelfs niet door AI stilaan getransformeerd?’

Juridisch en institutioneel werk aan de winkel
Goossens noemde verschillende gevaren van deze ontwikkeling, waaronder beslissingen die worden gebaseerd op data met een ‘bias’ of op ongecorrigeerde en verouderde data. ‘Zowel vanuit constitutioneel als bestuursrechtelijk oogpunt moeten we deze evoluties grondig onder de loep nemen en het belang van Meaningful Human Control borgen. We vinden het dan belangrijk dat de mens altijd in the loop moet blijven. Die mens moet een rol spelen als verantwoordelijke beslisser of op zijn minst als – zinvolle – controleur. De mens moet beslissen hoe en wanneer algoritmen worden ingezet en gecontroleerd in geautomatiseerde besluitvormingsprocessen en deze goed ontwerpen en ‘trainen’. Een interessante stelling zou zijn dat de wetgever in het geval van algoritmische besluitvorming een recht van zinvolle menselijke tussenkomst en verplichting tot zinvolle menselijke controle door het bestuur uitdrukkelijk verplicht moet stellen.’

Alleen beslissingsondersteuning
Petra Delsing is kwartiermaker AI bij IenW. ‘Dit zijn allebei buitengewoon goede presentaties die tot denken aanzetten. Wat me aanspreekt is het pleidooi van Lagendijk om de twee werelden ‘autonomous system for good’ en ‘autonomous system for optimal performance’ met elkaar te verbinden en het concept Meaningful Human Control verder invulling te geven. Ook het idee om ‘minimaal invasief’ te zijn, vind ik een mooi uitgangspunt. Van Goossens’ presentatie vind ik het idee heel waardevol om goed te blijven kijken naar of iets onder de discretionaire bevoegdheid valt of niet. Misschien moeten we AI alleen in blijven zetten voor beslissingsondersteuning en meer niet. Ook goed dat jullie beiden stellen dat je dit soort ethische en juridische problemen van AI niet in je eentje achter je bureau kunt oplossen, maar dat we daarvoor met elkaar het gesprek moeten aangaan. Hoe moeten we onze werkprocessen hierop inrichten?’ Goossens: ‘Net als de andere, gewone werkprocessen. We stellen aan menselijk werk zonder AI ook bepaalde eisen. Belangrijk is bijvoorbeeld om naar de cumulatieve effecten te kijken van een handelwijze. Een bepaalde beslissing kan in een individueel geval lijken te kloppen, maar bij cumulatie van meerdere soortgelijke beslissingen niet meer, waarbij bijvoorbeeld bias zichtbaar kan worden.’

Technologie als probleem én oplossing
Lagendijk: ‘In feite zijn we bezig met een zoektocht zonder dat we een kaart van het gebied hebben. Het is wel belangrijk dat we tijdens die zoektocht de kaart gaan tekenen en desnoods halverwege kunnen stoppen.’ Goossens: ‘We moeten tegelijkertijd oppassen dat we geen absurd hoge eisen stellen aan AI-systemen. We lijken deze systemen aan hogere standaarden te willen onderwerpen, maar dat is niet altijd reëel. Dan zetten we er onnodig teveel een rem op.’ Lagendijk:’ Inderdaad moeten we niet alles willen dichtregelen.’
Via de chat komen er nog verschillende zaken aan de orde, zoals de suggestie om een ‘transparantieknop’  in te bouwen in systemen en de vraag in hoeverre AI kan werken terwijl bepaalde invulformulieren – bijvoorbeeld voor het aanvragen van een vergunning – al niet helemaal lijken te passen in individuele situaties. ‘Geef mij dan maar een mens aan de telefoon,’ aldus een deelnemer. Goossens: ‘Ja, de overheid moet hoe dan ook responsief zijn. Op dit moment weet Facebook meer van mij dan de overheid. Techniek  kan een probleem zijn, maar kan hier tegelijkertijd bij helpen, bijvoorbeeld met digitale identiteiten.’