AI-systemen van de overheid kunnen dienstverlening aan burgers efficiënter maken, maar ze kunnen ook de autonomie van mensen schaden. Hoe kunnen publieke AI-systemen zo worden ontworpen dat burgers de controle behouden? Kars Alfrink legt in zijn promotieonderzoek uit dat het belangrijk is om burgers inspraak te geven in wanneer, hoe en waarvoor deze systemen worden ontwikkeld en gebruikt.
In het begin van zijn promotie focuste Kars Alfrink zijn onderzoek op 'smart city'-systemen: dingen in de stad efficiënter en effectiever laten werken met gebruik van technologie. Deze soms ingewikkelde systemen worden meestal ontwikkeld door publiek-private organisaties, maar vaak worden ze niet door burgers begrepen. De overheid en haar leveranciers willen dat mensen deze systemen accepteren en vertrouwen. Transparantie zou daarbij moeten helpen.
Als mensen het niet eens zijn met een beslissing, moeten ze de mogelijkheid hebben om in gesprek te gaan en vragen te stellen over zo’n beslissing. Zo behouden burgers controle.
―
Kars Alfrink
In samenwerking met de gemeente Amsterdam observeerde Kars het gebrek aan transparantie bij slimme laadstations voor elektrische voertuigen (EV). Er is een afwisselende laadsnelheid op basis van factoren zoals de wisselende capaciteit op het net en de beschikbaarheid van groene energie. Mensen hebben misschien wel hulp nodig om te snappen waarom dat zo is. Via een alternatief prototype laadstation met een display die variaties in laadsnelheid uitlegt, wilde Kars observeren hoe mensen grotere transparantie ervaren. "We zagen dat het ontwerp er wel in slaagde om informatie te verstrekken, maar dat mensen er niet erg van onder de indruk waren. Ze hadden namelijk niet de kans om zelf in te grijpen als ze dat zouden willen." Deze inzichten leidden tot het kernthema van zijn proefschrift: ‘betwistbaarheid’.
Mogelijkheid tot meebeslissen
Naast EV-laadstations keek Kars ook naar andere publieke AI-systemen, zoals camera-auto's of scanauto's. Deze worden vooral gebruikt om geparkeerde auto's te controleren door kentekens te scannen. Deze technologie kan ook gebruikt worden om andere belangrijke openbare objecten detecteren, denk aan afvalbeheer of straatverlichting. Vanwege zijn interesse in conflicten en hoe daar constructief mee om te gaan, begon Kars ‘betwistbaarheid’ te bestuderen, waarbij hij kijkt naar de mogelijkheid om bezwaar te maken tegen een AI-gestuurde beslissing. In eerder onderzoek merkte hij op dat betwistbaarheid al gezien werd als een wenselijke eigenschap in AI-systemen. Toch is er nog maar weinig gedaan om de theorie te vertalen naar bruikbare kennis voor ontwerpers van AI-systemen.
Kars Alfrink wil burgers dus de mogelijkheid geven om enige controle te houden over publieke AI-systemen die worden gebruikt om dingen over hen te beslissen, zoals scanauto's. "Als mensen het om wat voor reden dan ook niet eens zijn met een beslissing, of het nu een vergissing is of ze hebben een andere kijken op de feiten, dan moeten ze de mogelijkheid hebben om in gesprek te gaan en vragen te stellen over zo’n beslissing. Zo behouden burgers controle.”
Kars gaat nog verder en meent dat burgers ook betrokken moeten worden bij de ontwikkeling van deze systemen, zodat ze echt kunnen meebeslissen over hoe die zouden moeten werken. Uiteindelijk, zo stelt hij, moeten publieke AI-systemen zo worden ontworpen dat ze betwistbaar zijn, waardoor burgers gedurende de hele levenscyclus van het systeem kunnen reageren.
Recht op autonomie
Na een literatuuronderzoek ontwikkelde Kars een framework waarin elementen staan die de betwistbaarheid van AI-systemen kunnen vergroten. Een voorbeeld van zo’n element is een tool waarmee je tegen een AI-gebaseerde beslissing in beroep te gaan Die elementen kunnen worden toegevoegd aan het ontwikkelingsproces van AI-systemen. Vervolgens linkte hij deze elementen met groepen mensen die vaak met AI-systemen in contact komen. En alles werd gekoppeld aan de ontwikkelingsstadia van een AI-systeem. Kars werkte vervolgens samen met een informatie-ontwerper om deze te vertalen naar een visuele uitleg die ontwerpers als hulpmiddel kunnen gebruiken.
Dit schema helpt om potentiële schade die publieke AI-systemen toebrengen aan de menselijke autonomie te vermijden. Hij schrijft: “Transparantie is essentieel voor betwistbaarheid, maar enkel transparantie is niet genoeg. Om de betwistbaarheid van systemen lokaal en wereldwijd te vergroten, moeten we features en best practices implementeren die betwistbaarheid bevorderen, doorheen de hele ontwikkelcyclus van he AI-systeem.
Kars legt uit dat betwistbaarheid een manier is voor overheden om de kwaliteit van systemen voortdurend te verbeteren. "Een meer normatief argument is dat je de autonomie van mensen respecteert door ervoor te zorgen dat systemen betwistbaar zijn," zegt hij. Wijzend op een recent rapport van de Nederlandse Wetenschappelijke Raad voor het Regeringsbeleid, zegt Kars: “Mensen die het gevoel hebben controle te hebben over hun leven zijn meestal gelukkiger en gezonder, ze leven langer en ze zijn ook positiever over de maatschappij als geheel.” En nu het recht op autonomie in verschillende mensenrechtenwetten is vastgelegd, is ontwerpen voor betwistbaarheid volgens hem een praktische manier om de balans tussen autonomie en AI-systemen te garanderen.
Mijn PhD was een interessante reis en het was prettig om geleidelijk aan steeds meer samen te werken.
―
Kars Alfrink
Samenwerking
Kars heeft meer dan 15 jaar in de designwereld gewerkt. Hij merkt op dat het een hele omschakeling was van een sector met intensieve samenwerking naar een meer ‘individuele’ PhD. Toch wil hij de mogelijkheden tot samenwerken binnen een PhD-project benadrukken. Hij werkte nauw samen met veel mensen, waaronder ontwerpers, ambtenaren en creatieve professionals, en kreeg ondersteuning bij netwerken en financiering van het AMS Institute. "Het was een interessante reis voor mij en het was prettig om geleidelijk aan steeds meer samen te werken als onderdeel van het onderzoek." Alfrink is momenteel postdoctoraal onderzoeker bij de sectie Knowledge and Intelligence Design van de IDE-faculteit.
