Ethisch Experimenteren in de echte wereld – Een samenwerking tussen de Provincie Zuid-Holland (PZH) en de TU Delft

Publieke en private instellingen testen nieuwe digitale technologieën binnen de samenleving onder levensechte omstandigheden. Denk aan generatieve AI, voorspellende algoritmen bij de politie en zelfrijdende auto's. Deze experimentele praktijken roepen ethische vragen op, bijvoorbeeld over de morele verantwoordelijkheid van onderzoekers ten opzichte van de mensen die ze betrekken en beïnvloeden. Duidelijke morele normen of beschermingsprotocollen ontbreken vaak of zijn onvoldoende. Het onderzoeksproject van Joost Mollen - in samenwerking met de provincie Zuid-Holland - richt zich op het dichten van deze kloof. 

We maken van de gelegenheid gebruik om zowel Ivonne Jansen, van de provincie Zuid-Holland, als Joost te interviewen over dit fascinerende onderwerp, en over hoe dit onderzoek PZH kan helpen om dergelijke experimenten te beheersen. 

Joost: Kun je ons meer vertellen over je onderzoek? 

Mijn onderzoek richt zich op de ethiek van experimenten in de echte wereld met opkomende digitale technologieën. Dit zijn bijvoorbeeld experimenten met het gebruik van sensoren om drukte te meten, of het gebruik van satellietbeelden om bedrijventerreinen te controleren. Ik ben geïnteresseerd in de ethische kwesties van het onderzoeken en ontwikkelen van deze technologieën in de echte wereld, met name met betrekking tot de mensen die betrokken zijn in dergelijke experimenten. Experimenten in de echte wereld zijn een belangrijke strategie voor het ontwikkelen van robuuste en verantwoorde opkomende technologieën zoals AI, robotica en smart city-toepassingen. De ethiek van deze experimenten is iets waar we nog weinig bij stil staan.  Hoewel experimenten in de echte wereld de ontwikkeling van verantwoorde digitale technologieën ten goede kunnen komen en kunnen helpen bij het oplossen van grote maatschappelijke uitdagingen, moet er ook aandacht worden besteed aan het verantwoord uitvoeren van dergelijke experimenten.

Ivonne: waar zien we zulke experimenten in de provincie Zuid-Holland?

Wij doen dergelijke experimenten in onze ‘Fieldlabs’. Zo is er het Living Lab Scheveningen (LLS). Dit is een proeftuin en leergebied op de boulevard van Scheveningen. Hier worden kleinschalige experimenten met digitale innovaties gedaan. Hierbij kan je denken aan druktemetingen voor crowd-management, een registratiesysteem van inkomende en uitvarende schepen voor de Scheveningen Haven, een slim Energienet waarbij duurzaam opgewekte energie beter wordt verdeeld en slimme afvalbakken.

Ivonne: Waarom wilde PZH deze onderzoekssamenwerking?

Technologie speelt een grote rol in de vorming van de samenleving en de overheid wordt steeds afhankelijker van technologie in de manier waarop zij beleid maken. PZH is een kennisintensieve organisatie, waar veel beleid wordt gemaakt. Binnen de provincie signaleerden we dat bij de toepassing van technologie meer aandacht nodig is voor de ethische vraagstukken. Wij vinden het belangrijk dat beleidsmakers en bestuurders kennis opbouwen rond ethiek om ethics by design te borgen in onze beleidsprocessen en de keuzes die we maken.

Ivonne: Hoe is dit onderzoeksproject gestart?

Ik ben in 2018 begonnen bij PZH als strategisch adviseur ethiek en digitale informatie. Het is best bijzonder dat de PZH toen al bezig was met dit onderwerp, ofwel publieke waarden zoals het thema nu heet. Daar loopt PZH echt in voorop. Ik woonde destijds in Amsterdam en verhuisde naar Den Haag. Ik was nieuw in de regio en ben vanuit mijn interesse en nieuwe functie gelijk op zoek gegaan naar partijen in de regio die bezig zijn met dit thema. Toen kwam ik snel bij hoogleraar Jeroen van den Hoven uit. Samen met Henk Burgering, projectleider van digitaal Zuid-Holland, besloten we om een samenwerking aan te gaan met de TU Delft rond het thema ethics by design. We wilden graag meer weten hoe wij als organisatie ethics by design konden toepassen en hoe we ethiek beter kunnen integreren. Daaruit vloeide het idee voort om een promotietraject te starten. Joost werd aangenomen en heeft het onderzoek verder vorm gegeven. We zijn toen op de het spoor van smart city experimenten gekomen.

Ivonne: waarom is ethics by design zo belangrijk voor de provincie Zuid-Holland?

Neem de Algemene Wet Gegevensbescherming (AVG). Daar zijn al veel processen voor ingericht om te borgen dat we voldoen. We hebben binnen de organisatie een hele privacy unit. Er is een formele bedrijfsvoeringstructuur ontstaan. Voor ethiek hebben we dat niet. Dat maakt het moeilijker om ethiek te verankeren in procedures, terwijl we het van groot belang vinden om op een verantwoorde manier met digitale technologie en data om te gaan. Het gaat wel steeds beter. Zo voeren we op steeds structurelere basis risico analyses uit. Data ethiek is bijvoorbeeld een formeel onderdeel van data management en is tot op zekere hoogte geborgd in processen. Tegelijkertijd gaat ethiek niet alleen over of je de dingen goed doet, maar ook over of je de goede dingen doet. Het gaat ook over dialoog en een open cultuur.

Joost: Terug naar je onderzoek: welke ethische problemen kunnen zich voordoen bij het experimenteren in een levensechte omgeving?

Om te beginnen veroorzaken ze mogelijk ongepaste invloed, impact of schade aangezien experimenten uit de echte wereld nauw aansluiten bij het dagelijks leven of de omgeving van mensen en daarin actief kunnen ingrijpen. Mensen kunnen (on)bewust of (on)wenselijk betrokken raken bij deze experimenten, omdat de experimenten soms niet meer te onderscheiden zijn van het dagelijks leven. Deze praktijken worden echter vaak niet gedekt door bestaande protocollen voor onderzoeksethiek, zoals het geval is bij wetenschappelijk onderzoek op menselijke proefpersonen.

Wanneer dergelijke experimenten worden uitgevoerd door publieke en private partijen in transdisciplinaire samenwerkingen, bijvoorbeeld in zogenaamde living labs of real-world laboratoria, zijn de verantwoordelijkheden op het gebied van onderzoeksethiek vaak ongelijk verdeeld. De reikwijdte van de regelgeving stopt vaak bij de wetenschappelijke kant van deze samenwerkingen.

Bovendien brengt het een vraag op over de toepasselijkheid van bestaande protocollen voor onderzoeksethiek, zelfs als de huidige regelgeving zou worden uitgebreid. In de huidige regelgeving voor onderzoeksethiek wordt onderzoeksdeelname bijvoorbeeld opgevat als een vrije en vrijwillige activiteit, wat betekent dat deelname een keuze is. Zodra je echter overgaat van een gecontroleerde onderzoeksomgeving naar een ongecontroleerde omgeving, wordt het moeilijk om dit te blijven waarborgen, omdat onderzoekers vaak geen duidelijk beeld hebben van wie betrokken raakt of beïnvloed wordt door het experiment.

Denk aan een test met zelfrijdende voertuigen op de openbare weg, of een experiment met predictive policing, het gebruik van statistische voorspellingen om te kunnen anticiperen op criminele incidenten, bijvoorbeeldin een openbare uitgaansstraat. In deze voorbeelden wordt het moeilijk om gevestigde ethische verplichtingen op het gebied van onderzoek na te komen, zoals het verkrijgen van informed consent, het bieden van extra bescherming bij het betrekken van kwetsbare groepen, zoals ouderen of kinderen, of het waarborgen van een rechtvaardige verdeling van de voordelen en risico's. Bovendien wordt het voor mensen moeilijk om te bepalen of ze al dan niet deelnemen aan een experiment.

Ivonne: In hoeverre staan medewerkers open voor dergelijke ethische vragen?

Onze medewerkers staan daar zeer voor open. Beleidsmakers zijn al kritisch en gericht op het dialoog. Het feit dat er nu expliciet aandacht is voor Ethics by design helpt om vragen te formuleren die al leefden, maar waar eerder niet altijd ruimte voor was om ze te stellen. Een vraag die mij persoonlijk bezighoudt is of meer data leidt tot beter beleid. Voor beleid zijn bepaalde vaardigheden en domeinkennis heel belangrijk. In beleidsprocessen zie je dat het de kunst is op precies het juiste moment de juiste kennis in te brengen in een veelheid van afwegingen en belangen. Ik heb bewondering voor de zorgvuldigheid, voorzichtigheid en bescheidenheid die dat vraagt. Er wordt wel eens gedacht dat beleidsmakers nauwelijks nog nodig zijn door AI. Dat we antwoorden vinden en kunnen sturen door maar zo veel mogelijk data te combineren. Ik geloof - na een tijd als ambtenaar te hebben gewerkt - dat dat niet kan.  

Ivonne: Wat doet de provincie Zuid-Holland al als het gaat om ethics by design?

Tijdens het onderzoeksproject is er al veel neergezet, ook in samenwerking met de TU Delft. Zo is er binnen het Interprovinciaal Overleg (IPO) een ethische commissie opgericht met Jeroen van den Hoven als voorzitter en onderzoeker Roel Dobbe. Zij adviseren bestuurders over ethics by design vraagstukken. Een ander voorbeeld is een structuur die we intern hebben opgezet: de ethische denktank. Vanuit de denktank signaleren we vraagstukken binnen de organisatie en kijken we naar interventies, zoals een moreel beraad, begeleidingsethiek, of een Impact Assessment Mensenrechten en Algoritmes (IAMA). We nodigen daarbij gericht mensen uit die betrokken zijn bij de vraagstukken. Voorbeelden van vraagstukken zijn ‘critical cartography’, ‘de open overheid’ en ‘richtlijnen voor modellen’. Het thema en onderzoek van Joost over de publieke ruimte als experimenteerruimte zal rond februari aan bod komen, om zo de doorwerking van de onderzoeksresultaten verder te borgen. 

Joost: Hoe denk je dat jouw onderzoek verder kan bijdragen en instellingen kan helpen?

Een eerste stap is de bewustwording dat bepaalde ethische kwesties op het spel staan. Er is een discussie nodig over hoe en om welke redenen experimenten worden uitgevoerd en niet of. Dit bewustzijn kan publieke instellingen helpen om gesprekken te voeren over welke specifieke ethische vragen zich kunnen voordoen en hoe ze deze kunnen aanpakken in de experimenten die worden uitgevoerd in openbare ruimtes. Experimenten in de echte wereld met opkomende technologieën moeten worden gezien en georganiseerd als een geformaliseerd leerproces, onderworpen aan epistemische en ethische normen.

Ook kunnen publieke instellingen kijken naar hoe onderzoeksethiek in andere domeinen is georganiseerd en vergelijkbare protocollen implementeren. Wetenschappelijk onderzoek kent een gedegen proces voor het beoordelen van onderzoeksvoorstellen wanneer er menselijke proefpersonen bij betrokken zijn. Ook kunnen interne of onafhankelijke ethische commissies ethische discussies bevorderen, ethische richtlijnen voor best practices opstellen of eisen stellen aan experimenten in de echte wereld. Op deze manier kan ethics by-design worden opgenomen in het beleid dat experimenten in de echte wereld aanmoedigt en mogelijk maakt.

De nieuwe AI Act van de EU is daar een recent voorbeeld van. Het maakt het mogelijk om AI met een hoog risico te testen in zogenaamde regulatory sandboxes, waarin risicovolle kunstmatige intelligentie onder echte omstandigheden kan worden getest onder toezicht van een regelgevende instantie. Daarnaast geeft de AI act condities waaronder publieke en private ontwikkelaars kunnen experimenteren in de echte wereld buiten dit regelgevingskader, bijvoorbeeld het vragen van toestemming en de uitsluiting van kwetsbare groepen. Deze verordening is niet perfect, maar het is een eerste stap.

Ivonne: Hoe denk je dat PZH zou kunnen profiteren van de onderzoeksresultaten?

Ik ben verrast door de invalshoek van Joost: de publieke ruimte als experimenteer ruimte. Wat voor soort zeggenschap heeft de burger? Is informed consent überhaupt mogelijk? Waar we nu veel over horen is bijvoorbeeld privacy, data ethiek, autonomie, soevereiniteit en de beheersbaarheid van AI. De invalshoek van Joost is een hele zinvolle toevoeging aan de discussie die ik nergens anders nog hoor. Deze experimenten hebben een effect op mensen, maar kunnen ze er wel toestemming voor geven? Vanuit dit onderzoek kunnen we veel leren over hoe we bepaalde zaken in het proces verantwoord kunnen inrichten voor fieldlabs.

De korte lijntjes en de expertise die aanwezig is vanuit de TU Delft zijn erg nuttig. We organiseren een werkbezoek aan de TU Delft voor de gedeputeerden Frederik Zevenburgen en Frank Rijkaart. Daar staan we stil bij dit onderzoek, maar maken we ook gebruik van verdere expertise. De grote vragen zitten rond het bestuurlijk handelingsperspectief. Hoe kan ethiek worden ingebed in processen en wat is het sturingsmechanisme? Tijdens het werkbezoek hopen we bestuurders meer handvaten te geven voor sturing in een data-gedreven tijdperk.

Joost: hoe is het voor jou geweest om met de provincie samen te werken?

Het is een zeer interessant en informatieve ervaring geweest! Iedereen is gastvrij en het was erg leerzaam om betrokken te zijn bij hun projecten en te zien hoe ambtenaren in de provincie data-ethische uitdagingen in hun werk bespreken en ermee omgaan.

Ivonne: Hoe was het voor jou om een onderzoeker aan boord te hebben?

Een academisch perspectief is anders dan een beleidsmatige, daar zit de waarde. Het was nuttig dat Joost kon meelopen met projecten en fijn dat we konden klankborden. Ik zie ernaar uit om met elkaar te kijken hoe de onderzoeksresultaten geborgd kunnen worden!