Abbink: “In de kern draait ‘betekenisvolle menselijke controle’ om het standpunt dat verantwoordelijkheid nooit aan een ‘autonoom systeem’ toegedicht moet worden, maar aan mensen. Eigenlijk zijn er geen autonome systemen, alleen systemen met autonome eigenschappen, en die worden ontwikkeld, geïmplementeerd, gebruikt en misbruikt door mensen. Die moeten dan wel de juiste verantwoordelijkheid voelen en ook de reëel mogelijkheid hebben om te kunnen ingrijpen. Dan spreken we van betekenisvolle menselijke controle. Het is een concept waar ethici, bedrijfskundigen, ontwerpers en ingenieurs zich samen over moeten buigen, en dat maakt het wetenschappelijk en maatschappelijk ingewikkeld.”

Abbink: “Binnen AiTech hebben vijf postdocs met verschillende achtergronden in de afgelopen jaren onderzoek gedaan naar ‘betekenisvolle menselijke controle’. Juist omdat ze uit verschillende disciplines kwamen, hebben ze eerst hard moeten werken aan het integreren van elkaars methodologieën. Elke week kwamen ze bij elkaar in wat we agora meetings noemen, een open plek waar iedereen kan komen om bij te dragen aan de discussie. Daarnaast hebben zij symposia georganiseerd om nog meer mensen met dezelfde interesse samen te brengen. En van begin af aan hebben we ernaar gestreefd om een soort position paper te schrijven waarin we uiteen wilden zetten hoe je systemen kunt bouwen die onder betekenisvolle menselijke controle staan. Hoe kun je een filosofisch concept operationaliseren zodat ingenieurs ermee aan de slag kunnen? Na drie jaar heeft dat geleid tot één gezamenlijk paper, eentje waarop ik heel trots ben, omdat het meer is dan alleen maar een paper, maar ook het concreet opzetten van interdisciplinair onderzoek.”

Abbink: “In ons position paper hebben we vier eigenschappen gedefinieerd die daarbij moeten helpen. Ter illustratie hebben we twee praktische toepassingen gekozen: geautomatiseerde overtuigen en AI-gebaseerde rekrutering van werknemers. Neem een semi-autonome auto. Hierbij kun je een technisch domein afbakenen waarbinnen de auto autonoom rijdt, bijvoorbeeld op de snelweg. Maar als er zich een onverwachte situatie voordoet, bijvoorbeeld een motorrijder die plotseling voorlangs kruist, dan moet de mens het overnemen. Op basis van de situaties die de mens zou moeten overnemen kunnen we dan ook een moral operational design domain afbakenen. Daarmee bakenen we af waarvoor mensen verantwoordelijk zijn en waarvoor de machine. Dat kunnen we ook doen bij AI-gebaseerde rekrutering of andere mens-AI-systemen. Het moral operational design domain is de eerste eigenschap die nodig is voor het operationaliseren van betekenisvolle menselijke controle.

Om een mens-AI systeem goed te laten functioneren moeten zowel de betrokken mensen als het AI-systeem een bepaalde voorstelling hebben van de taken, rolverdelingen, gewenste resultaten, en ook van de omgeving en de wederzijdse mogelijkheden en beperkingen. Dat is de tweede belangrijke eigenschap. Die voorstellingen of representaties worden vaak mentale modellen genoemd en deze tweede eigenschap is dus gebaseerd op gedeelde mentale modellen van alle betrokkenen bij het mens-AI-systeem. Wij bevelen aan om gesprekken hierover expliciet mee te nemen in het ontwikkelingsproces van het mens-AI-systeem. Dat gebeurt niet automatisch.”

Abbink: “De derde eigenschap zegt dat de verantwoordelijkheid die aan een mens wordt toegekend in verhouding moet staan tot het vermogen en de autoriteit van die mens om het systeem ook daadwerkelijk te controleren. Wij vinden dat je als mens alleen maar verantwoordelijk gehouden kunt worden als je ook praktisch en realistisch gezien de mogelijkheid hebt om in te grijpen. Met deze gedachte in het achterhoofd kun je een bestuurder van een semi-autonome auto niet verantwoordelijk houden voor een ongeluk wanneer hij niet genoeg tijd heeft om de controle over de auto terug te krijgen van de autopilot.

Ten vierde moeten de handelingen van het AI-systeem altijd gelinkt kunnen worden aan minstens één persoon die zich ook nog eens bewust is van de morele verantwoordelijkheid.”

Abbink: “Absoluut, we zeggen ook ‘minstens één’, maar vaak zijn het organisaties en groepen. Het kan diffuus worden als het gaat om software die door vele handen gaat, die zich snel verspreidt en die snel wordt aangepast. Ons punt is dat ook die organisaties en betrokken mensen zich bewust moeten zijn van hun verantwoordelijkheid tijdens ontwerp of implementatie. Zo niet, dan moet je erkennen dat het systeem niet meer onder betekenisvolle controle is en niet doen alsof dat wel zo is, of het afschuiven op de eindgebruiker.”

Abbink: “Zowel op het terrein van mobiliteit als op het terrein van rekruteringsalgoritmen hebben we veel papers gepubliceerd. Zo hebben we met simulatiestudies laten zien hoe mensen verantwoordelijkheid toekennen aan automatische systemen bij het autorijden. Daaruit blijkt dat zelfs als mensen weten dat je de bestuurder redelijkerwijs niet verantwoordelijk kunt houden, mensen toch zeggen dat de bestuurder verantwoordelijk is. Het lijkt erop dat mensen zich niet bewust zijn van de impact van geautomatiseerd rijden op hun vermogen om in te grijpen als dat nodig is. Er is dus een kloof tussen hoe gewone mensen verantwoordelijkheid zien en wat in de praktijk realistisch is.”

Abbink: “Je kunt denken aan het beter informeren van mensen over de uitdagingen die geautomatiseerd rijden voor de bestuurder met zich meebrengen en ook aan het aanpassen van de opleiding van bestuurders. Bij de rekruteringsalgoritmen hebben we onderzocht hoe je ze zodanig kunt vormgeven dat de mensen die ze gebruiken, bijvoorbeeld binnen personeelszaken, beter snappen op basis waarvan het systeem beslissingen maakt, zodat ze ook nog tegen het advies in kunnen gaan.”

Abbink: “De vier eigenschappen die we hebben geïdentificeerd zijn een eerste belangrijke stap op weg naar het volledig operationaliseren van het concept ‘betekenisvolle menselijke controle’. Dat leggen we naast onderzoek van collega Simeon Calvert van Civiele Techniek en Geowetenschappen die gewerkt heeft aan gestructureerde voorwaarden over hoe we het concept kunnen operationaliseren voor automatisering in transportsystemen: op de weg, maar ook toepasbaar op water en in de lucht.

De grote uitdaging waar we als gemeenschap nog niet aan zijn toegekomen is die eigenschappen en voorwaarden echt vertalen naar het ontwerpen van zulke systemen in de praktijk. Liefst wil je ervaren wat de impact is van meer of minder betekenisvolle controle. Niet alleen zijn wij in Delft daaraan nog niet toegekomen, maar ook wereldwijd niet. Wij willen in de komende jaren aan de hand van concrete experimenten empirisch laten zien dat als je draait aan deze parameters in het proces, in het handwerk, in de techniek, in de algoritmes en zelfs in de organisatie, dat dan de ervaring van menselijke verantwoordelijkheid zus en zo verandert. Ik noem dat ‘where the rubber hits the road’. Daarmee gaan we als onderzoekers nu aan de slag.”

Abbink: “Ik denk dat onze bijdrage is dat we internationale samenwerking proberen te stimuleren om tot scherper debat, beter onderzoek en meer samenwerking te komen. Dat hebben we concreet bereikt door ons initiatief om samen met internationale collega’s het eerste handboek over betekenisvolle menselijke controle te schrijven. Dat brengt perspectieven uit onder andere ethiek en filosofie, recht en bestuur, en design en engineering samen. Het handboek gaat in december van dit jaar verschijnen. In het voorjaar van 2024 gaan we een symposium organiseren om nog meer internationale onderzoekers rond dit thema samen te brengen. Door al onze activiteiten wordt er gezamenlijk meer holistisch nagedacht over betekenisvolle controle, mensen met verschillende achtergronden en toepassingsgebieden hebben elkaars papers bediscussieerd en beoordeeld om tot dit boek te komen.

Ik heb het gevoel dat er een beweging is om ook buiten ons netwerk meer debat en consensus te bereiken, maar daar zijn we nog niet. Sommige mensen vinden het concept toch nog te weinig geoperationaliseerd, anderen vinden dat je verantwoordelijk gewoon juridisch moet afdekken. Maar ik heb er vertrouwen in dat de typisch Delftse aanpak om verschillende perspectieven te integreren én concepten te vertalen naar praktische toepassingen meer voet aan de grond gaat krijgen.”