Publieke controle op algoritmen
Publieke controle op publieke algorithmische systemen
Dutch Principal Investigator: Roel Dobbe & Sem Nouws
Periode: 2020-2024
Project samenvatting: In dit project hebben we instrumenten geanalyseerd die publieke organisaties gebruiken om grip te krijgen op hun algoritmische en data-gedreven systemen. We hebben vier instrumenten, ontwikkeld door 13 Nederlandse publieke organisaties, beoordeeld. Onze analyse heeft geleid tot aanbevelingen en vormt de basis voor ons onderzoek naar het ontwerpproces van publieke AI systemen.
Over het project
Publieke organisaties gebruiken steeds vaker algoritmische en data-gedreven systemen om besluitvorming te ondersteunen, te automatiseren of te verbeteren. Dit soort systemen kunnen schade berokkenen aan burgers, zoals discriminatie en oneerlijke besluiten. Publieke organisaties worden verantwoordelijk gehouden voor de gevolgen van hun systemen. Daarom werken zij aan manieren om controle over die systemen te krijgen. Op dit moment worden daarvoor vooral beleidsinstrumenten ontwikkeld en ingezet. In Nederland heeft een consortium van publieke organisaties vier van dit soort instrumenten verkend: een algoritmeregister, een algoritmekader, inkoopvoorwaarden en bezwaarprocedures. In dit project hebben wij deze instrumenten beoordeeld. Aan de hand daarvan hebben we aanbevelingen voor het verbeteren van de instrumenten en onderzoeksvragen geformuleerd. De empirische inzichten uit deze studie vormen de basis voor ons onderzoek naar het organiseren van het ontwerpproces van publieke AI systemen op basis van systems engineering en de democratische rechtsstaat.
Outputs
- Toekomstverkeninning consortium publieke controle op algoritmes
- The analysis as provided to the consortium
- Democratic or public control on public AI systems
- Scientific analysis of the four policy instruments and a conceptualisation of public control on AI systems
- Dismantling digital cages: Examining design practices for public algorithmic systems
Samenwerking
- Transdisciplinary Centre of Expertise for Just Public Algorithms
- Consortium publieke controle op algoritmes