Verantwoorde innovaties voor intelligente unlocking-scenario's

Jeroen van den Hoven

Het streven naar de ontwikkeling van digitale oplossingen die kunnen helpen in de strijd tegen de COVID-19-pandemie heeft in korte tijd een enorme hoeveelheid innovaties opgeleverd. Kunnen deze innovaties de basis vormen voor verantwoorde beleidsinterventies? Hoe weten we dat? We kunnen hier profiteren van de lessen die in het afgelopen decennium zijn geleerd op het gebied van Maatschappelijk Verantwoord Innoveren (MVI) en Ethics by Design. Dit idee van Verantwoord Innoveren is het afgelopen decennium door de Nederlandse onderzoeksorganisatie NWO geïntroduceerd. Het idee werd geïntegreerd in de Nederlandse Innovatiestrategie van de 'Topsectoren beleid’ en heeft inmiddels wereldwijde bekendheid gekregen. Daarnaast is het door de Europese Commissie in haar Horizon2020-R&D-programma - met een budget van 80 miljard euro - gebruikt om de ethische, juridische en maatschappelijke aspecten van technologie aan te pakken en een brede maatschappelijke acceptatie en morele aanvaardbaarheid van nieuwe technologie te garanderen.

Geleerde lessen

Er zijn drie lessen uit decennia van technologie-ethiek die ter harte genomen moeten worden bij de aanpak van de pandemie: als we onze gemeenschappelijke waarden serieus nemen, moeten we ze gebruiken als requirements, ontwerpen en nieuwe technologie vormgeven in overeenstemming met deze waarden (Design for Values). Ten tweede moeten we innovaties voor urgente maatschappelijke problemen, verantwoordelijk te werk gaan en proberen om morele vooruitgang te boeken en proberen zoveel mogelijk van onze verplichtingen na te komen (Responsible Innovation). Ten slotte moeten we ons net breed uitwerpen, een grote verscheidenheid aan disciplines en stakeholders betrekken. Oplossingen moeten worden ondergebracht in een voldoende ruimhartig systeemperspectief, zonder welke we niet duidelijk kunnen zien wat ze in het grotere geheel zullen opleveren (Comprehensive Engineering).

Ontwerp voor Waarden

De stortvloed van technologische COVID-19-oplossingen moet ons eraan herinneren dat technologie niet alleen (en niet altijd) de beloofde functionaliteit levert. Bepaalde technologieën, architecturen, toepassingen of diensten bevorderen bepaalde idealen, normatieve opvattingen over de samenleving of sociaal-economische modellen, of dit nu expliciet of heimelijk gebeurt, en of het nu bedoeld was of niet.

De door de COVID-19-pandemie getriggerde beslissen-in-crisis-en-noodtoestandmodus, onder omstandigheden van diepe onzekerheid en onvolledige informatie, draagt alleen maar bij aan het risico om het belangrijke waarde-geladen aspect van de technologie aan de aandacht te laten ontsnappen. Dit kan niet alleen leiden tot een vertekend en gebrekkig begrip van de waarden die een rol spelen in onze grootschalige sociale experimenten met risicovolle technologieën zoals AI, maar het kan er ook toe leiden dat we betere opties missen en dat het vertrouwen in politici en volksgezondheidsbeleid wordt ondermijnd. Vooral wanneer riskante oplossingen onder de dekmantel van nooduitzondering worden uitgevoerd. Bovendien zal, als we eenmaal uit de crisismodus zijn, ons vermogen om verantwoording af te leggen over de waarden die door innovaties zijn werden gediend, er onder lijden.

De crisiscontext en de inzet van technologische keuzes maken het daarom bijzonder belangrijk dat bepaalde waarden expliciet worden gemaakt, en dat de implementatie ervan zorgvuldig wordt onderzocht en in de praktijk zorgvuldig wordt geëvalueerd. We kunnen deze zorgen niet negeren als we bijvoorbeeld getuige zijn van zulke verontrustende ontwikkelingen op gebied van surveillance wearables en digitale immuniteitspaspoorten, die in eerste instantie misschien niet verplicht zullen worden gesteld, maar die in de praktijk al snel vereist zullen worden in tal van sociale contexten, ook al is daar geen rechtsgrond voor. Bovendien wordt duidelijk dat in dit verband niet kan worden volstaan met louter verklaringen over ethische principes en kernwaarden, zoals duidelijk wordt uit de veelheid aan beveiligingsfouten in haastig geïmplementeerde 'privacy-respecterende' contact-tracing apps. We moeten de samenhang van onze aannames, verwachtingen, voorspellingen en ideeën in acht nemen, de praktische consistentie van morele en politieke oordelen en evaluaties testen, en onze gedeelde waarden systematisch en transparant vertalen in ontwerpprincipes en technologische eisen.

Ontwerpmethoden waarin sociale en morele waarden worden meegenomen ondersteunen ons bij het expliciet denken over ethische overwegingen en morele waarden in een vroeg stadium van de ontwikkeling van technologie. Dit zorgt ervoor dat morele discussies niet los komen te staan van wat we in de praktijk doen bij het bestrijden van de crisis, of van de sociaal-economische gevolgen van onze keuzes, zoals bijvoorbeeld het omzetten van juridisch vrijwillige oplossingen in de-facto verplichte oplossingen. Deze value sensitive design-aanpak kan er voor zorgen dat onze waarden effectief worden toegepast, dat wil zeggen 'functioneel gedecomponeerd' en geoperationaliseerd, op eenzelfde manier als andere abstracte requirements functioneel worden gedecomponeerd in het werk van ontwerpers en ingenieurs.

Maatschappelijk verantwoord innoveren

De succesvolle implementatie van de innovaties die nodig zijn om de intelligente en mogelijk intermitterende unlocking-scenario's aan te pakken, vereist waardering voor echte waarde-conflicten en de trade-offs die zich hierbij aandienen. Waarde-gevoelig en waardenbewust ontwerpen is erop gericht om verder te gaan dan louter statements over ethiek, en morele waarden vooral ook te zien als (niet-functionele) eisen waarvoor we kunnen en moeten ontwerpen. We moeten in het bijzonder voorkomen dat we genoegen nemen met valse morele dilemma's en vermijdbare tragische keuzes die worden gedicteerd door technologisch determinisme, markt-falen en particuliere belangen. Wij zien dit gevaar toenemen bij de snelle invoering van commerciële surveillance-infrastructuur en -systemen die op de markt worden gebracht als de enige oplossing voor de crisis. De tegenstellingen tussen gezondheid en economie, tussen economie en privacy, tussen privacy en verantwoording moeten niet zonder slag of stoot worden geaccepteerd. Vaak zijn er derde opties en derde wegen uit het probleem. Verantwoord innoveren probeert het dilemma van deze tegenstellingen te overstijgen en moedigt ons aan om slimme oplossingen te bedenken, zodat we kunnen voorkomen dat we een tragische keuze moeten maken, waardoor we spijt krijgen van onze beslissing, wat we uiteindelijk ook doen.

Contact tracing apps

De implementatie van apps voor contact tracing biedt ons keuzes tussen specifieke architecturen, security-modellen en aannames over het gedrag van gebruikers. We kunnen bijvoorbeeld overwegen om individuen de mogelijkheid te bieden om hun symptomen zelf te rapporteren aan andere gebruikers van de app, of om alleen patiënten die gediagnosticeerd zijn toe te laten hun status te delen, nadat deze is geverifieerd door een bevoegde zorgautoriteit. Zelfs schijnbaar kleine keuzes tussen verschillende gebruikersinterface-ontwerpen, zoals de keuze van de standaardinstellingen, kunnen individuen aanzetten tot ander gedrag. We kunnen er ook van uitgaan dat schijnbaar kleine technische ontwerpkeuzes volledig onverwachte problemen zullen veroorzaken, zoals interferentie van een Bluetooth-signaal van een contact tracing-app met de diabetes-monitoring-apps die via Bluetooth verbinding maken met de onderhuidse sensor. Veiligheid, privacy, veiligheid, effectiviteit van de volksgezondheid, gebruikersautonomie zullen dus allemaal anders worden beïnvloed door verschillende combinaties van technische features, en deze moeten proactief worden aangepakt op het moment dat we de zaken nog ten goede kunnen veranderen.

Maatschappelijk verantwoord innoveren is een benadering van nieuwe technologie die gericht is op het bedenken van nieuwe waardengevoelige ontwerpen, concepten en instellingen of combinaties daarvan, die bij implementatie, de verzameling van relevante haalbare opties voor de oplossing van morele problemen vergroten en daarmee tragische keuzen of morele dilemma’s kunnen voorkomen. Als activiteit of proces stelt verantwoord innoveren ons in staat om relevante kennis te verkrijgen over de gevolgen van ons handelen en de handelingsopties en deze effectief en expliciet te evalueren in termen van relevante morele waarden. Verantwoorde innovatie verschilt dus van benaderingen van innovatie die zich richten op het louter toevoegen van nieuwe functionaliteit, omdat ze probeert te streven naar oplossingen voor belangrijke maatschappelijke problemen door het toevoegen van moreel relevante functionaliteit die onze opties verruimen.

Comprehensive Engineering

Door ons te veel te richten op slechts één deelverzameling van sociaal-technische systemen, zoals apps voor het traceren van contacten en die als 'silver bullet'-oplossing te zien, lopen we het risico de benodigde bredere systeemvisie te vergeten, en voorbij te gaan aan het feit dat het succes van deze apps ook afhangt van de beschikbaarheid van geschikte medische en andere infrastructuren.

Comprehensive engineering is dan de derde sleutelcomponent in het denken over hoe innovaties kunnen helpen om adequaat en verantwoord te reageren op de wereldwijde uitdaging van de huidige crisis. Adequate oplossingen voor systeemproblemen zoals een pandemie zijn ook altijd systeemoplossingen, waarbij rekening wordt gehouden met technologische aspecten, menselijk gedrag, waarden, en normen. Comprehensive engineering is een vorm van systeemengineering (in dit geval van complexe adaptieve systemen) die rekening houdt met verschillende aspecten van socio-technische systemen: hun systeem-dynamiek en complexiteit, morele, sociale (juridische, institutionele, gedrags- en economische, culturele), en technische aspecten. Dit betreft dus een uitgesproken interdisciplinaire en multidisciplinaire benadering van engineering, die uitgebreide analyses en suggesties voor uitgebreide oplossingen biedt.

Systeemdenken

Om de kwesties van een eerlijke verdeling van de risico's, voordelen, en verantwoordelijkheden aan te pakken, moeten de beleidsmakers in staat zijn om op een voldoende rijke manier te denken in termen van systemen. De uitdagingen die de huidige crisis met zich meebrengt, maken het pijnlijk duidelijk dat het negeren van slechts één component in dit systeemdenken zelfs de meest goedbedoelde inspanning kan ondermijnen. Om terug te komen op het voorbeeld van de contact tracing apps, zien we bijvoorbeeld hoezeer sommige van de voorgestelde oplossingen die zich bewust richten op een van de specifieke systeemaspecten zoals het ‘gemak van data-aggregatie’, het vertrouwen van het publiek en de voldoende brede adoptievoorwaarde voor hun effectiviteit kunnen ondermijnen.

Holistische visie

Comprehensive engineering vraagt om een integrale en holistische kijk op de 'systemen van systemen' die bestaan uit morele normen en waarden, instituties, incentive structures, infrastructuur, angsten, en verwachtingen van individuen.

Voorspellende modellen, instrumenten voor het traceren van contacten, het testen van beleid, fysieke afstandspraktijken, compensatieregelingen voor het midden en kleinbedrijf, nationalisaties van essentiële industrieën, online leren en afstandsonderwijs, politie- en handhavingsstrategieën, de publieke perceptie van de betrouwbaarheid van gezondheidsautoriteiten, en overheidscommunicatie moeten met elkaar in verband worden gebracht. Als deze als op-zichzelf-staand worden gezien zullen ze hoogstwaarschijnlijk falen.