Hoe eng zijn zelflerende algoritmen?
Zelflerende algoritmen bepalen zoekresultaten op internet, welke berichten van vrienden je op Facebook te zien krijgt, en op den duur misschien welke medicijnen je krijgt en je straf als je een misdaad begaat. Moeten we bang zijn?
Virginia Dignum, universitair hoofddocent bij de faculteit Techniek, Bestuur en Management (TBM) en tevens een van de 52 leden van de ‘High-Level Expert Group on Artificial Intelligence’ is positief gestemd. Door wettelijke regulering gaan we artificiële intelligentie in goede banen leiden, verwacht ze. De Expert Group waar ze lid van is, adviseert de Europese Commissie over het beleid omtrent artificiële intelligentie.
Ibo van de Poel, Anthoni van Leeuwenhoek-hoogleraar in de ethiek van technologie en hoofd van het departement Values, Technology & Innovation bij TBM lijkt zich meer zorgen te maken. “In de Verenigde Staten kun je als veroordeelde een strafmaat opgelegd krijgen die deels bepaald is door een zelflerend algoritme waarvan alleen een bedrijf de code kent.”
JA/NEE
“Nee, we hoeven niet bang te zijn voor algoritmen. Het zijn artefacten. Je hoeft ook niet bang te zijn voor een hamer. Hooguit kun je je zorgen maken over de mensen die de hamer gebruiken en er iets verkeerds mee doen. Chemische wapens kunnen we ook maken en gebruiken, maar er zijn allerlei regelingen die voorkomen dat we het daadwerkelijk doen. Achter het gebruik van algoritmen steekt altijd een menselijke strategie.
“Ik zie dat er steeds meer bewustwording is over de wijze waarop algoritmen gebruikt kunnen worden en over de noodzaak tot regulering. Ik verwacht dat er steeds meer juridische constructies komen die bepalen wat we wel en niet met algoritmen doen. Ik ben optimistisch.
Virginia Dignum: “Ik verwacht dat er steeds meer juridische constructies komen.” Foto © Virginia Dignum
Zelflerende algoritmen worden wel eens een black boxgenoemd. Het zou onduidelijk zijn hoe ze tot hun voorspelling komen. Ik ben het daar ten dele mee eens. Het achterliggende proces blijft gewoon wiskunde – het zijn regressies – en die snappen we. Maar er gaan soms wel duizenden of miljoenen factoren in zo’n zelflerend algoritme. Die enorme hoeveelheid maakt het moeilijk voor mensen om het proces te volgen.
“Ik verwacht dat er steeds meer juridische constructies komen.”
“Ik ben niet bang dat algoritmen straks alles voor ons gaan bepalen. Ik verwacht wel dat er allerlei gekke experimentjes komen. Maar ik denk bijvoorbeeld niet dat algoritmen het laatste woord zullen hebben over wie wel en wie geen banklening krijgt. Algoritmen zijn er ter ondersteuning. Wij mensen bepalen waar we ze voor gebruiken en waarvoor niet. Het is niet omdat het algoritme iets kan voorspellen dat we het ook moeten volgen zonder zelf na te denken.”
JA/NEE
Ibo van de Poel: “Meer transparantie in de werking van de algoritmen is wenselijk.” Foto © Sam Rentmeester
“Er zijn wel zaken die zorgen baren als we het hebben over zelflerende algoritmen. Een van de problemen is dat er soms onbedoeld een bepaalde bias (een soort vooringenomenheid) in ingebakken zit. Neem algoritmen voor gezichtsherkenning die bijvoorbeeld op vliegvelden gebruikt worden om verdachte personen uit de menigte te pikken. Als die alleen getraind zijn op blanke gezichten – en daar zijn voorbeelden van bekend - dan kan dat betekenen dat ze te weinig onderscheidend vermogen hebben om donkere mensen te herkennen. Het gevolg kan zijn dat deze software, die gezichten koppelt aan een database, vaker bij donkere mensen alarm slaat.
In de Verenigde Staten zijn ze verder met de inzet van zelflerende algoritmen dan bij ons. Zo wordt er gebruik gemaakt van het COMPAS algoritme dat de kans op recidive bij veroordeelden berekent. Die kans speelt een rol bij de bepaling van de strafmaat. Ook van deze software wordt gezegd dat er een raciale bias in zit. Hoe het programma precies werkt kom je niet te weten, want het is intellectueel eigendom van een bedrijf en dat bedrijf wil de code niet openbaren. Zo is het dus mogelijk dat je in de VS een strafmaat opgelegd krijgt op basis van een redenering die je nooit precies te weten zult krijgen.
“Meer transparantie in de werking van de algoritmen is wenselijk.”
Ik heb begrepen van mensen van het ministerie van Justitie en Veiligheid dat zoiets in Nederland onmogelijk is omdat je hier altijd te weten moet krijgen welke redenering achter je strafmaat zit.
Zelflerende algoritmen zijn vaak een soort black box. Je kunt de code natuurlijk nagaan (als deze tenminste niet geheim gehouden wordt). Maar wat zo’n ding per saldo doet is vaak niet inzichtelijk. Moeten we dat willen? Meer transparantie in de werking van de algoritmen is wenselijk, vind ik. Het probleem is dat als je eist dat het volledig transparant is, dat het algoritme dan minder efficiënt kan leren. Je moet daarin een afweging maken.”