Hoe systeemveiligheid Machine Learning systemen veiliger kunnen maken in de publieke sector
Machine Learning (ML), een vorm van AI waarbij patronen worden ontdekt in grote hoeveelheden data, kan heel handig zijn. Het wordt steeds vaker gebruikt, denk aan chatbot Chat GPT, voor gezichtsherkenning of aan spraaksoftware. Maar er zijn ook zorgen over de toepassing van ML systemen in de publieke sector. Hoe voorkom je dat het systeem bijvoorbeeld discrimineert, of op grote schaal fouten maakt met negatieve effecten op burgers? TU Delft wetenschappers, waaronder Jeroen Delfos, onderzochten hoe lessen uit de systeemveiligheid kunnen bijdragen aan een veiliger ML systeem in de publieke sector.
‘Beleidsmakers zijn druk met het bedenken van maatregelen om negatieve effecten van ML tegen te gaan. Uit ons onderzoek blijkt dat zij veel meer kunnen leunen op bestaande concepten en theorieën die hun waarde al hebben aangetoond in andere sectoren,’ zegt Jeroen Delfos.
Leren van andere sectoren
In het onderzoek gebruikten de onderzoekers concepten van systeemveiligheid en systeemtheorie om de uitdagingen van het gebruik van ML systemen in de publieke sector te beschrijven. Delfos: ‘Concepten en tools uit de systeemveiligheidsliteratuur worden al veel gebruikt om de veiligheid van bijvoorbeeld de luchtvaart te ondersteunen, onder andere door ongelukken te analyseren met systeemveiligheidsmethodes, maar binnen het veld van AI en ML is dit nog niet gebruikelijk. Door de systeemtheoretische blik bekijken we veiligheid niet alleen als een resultaat van hoe de techniek werkt, maar juist als een resultaat van complexe set aan technische, sociale en organisationele factoren.’ De onderzoekers interviewden professionals uit de publieke sector om te zien welke factoren worden onderkend, en welke nog onderbelicht zijn.
Bias
Op een aantal punten kan terrein worden gewonnen om ML systemen in de publieke sector veiliger te maken. Zo wordt bijvoorbeeld bias in data nog vaak als een technisch probleem gezien, terwijl de oorsprong van die bias ver buiten het technische systeem kan liggen. Delfos: ’Denk dan bijvoorbeeld aan de registratie van criminaliteit. In buurten waar de politie vaker surveilleert wordt logischerwijs meer criminaliteit geregistreerd, waardoor deze buurten overgerepresenteerd worden in criminaliteitscijfers. Een ML systeem dat geleerd wordt patronen te ontdekken in deze cijfers zal deze bias gaan herhalen of zelf versterken. Het probleem zit echter in de manier van registreren, en niet in het ML systeem zelf.’
Risico’s verminderen
Volgens de onderzoekers doen beleidsmakers en ambtenaren die bezig zijn met de ontwikkeling van ML systemen er goed aan om concepten van systeemveiligheid mee te nemen. Zo is het aan te raden om bij het ontwerpen van een ML systeem vooraf te identificeren wat voor ongelukken men wil voorkomen.
Verder is een les vanuit systeemveiligheid, bijvoorbeeld in de luchtvaart, dat systemen in de praktijk de neiging hebben om over tijd steeds risicovoller te worden, omdat veiligheid steeds ondergeschikter raakt aan efficientie zolang er geen ongelukken gebeuren. ‘Het is dus belangrijk dat veiligheid een terugkomend onderwerp is bij evaluaties en dat de eisen voor veiligheid worden gehandhaafd’, aldus Delfos.
Lees het paper over dit onderzoek.
Andere TBM onderzoekers die meewerkten aan dit onderzoek zijn: Anneke Zuiderwijk, Sander van Cranenburgh, Roel Dobbe en Caspar Chorus (van faculteit IO). Lees het paper over dit onderzoek.
Lees de story of science van Roel Dobbe voor meer informatie over de risico’s van algoritmische besluitvorming en systeemveiligheid.