Filter results

9811 resultaten

Hoe systeemveiligheid Machine Learning systemen veiliger kunnen maken in de publieke sector

Machine Learning (ML), een vorm van AI waarbij patronen worden ontdekt in grote hoeveelheden data, kan heel handig zijn. Het wordt steeds vaker gebruikt, denk aan chatbot Chat GPT, voor gezichtsherkenning of aan spraaksoftware. Maar er zijn ook zorgen over de toepassing van ML systemen in de publieke sector. Hoe voorkom je dat het systeem bijvoorbeeld discrimineert, of op grote schaal fouten maakt met negatieve effecten op burgers? TU Delft wetenschappers, waaronder Jeroen Delfos, onderzochten hoe lessen uit de systeemveiligheid kunnen bijdragen aan een veiliger ML systeem in de publieke sector. ‘Beleidsmakers zijn druk met het bedenken van maatregelen om negatieve effecten van ML tegen te gaan. Uit ons onderzoek blijkt dat zij veel meer kunnen leunen op bestaande concepten en theorieën die hun waarde al hebben aangetoond in andere sectoren,’ zegt Jeroen Delfos. Jeroen Delfos Leren van andere sectoren In het onderzoek gebruikten de onderzoekers concepten van systeemveiligheid en systeemtheorie om de uitdagingen van het gebruik van ML systemen in de publieke sector te beschrijven. Delfos: ‘Concepten en tools uit de systeemveiligheidsliteratuur worden al veel gebruikt om de veiligheid van bijvoorbeeld de luchtvaart te ondersteunen, onder andere door ongelukken te analyseren met systeemveiligheidsmethodes, maar binnen het veld van AI en ML is dit nog niet gebruikelijk. Door de systeemtheoretische blik bekijken we veiligheid niet alleen als een resultaat van hoe de techniek werkt, maar juist als een resultaat van complexe set aan technische, sociale en organisationele factoren.’ De onderzoekers interviewden professionals uit de publieke sector om te zien welke factoren worden onderkend, en welke nog onderbelicht zijn. Bias Op een aantal punten kan terrein worden gewonnen om ML systemen in de publieke sector veiliger te maken. Zo wordt bijvoorbeeld bias in data nog vaak als een technisch probleem gezien, terwijl de oorsprong van die bias ver buiten het technische systeem kan liggen. Delfos: ’Denk dan bijvoorbeeld aan de registratie van criminaliteit. In buurten waar de politie vaker surveilleert wordt logischerwijs meer criminaliteit geregistreerd, waardoor deze buurten overgerepresenteerd worden in criminaliteitscijfers. Een ML systeem dat geleerd wordt patronen te ontdekken in deze cijfers zal deze bias gaan herhalen of zelf versterken. Het probleem zit echter in de manier van registreren, en niet in het ML systeem zelf.’ Risico’s verminderen Volgens de onderzoekers doen beleidsmakers en ambtenaren die bezig zijn met de ontwikkeling van ML systemen er goed aan om concepten van systeemveiligheid mee te nemen. Zo is het aan te raden om bij het ontwerpen van een ML systeem vooraf te identificeren wat voor ongelukken men wil voorkomen. Verder is een les vanuit systeemveiligheid, bijvoorbeeld in de luchtvaart, dat systemen in de praktijk de neiging hebben om over tijd steeds risicovoller te worden, omdat veiligheid steeds ondergeschikter raakt aan efficientie zolang er geen ongelukken gebeuren. ‘Het is dus belangrijk dat veiligheid een terugkomend onderwerp is bij evaluaties en dat de eisen voor veiligheid worden gehandhaafd’, aldus Delfos. Lees het paper over dit onderzoek. Andere TBM onderzoekers die meewerkten aan dit onderzoek zijn: Anneke Zuiderwijk, Sander van Cranenburgh, Roel Dobbe en Caspar Chorus (van faculteit IO). Lees het paper over dit onderzoek. Lees de story of science van Roel Dobbe voor meer informatie over de risico’s van algoritmische besluitvorming en systeemveiligheid.

Half Height Horizontal

Hoe stormvloedkeringen Nederland veilig en leefbaar kunnen houden

Een veilige en leefbare delta, wie kiest daar niet voor? Stormvloedkeringen spelen hierin een cruciale rol. Toch zijn er veel keuzes die op korte termijn gemaakt moeten worden om de stormvloedkeringen in goede staat en functioneel houden, zodat ze ook op langere termijn de stijgende zeespiegel het hoofd bieden. Een nieuw project ontvangt voor vijf jaar financiering van NWO om de beste wegen naar een leefbare delta te verkennen. Stormvloedkeringen, zoals de Maeslantkering en de Oosterscheldekering, zijn essentieel voor de bescherming van Nederland tegen hoogwater vanaf zee. Het is de vraag hoe lang deze imposante constructies effectief blijven met in het achterhoofd de zeespiegelstijging, veroudering van de keringen en verandering van het omliggende gebied. Op de korte termijn zullen besluiten genomen moeten worden over onderhoud, terwijl op langere termijn gedacht moet worden over aanpassing of vervanging. Keringen en de achterliggende delta Binnen het project SSB-Δ (storm surge barrier delta) gaat een breed consortium uitzoeken onder welke condities de stormvloedkeringen Nederland nog veilig en leefbaar kunnen houden. Het consortium bestaat uit de universiteiten van Delft, Utrecht, en Rotterdam; de hogescholen van Rotterdam en Zeeland; kennisinstituten Deltares en TNO, alsmede Rijkswaterstaat, waterschappen en bedrijven. Bram van Prooijen, associate professor bij de TU Delft, gaat het onderzoek leiden: “Besluiten over de keringen zijn belangrijk voor de hele achterliggende delta. Juist die koppeling moet goed gemaakt worden. We hebben in dit project de kans om verschillende expertises bij elkaar te brengen en elkaar te versterken.” Nu oog voor de lange termijn Het onderzoek gaat daarmee niet alleen over wat de technische levensduur is van de keringen, maar ook over hoe de delta gaat veranderen en hoe de maatschappij hierover denkt. Zo brengen de onderzoekers beter in kaart hoe en wanneer welke beslissingen op korte termijn genomen moeten worden, met oog voor de lange termijn. Van Prooijen haalt het voorbeeld aan van reparaties voor een auto: “Denk aan het vervangen het motorblok. Erg kostbaar onderhoud, maar soms noodzakelijk om de auto veilig te kunnen blijven rijden. Maar is het de investering waard als je volgend jaar een nieuwe auto koopt? Of als je liever met de trein wilt gaan reizen? Voor de stormvloedkeringen zullen belangrijke keuzes gemaakt moeten worden. Wij willen daar een goede basis voor aanleveren.” Gefundeerde keuzes Het onderzoek biedt straks veel meer duidelijkheid over de mogelijke paden naar een leefbare delta en hoe de stormvloedkeringen daarin passen. Van Prooijen: “Dat biedt duidelijkheid, zodat we snellere en beter gefundeerde keuzes kunnen maken. Er worden nu veel proefballonnen opgelaten. Met de uitkomsten van storm surge barrier delta kunnen we bepalen met welke proefballonnen we concreet verder kunnen.” Experts opleiden Een van de stormvloedkeringen die in het onderzoek wordt meegenomen is de Maeslantkering. De verwachting is dat deze nog wel zo’n 50 jaar meegaat. Dat lijkt misschien ver weg, zo redeneert Van Prooijen, “maar de experts die hierover gaan beslissen moeten we nu opleiden. Dat zijn waarschijnlijk de promovendi van dit project.”