Filter results

9807 resultaten

Hoe systeemveiligheid Machine Learning systemen veiliger kunnen maken in de publieke sector

Machine Learning (ML), een vorm van AI waarbij patronen worden ontdekt in grote hoeveelheden data, kan heel handig zijn. Het wordt steeds vaker gebruikt, denk aan chatbot Chat GPT, voor gezichtsherkenning of aan spraaksoftware. Maar er zijn ook zorgen over de toepassing van ML systemen in de publieke sector. Hoe voorkom je dat het systeem bijvoorbeeld discrimineert, of op grote schaal fouten maakt met negatieve effecten op burgers? TU Delft wetenschappers, waaronder Jeroen Delfos, onderzochten hoe lessen uit de systeemveiligheid kunnen bijdragen aan een veiliger ML systeem in de publieke sector. ‘Beleidsmakers zijn druk met het bedenken van maatregelen om negatieve effecten van ML tegen te gaan. Uit ons onderzoek blijkt dat zij veel meer kunnen leunen op bestaande concepten en theorieën die hun waarde al hebben aangetoond in andere sectoren,’ zegt Jeroen Delfos. Jeroen Delfos Leren van andere sectoren In het onderzoek gebruikten de onderzoekers concepten van systeemveiligheid en systeemtheorie om de uitdagingen van het gebruik van ML systemen in de publieke sector te beschrijven. Delfos: ‘Concepten en tools uit de systeemveiligheidsliteratuur worden al veel gebruikt om de veiligheid van bijvoorbeeld de luchtvaart te ondersteunen, onder andere door ongelukken te analyseren met systeemveiligheidsmethodes, maar binnen het veld van AI en ML is dit nog niet gebruikelijk. Door de systeemtheoretische blik bekijken we veiligheid niet alleen als een resultaat van hoe de techniek werkt, maar juist als een resultaat van complexe set aan technische, sociale en organisationele factoren.’ De onderzoekers interviewden professionals uit de publieke sector om te zien welke factoren worden onderkend, en welke nog onderbelicht zijn. Bias Op een aantal punten kan terrein worden gewonnen om ML systemen in de publieke sector veiliger te maken. Zo wordt bijvoorbeeld bias in data nog vaak als een technisch probleem gezien, terwijl de oorsprong van die bias ver buiten het technische systeem kan liggen. Delfos: ’Denk dan bijvoorbeeld aan de registratie van criminaliteit. In buurten waar de politie vaker surveilleert wordt logischerwijs meer criminaliteit geregistreerd, waardoor deze buurten overgerepresenteerd worden in criminaliteitscijfers. Een ML systeem dat geleerd wordt patronen te ontdekken in deze cijfers zal deze bias gaan herhalen of zelf versterken. Het probleem zit echter in de manier van registreren, en niet in het ML systeem zelf.’ Risico’s verminderen Volgens de onderzoekers doen beleidsmakers en ambtenaren die bezig zijn met de ontwikkeling van ML systemen er goed aan om concepten van systeemveiligheid mee te nemen. Zo is het aan te raden om bij het ontwerpen van een ML systeem vooraf te identificeren wat voor ongelukken men wil voorkomen. Verder is een les vanuit systeemveiligheid, bijvoorbeeld in de luchtvaart, dat systemen in de praktijk de neiging hebben om over tijd steeds risicovoller te worden, omdat veiligheid steeds ondergeschikter raakt aan efficientie zolang er geen ongelukken gebeuren. ‘Het is dus belangrijk dat veiligheid een terugkomend onderwerp is bij evaluaties en dat de eisen voor veiligheid worden gehandhaafd’, aldus Delfos. Lees het paper over dit onderzoek. Andere TBM onderzoekers die meewerkten aan dit onderzoek zijn: Anneke Zuiderwijk, Sander van Cranenburgh, Roel Dobbe en Caspar Chorus (van faculteit IO). Lees het paper over dit onderzoek. Lees de story of science van Roel Dobbe voor meer informatie over de risico’s van algoritmische besluitvorming en systeemveiligheid.

Half Height Horizontal

Onderzoekers overhandigen Position Paper aan Tweede Kamer

Uit naam van het TU Delft PowerWeb Institute overhandigen onderzoekers Kenneth Brunninx en Simon Tindemans op 14 november 2024 een Position Paper aan de Tweede Kamer, met een mogelijke oplossing voor de grote netwerkcapaciteit-problemen die in Nederland steeds vaker opspelen. Waarschijnlijk haalt Nederland de klimaatdoelen 2030 niet, en dat komt onder andere doordat de grote industrie niet snel genoeg kan overstappen op elektriciteit, mede doordat er steeds vaker problemen ontstaan rondom netwerkcapaciteit en netcongestie. Naar alle waarschijnlijk zullen die problemen dit decennium eerst zelfs toenemen, voordat ze kunnen afnemen, stellen de onderzoekers. De oplossing die de onderzoekers van het TU Delft PowerWeb Institute aanbieden, is de ‘flexibele backstop’. Met een flexibele backstop kan de huidige capaciteit van het elektriciteitsnet efficiënter gebruikt worden zonder aan veiligheid of betrouwbaarheid in te winnen. Een flexibele backstop is een veiligheidsmechanisme dat automatisch en op korte termijn de hoeveelheid elektriciteit vermindert die een elektrische eenheid van het elektriciteitsnet kan onttrekken (een elektrische laadpaal of een warmtepomp) en leveren (een PV-installatie). Het is een klein apparaatje dat is aangesloten of ingebouwd in een elektrische eenheid, zoals een laadpaal of warmtepomp, en dat ‘communiceert’ met de distributienetwerkbeheerder. In geval van extreme stress op het netwerk geeft de netwerkbeheerder een signaal aan het apparaat om de hoeveelheid stroom te beperken. Duitsland heeft recent een vergelijkbaar systeem ingevoerd met elektrische laadpalen. De backstop wordt enkel geactiveerd in periodes van acute congestieproblemen, nadat alle andere maatregelen uitgeput zijn. “Het opwaarderen van het elektriciteitsnetwerk blijft essentieel, maar zal in de praktijk nog jaren duren. Er is dus behoefte aan kortetermijnoplossingen die geïntegreerd kunnen worden in de langetermijnplanning. Wij, de leden van het TU Delft PowerWeb Institute, roepen de overheid, netwerkbeheerders en regulator op om de flexibele backstop als extra veiligheidsmaatregel voor het netwerk te onderzoeken”, aldus de onderzoekers. Het gehele Paper is hier te lezen. Kanneth Brunninx is universiteit hoofddocent bij de faculteit Techniek, Bestuur en Management, waar hij met kwantitatieve modellen energiebeleid en marktontwerp evalueert met als doel CO2-uitstoot te verminderen. Simon Tindemans is universitair hoofddocent in de Intelligent Electrical Power Grids groep van faculteit Elektrotechniek, Wiskunde en Informatica. Hij doet onder andere onderzoek naar onzekerheid en risicomanagement voor elektriciteitsnetwerken. Het TU Delft PowerWeb Institute ontwerpt het elektriciteitsnetwerk van de toekomst.