Feministische AI: transformeren en uitdagen van de huidige Kunstmatige Intelligentie (AI) Industrie
Traditioneel wordt data science als discipline geleid en toegepast door een kleine groep mensen met vergelijkbare achtergronden. Dit zorgt ervoor dat vooroordelen en stereotypen blijven bestaan, wat risico's met zich meebrengt voor de samenleving. Maar als we meer diversiteit in data science en kunstmatige intelligentie (AI) brengen, kunnen we deze risico's verminderen en tegelijkertijd creatiever worden, wat leidt tot betere resultaten.
Het Feminist Generative AI Lab is gestart als onderdeel van het Convergence-programma AI, Data & Digitalisation aan de TU Delft, onder leiding van Sara Colombo. Het lab brengt een nieuw perspectief naar voren in de AI-industrie. Het stelt dat beslissingen niet alleen genomen moeten worden door een kleine groep mensen, voornamelijk mannen met een westerse achtergrond, en dat zij daarvan de voordelen plukken. Het moedigt aan tot meer diversiteit in data science en het ontwerp, de ontwikkeling en implementatie van AI. Colombo benadrukt het belang van het betrekken van verschillende stemmen in data science en AI. Alleen door andere stemmen te laten horen, kunnen we zorgen voor een eerlijkere en rechtvaardigere ontwikkeling van data science en AI, en de producten en diensten die daarop worden gebouwd.
Waarom moeten vrouwen zich bezighouden met AI?
In een voornamelijk door mannen gedomineerde industrie kunnen er uitdagingen zijn bij het ontwikkelen van vrouwgerichte diensten, of diensten die adequaat rekening houden met hun specifieke behoeften bij het genereren van nieuwe AI-oplossingen, legt Colombo uit. "Of het nu bewust of onbewust is, AI-oplossingen versterken vaak de vooroordelen en ongelijkheden die vrouwen dagelijks ervaren. AI kan vrouwen discrimineren door hen toegang tot ongelijkwaardige behandelingen te bieden. Voorbeelden hiervan zijn AI-systemen die vrouwen minder bankkrediet geven dan mannen met dezelfde financiële omstandigheden, of klinische AI-besluitvormingssystemen die beter presteren voor mannen dan vrouwen."
Colombo wijst er op dat vrouwen bewust op AI moeten letten en er meer mee bezig moeten zijn. Dit komt omdat AI-systemen overal zijn en niet altijd positief zijn voor vrouwen. Vrouwen kunnen ook verschillende en unieke ideeën inbrengen bij het maken van diensten die gebruikmaken van data en AI. Ze kunnen AI ook gebruiken om diensten te ontwerpen die specifieke problemen van vrouwen aanpakken, zoals huiselijk geweld of gezondheidsproblemen die vooral vrouwen treffen.
Alleen door andere stemmen te laten horen, kunnen we zorgen voor een eerlijkere en rechtvaardigere ontwikkeling van data science en AI, en de producten en diensten die daarop worden gebouwd.
Wat betekent een 'feministische benadering' voor Generative AI (GenAI)?
“Hoewel de term 'feministisch' misschien alleen naar vrouwen lijkt te refereren, gaat een feministische aanpak van technologie verder dan alleen genderongelijkheden,” legt Colombo uit. “Een feministische benadering omvat een breder spectrum van sociale ongelijkheden. Een 'feministische benadering' van Generative AI (GenAI) houdt in dat we grondig heroverwegen hoe we deze technologie creëren en toepassen.”
Een 'feministische aanpak' vereist dat we kritisch kijken naar de machtsdynamieken en vormen van onderdrukking inherent aan de samenleving, en weerspiegeld door AI en GenAI. Daarnaast moeten we actief de stemmen verheffen van degenen die traditie getrouw achtergesteld zijn, zoals vrouwen. Colombo licht toe: "Dit betekent nadenken over hoe GenAI kan worden ontwikkeld met grotere ethische integriteit en GenAI te personaliseren mensen met een maatschappelijke achterstand ervan te laten profiteren, alsmede in lijn te brengen met de waarden en behoeften van achtergestelde gemeenschappen. Uiteindelijk gaat het erom technologie te gebruiken als een instrument voor empowerment en sociale rechtvaardigheid, om problemen zoals gezondheidsverschillen en economische ongelijkheid aan te pakken."
Wat is datafeminisme?
Datafeminisme is een kader dat de raakvlakken tussen data science en feministische theorie onderzoekt. Standaardpraktijken in data science, die bestaande vooroordelen en machtsbalansen kunnen voortzetten en versterken (ook m.b.t. gender) worden hierin uitgedaagd. Datafeminisme analyseert en benoemt dergelijke ongelijkheden en pakt deze problemen aan door te pleiten voor meer inclusieve, rechtvaardige en contextbewuste benaderingen van gegevensverzameling, -analyse, -visualisatie en -interpretatie. Ook wordt er gepleit voor betere, gelijke toegang tot diensten op basis van data en om op een samenwerkende manier de toekomst van deze technologie te ontwerpen en in te beelden.
Colombo pleit ervoor dat we openlijk erkennen dat data subjectief is en dit proberen te verminderen in plaats van er vanuit te gaan dat data onbevooroordeeld zijn. "Datafeminisme is belangrijk omdat het een alternatief biedt voor de huidige praktijken en benaderingen in data science, die maar een beperkt vermogen hebben om inclusieve, rechtvaardige en toegankelijke systemen te produceren."
Datafeminisme is belangrijk omdat het een alternatief biedt voor de huidige praktijken en benaderingen in data science, die maar een beperkt vermogen hebben om inclusieve, rechtvaardige en toegankelijke systemen te produceren.
Waar komt gendervooroordelen in AI vandaan?
Volgens Colombo leidt het gebrek aan diversiteit tot het (vaak onbewust) voortzetten van stereotypen en vooroordelen, ook wel ’bias’ genoemd. Dit vormt een risico voor de samenleving. Colombo geeft aan dat bias in AI vaak voortkomt uit de datasets die worden gebruikt om AI-modellen te trainen. Deze datasets weerspiegelen de diversiteit van menselijke ervaringen niet adequaat genoeg. Dit leidt tot modellen die beter presteren voor bepaalde groepen mensen (of bepaalde genders). Genderbias kan zich uiten in minder nauwkeurige (of zelfs schadelijke) AI-voorspellingen, slechtere gebruikerservaringen voor bepaalde groepen of discriminerende resultaten. Bepaalde op AI gebaseerde recruitmentsystemen hebben bijvoorbeeld aangetoond de voorkeur te geven aan mannelijke kandidaten. Ook laten AI-gegenereerde afbeeldingen vaak vrouwen zien in traditionele huishoudelijke rollen en leggen ze de nadruk op bepaalde fysieke kenmerken van vrouwen. Nog een voorbeeld is dat Natural Language Processing (NLP) modellen bepaalde taal produceren die vrouwen koppelt aan specifieke rollen of beroepen.
Wat zouden de effecten van 'feministische AI' zijn?
Feministische AI kan de manier waarop we de AI-industrie benaderen transformeren, zegt Colombo. "Het daagt het idee uit dat slechts een paar, meestal welgestelde, westerse, mannelijke individuen controle zouden moeten hebben over de manier waarop AI wordt ontworpen, ontwikkeld en ingezet. De effecten van feministische AI zijn het prioriteren van positieve maatschappelijke impact, het bevorderen van eerlijkheid, inclusie en empowerment; het erkennen en aanpakken van bias; en het geven van eerlijke vertegenwoordiging en macht aan de mensen die worden beïnvloed door AI-systemen, door hen ook te betrekken bij ontwerpprocessen."
Hoe vindt gendergerichte discriminatie of geweld plaats via GenAI?
Onlangs testte Colombo een Large Language Model (LLM) door het te vragen namen te genereren voor artsen en verpleegkundigen. Het LLM associeerde voornamelijk mannelijke namen met artsen en vrouwelijke namen met verpleegkundigen. Ze legt uit: "GenAI-systemen kunnen op vele andere manieren discrimineren. Bijvoorbeeld door niet nauwkeurig genoeg gezondheidsproblemen die vaker bij vrouwen voorkomen te diagnosticeren. Als systemen niet goed worden getraind, kunnen GenAI-modellen, die worden gebruikt in chat bots. symptomen die geassocieerd worden met ‘vrouwenziektes’ niet herkennen of de systemen genereren onjuiste vervolgvragen. Het kan voorkomen dat ze nood- of geweldsignalen niet herkennen en er ongepast op reageren. Dit kan allemaal bijdragen tot het in stand houden van ongelijkheden in de medische zorg en gender gerelateerde discriminatie en leed."
Veel andere domeinen hebben met soortgelijke problemen te maken. Als ze getraind zijn op bias datasets met seksistische of discriminerende taal, kunnen GenAI online moderatiesystemen per ongeluk gender gerelateerde discriminatie en geweld in online gesprekken toestaan, of zelfs versterken. Ondanks de inspanningen om dergelijke problemen in GenAI aan te pakken, merkt Colombo dat er nog steeds aanzienlijke behoefte is aan blijvend onderzoek. Dit om ervoor te zorgen dat bias en discriminatie in GenAI-systemen worden verminderd in verschillende industrieën.
Waarom zouden we AI trainen en gebruiken op manieren die voorkomen dat bestaande (gender)bias worden voortgezet en versterkt door AI?
“Voor mij is het antwoord glashelder,” reageert Colombo. "Echter, is niet iedereen het eens over welke wereldbeelden en waarden weerspiegeld moeten worden door AI-systemen. Ik geloof dat de aanwezigheid van vrouwen (en andere achtergestelde groepen) in de AI-industrie essentieel is - onder andere om betekenisvolle discussies te stimuleren over waarom en hoe we AI proactief moeten gebruiken om seksisme, discriminatie, ongelijkheden en bias die in de samenleving verankerd zijn, te bestrijden. Hun aanwezigheid is ook fundamenteel om te kunnen debatteren op een open, participatieve, respectvolle en inclusieve manier over de soort toekomst die we willen opbouwen, ook via technologie. Want zonder de aanwezigheid van vrouwen vinden deze gesprekken minder waarschijnlijk plaats en missen we de kans om ongelijkheden te verminderen, macht her te verdelen en een eerlijkere samenleving te vormen door rechtvaardigere technologie te ontwikkelen."
Zouden we ons moeten richten op ‘vrouwgerichte AI’ in plaats van ‘mensgerichte AI’?
"Het idee van 'vrouwgerichte AI' als vervanging van ‘mensgerichte AI' kan een beetje misleidend zijn," zegt Sara Colombo, "hoewel we inderdaad meer AI-oplossingen nodig hebben die de behoeften, problemen en omstandigheden van vrouwen aanpakken, is voor mij de sleutel om 'mensgerichte AI' echt op de mensheid te richten door ervoor te zorgen dat diverse stemmen, groepen en gemeenschappen centraal staan in de ontwikkeling van AI. ‘Door vrouwen gedreven AI’ is echter wel een fascinerend concept, en ik ben benieuwd hoe de groeiende aanwezigheid van vrouwen in AI dit onderzoeksgebied en de AI-industrie zal transformeren."
De sleutel om 'mensgerichte AI' echt op de mensheid te richten voor mij is door ervoor te zorgen dat diverse stemmen, groepen en gemeenschappen centraal staan in de ontwikkeling van AI
Over het werk van het Convergence AI Lab: Feminist Generative AI Lab
Het ‘Feminist Generative AI Lab’ is gestart vanuit het Convergence-programma AI, Data & Digitalisation en is een samenwerking tussen TU Delft en Erasmus Universiteit Rotterdam. Sara Colombo is medeoprichter en mededirecteur van dit onderzoekslab. Het lab fungeert als een pionier hub waar generatieve AI, ontwerp en datafeminisme samenkomen. Het doel van het lab is om alternatieven te vinden in AI-ontwikkeling, die gelijkheid, maatschappelijk belang en de waarde van diversiteit in menselijke ervaringen erkennen en vieren.
Alle betrokken onderzoekers zijn zich bewust van de diepgaande impact van GenAI-toepassingen en zijn toegewijd om de ethische implicaties en mogelijkheden binnen dit opkomende gebied door een 'feministische lens' te verkennen. Zoals eerder besproken, gaat een feministische benadering van technologie niet alleen over gender. Het gaat ook over het bevorderen van inclusie, het uitdagen van binaire perspectieven en het omarmen van diversiteit.
Photography: Zhiying Liu
