Menselijk toezicht nodig bij wapensystemen met kunstmatige intelligentie

Kunstmatige intelligentie is niet meer weg te denken uit onze maatschappij. Denk aan ChatGPT, geautomatiseerd rijden en diagnoses stellen in de zorg. Defensie gebruikt het ook, onder meer bij  beeldverwerking en luchtverdedigingssystemen. Bij deze toepassingen is menselijk toezicht nodig. Luitenant-kolonel ir. Ilse Verdiesen onderzocht hoe dat vorm kan krijgen. Op 3 april promoveerde zij op dit onderwerp bij de TU Delft.

Wapensystemen die uitgerust zijn met kunstmatige intelligentie, zogeheten ‘autonome wapensystemen’ worden steeds vaker ingezet in oorlogssituaties. Denk bijvoorbeeld aan door radar bestuurde drones in Oekraïne.

Dergelijke wapensystemen bieden veel voordelen, maar kunnen ook tot veiligheidsrisico’s leiden. Dat komt omdat de verantwoordelijkheid voor de beslissingen, acties en effecten ervan niet altijd helder is. Volgens Verdiesen moet dat in het besluitvormingsproces duidelijk worden. Een machine mag immers geen beslissingen nemen over leven en dood. “De structuur die ik heb opgetuigd, wijst een verantwoordelijkheid toe voor de handelingen van het wapensysteem. Dat gebeurt door een toezichthouder te identificeren. De kans op onbedoelde gevolgen wordt daardoor kleiner.” 

Verdiesen maakte die structuur in een simulatieomgeving toepasbaar. Ze identificeerde en programmeerde een aantal criteria die in militaire operaties belangrijk zijn. Dat kunnen bijvoorbeeld de grenzen van een operatiegebied zijn. Of te vermijden gebieden. Maar ook weersomstandigheden. Aan de hand van haar structuur kan een menselijke toezichthouder beoordelen of een autonoom wapen zich aan die criteria houdt. Als dat niet zo is kan worden uitgezocht wat er mis gaat, zodat dit in de toekomst is te  voorkomen.

Heldere afspraken

Defensie is blij dat Verdiesen op dit onderwerp promoveert. Kunstmatige intelligentie gaat namelijk alle militaire operaties beïnvloeden. De organisatie vindt het daarom belangrijk dat er internationaal heldere afspraken over komen. Het proefschrift van Verdiesen levert een waardevolle bijdrage aan de internationale en nationale discussie over dit onderwerp.

TU Delft ziet dat de Nederlandse en Europese voornemens ter verdediging van het eigen en bondgenootschappelijk grondgebied een stabiele basis vereisen van kennisinstellingen en bedrijven, die ervoor zorgen dat Nederland de juiste militaire kennis, technologie en capaciteiten in huis heeft. Wetenschappelijke inzichten in verantwoord menselijk toezicht over technologieën zoals AI systemen bij Defensie dragen daar aan bij.

Verdiesen hoopt dat haar onderzoek bijdraagt aan een verantwoorde toepassing van autonome wapensystemen en wellicht ook vertaald kan worden naar andere AI toepassingen in bijvoorbeeld de zorg, cyber of transport sector.

Lees hier het proefschrift.