Intelligente robotmicroscoop denkt met chirurg mee
Onderzoekers van de TU Delft en het Erasmus MC werken aan een intelligente robotmicroscoop die meedenkt over de beste manier om een patiënt te opereren.
Door Bennie Mols • Foto’s: Erasmus MC • 26 november 2024
Plastisch chirurg Dalibor Vasilic van het Erasmus MC herstelt geregeld een verminkt gezicht of reconstrueert een borst na een amputatie. Hij gebruikt daarbij weefsel van de patiënt zelf: huidweefsel van een bovenbeen bevestigt hij op het gezicht, of buikweefsel op de plaats van een geamputeerde borst.
Robotarm met digitale microscoop
Tijdens de operatie hecht hij soms bloedvaatjes dunner dan een millimeter aan elkaar. Traditioneel gebruiken chirurgen daarvoor een microscoop die de operatie tien keer vergroot in beeld brengt. Sinds 2020 gebruikt Vasilic echter een robotarm waaraan een digitale microscoop is bevestigd die tot wel tot wel 25 keer vergroot. Tijdens de operatie kijkt Vasilic niet meer direct naar de plek van de operatie en zijn handen, maar door een 3D-bril naar een scherm recht voor zich. Het schermbeeld komt van een camera aan een beweeglijke robotarm die de operatie vanuit veel meer hoeken kan laten zien dan de chirurg zelf.
Mijn visie is dat de robotarm in de toekomst met de chirurg meedenkt over de beste manier om een patiënt te opereren.
De robotarm met digitale microscoop is niet zomaar een noodzakelijk hulpmiddel voor de ogen van de chirurg, het is ook de opstap naar een visionair idee, vertelt Vasilic: “Mijn visie is dat de robotarm in de toekomst met de chirurg meedenkt over de beste manier om een patiënt te opereren. In deze visie wordt de robotarm onderdeel van een digitaal platform waarin je ook bijvoorbeeld een MRI-beeld kunt integreren, waarin de robotarm kan leren van eerdere operaties en zelfs nieuwe chirurgen en studenten kan trainen.”
Verwezenlijken visie
Om zijn visie te verwezenlijken, werkt Vasilic samen met onderzoekers van de TU Delft. Voor het vergroten van de mogelijkheden van de digitale robotmicroscoop bij minimaal invasieve chirurgie doet Vasilic dat met hoogleraar Jenny Dankelman (Faculty of Mechanical Engineering). Voor het intelligent maken van de robotarm werkt hij samen met hoogleraar Catholijn Jonker (Faculty of Electrical Engineering, Mathematics and Computer Science). Jonker en Vasilic hebben samen een onderzoeksproject opgezet binnen het NWO Zwaartekrachtprogramma Hybride Intelligentie, een ambitieus nationaal onderzoeksprogramma dat van 2020 tot 2030 loopt. Dat programma heeft als doel om menselijke en machinale intelligentie (AI) te combineren en zo het menselijk intellect uit te breiden in plaats van te vervangen.
“Een robotmicroscoop die meedenkt met de chirurg past daar perfect in”, vertelt Jonker. “Voor wetenschappers is het een unieke uitdaging. Enerzijds gaat het om een toepassing in het echt, maar anderzijds gebeurt elke operatie wel in een strikt gecontroleerde omgeving. De procedure van de operatie wordt ook nog eens een dag van tevoren precies doorgenomen. Dat geeft extra mogelijkheden om de robot en het operatieteam te trainen. Behalve de chirurg die opereert, is er ook een operatieassistent die instrumenten aangeeft, een anesthesioloog en een ondersteunende technicus. Dit team van mensen met verschillende vaardigheden moet samen met de robotarm één taak oplossen. En die teamleden kunnen ook nog eens van elkaar leren.”
Toevoegen intelligentie
De huidige robotarm die Vasilic gebruikt is nauwelijks intelligent. Hij kan op stemcommando verplaatst worden naar enkele voorgeprogrammeerde posities, maar uit veiligheidsoverwegingen beweegt de arm traag en in de lawaaiige omgeving van een operatiekamer begrijpt de arm lang niet altijd wat de chirurg zegt. De robot heeft ook geen idee waarmee hij bezig is.
In de toekomstvisie van Vasilic begrijpt de robotarm precies hoe een operatie wordt uitgevoerd. “Stel dat de operatie in zes stappen is verdeeld,” legt Vasilic uit, “dan zou ik graag willen dat de robot begrijpt wanneer het einde van een bepaalde stap in zicht is en dat hij mij als chirurg dan al helpt om me voor te bereiden op de volgende stap. Hij zou bijvoorbeeld kunnen vragen: ‘Zal ik het beeld verplaatsen naar dit beeld, zodat je de volgende stap beter kunt uitvoeren?’ Daarbij laat hij meteen het beoogde beeld zien. Of dat hij begrijpt dat een stap niet helemaal volgens plan is verlopen en zelf een alternatief voorstelt op basis van de data van eerdere operaties.”
Wetenschappelijke uitdagingen
Voor het intelligent maken van de robotmicroscoop werken Vasilic en Jonker met drie complementaire onderzoeksgroepen aan de belangrijkste wetenschappelijke uitdagingen.
1. De eerste groep richt zich op het verzamelen en leren van data die tijdens een operatie verzameld worden en eventuele aanvullende data, bijvoorbeeld van medische scans. Hoe kan de robotarm uit de data leren om te zien welk instrument voor welke handeling nodig is? Kan de robotarm leren om aan één woord genoeg te hebben in plaats van een volzin nodig te hebben. Dat soort uitdagingen.
2. De tweede groep onderzoekt het communicatie-interface. Hoe kan de robot bijvoorbeeld ook de non-verbale communicatie van de chirurg of de operatieassistent leren begrijpen? Wat moeten robot en mens van elkaar weten om effectief over de operatie te kunnen communiceren? Ze moeten een gezamenlijk mentaal model hebben van de operatie.
3. De derde onderzoekgroep, tenslotte, richt zich op de dynamiek van de samenwerking in het hele operatieteam. Dat gebeurt onder andere met zogeheten Wizard of Oz-simulaties. Daarbij bedient een mens de robotarm om na te bootsen dat de robot zelf al intelligent is. Zo bestuderen onderzoekers de toekomstige situatie waarin een slimme robotarm een meedenkend lid is van het operatieteam.
De slimme robotarm die ik voor ogen heb, kan chirurgen langer op hun topniveau laten opereren.
Voordelen voor de patiënt
Voor de patiënt zou zo’n slimme robotarm talloze voordelen bieden. Vasilic: “Doordat ik een beter zicht heb op de operatie, kan de snee die ik in de huid moet maken kleiner zijn. Dat is minder belastend voor de patiënt. Daarnaast vergroot een slimme robotarm de kans dat de operatie slaagt en dat deze sneller wordt uitgevoerd. Opereren is nog steeds mensenwerk, er zitten risico’s aan, en elke chirurg heeft zijn eigen fysieke en cognitieve beperkingen. Zelf opereer ik nu zo’n vijftien jaar. Ik weet dat ik realistisch gezien nu op mijn top zit, dat ik een tijd lang op een plateau zit en dat daarna de fysieke en cognitieve vaardigheden langzaam afnemen. Dat is het leven. De slimme robotarm die ik voor ogen heb, kan chirurgen langer op hun topniveau laten opereren.”
Inmiddels is de samenwerking verder uitgebreid met de groep van dr. Raman van de TUD-afdeling Intelligent Systems (Faculty of Electrical Engineering, Mathematics and Computer Science) en hebben de Delfts onderzoekers een tweelingversie gebouwd van de operatiekamer die microchirurgen van het Erasmus MC gebruiken. De tweelingversie wordt ondersteund door het Convergence-initiatief van TU Delft, Erasmus MC en Erasmus Universiteit Rotterdam. Centraal in de kamer staat een robotarm met een camera eraan. Een eindje boven de robotarm hangt een tiental camera’s dat vanuit talloze hoeken de nagebootste operatieplek in beeld brengt. Uit die beelden, en uit eventuele suggesties van de operatieassistent, moet de robotarm de ideale hoek halen om een zo goed mogelijk beeld aan de chirurg aan te bieden.
Robot en mens moeten allebei van elkaar willen leren. Als de robot iets niet weet, moet hij vragen kunnen stellen.
Robot en operatieteam vullen elkaar aan
In de komende jaren gaan de onderzoekers de robotarm stukje bij beetje intelligenter maken. Dat intelligenter maken is gebaseerd op een gedetailleerde analyse van alle handelingen die de chirurg, de operatieassistent en de robot uitvoeren: bijvoorbeeld het lokaliseren van een bloedvat, het oppakken van een naald, het insteken van de naald en het aanbrengen van een hechting. Jonker: “Bij elke handeling hebben we inmiddels geanalyseerd welke vaardigheid ervoor nodig is, wie in het team die vaardigheid moet hebben, wat de huidige vaardigheid van de robotarm is en wat de robot met hulp van AI in de toekomst moet leren.”
De robotmicroscoop en de mensen in het operatieteam moeten elkaar in de toekomst perfect aanvullen. Jonker: “Robot en mens moeten allebei van elkaar willen leren. Als de robot iets niet weet, moet hij vragen kunnen stellen. Hij moet weten dat hij soms toestemming moet vragen en dat als hij iets niet zelf kan uitvoeren, hij de handeling uit handen moet geven aan een mens.”
Wereldwijd platform
De nieuwe vaardigheden van de robotarm zullen in de tweelingversie van de operatiekamer worden getest. Als dat goed gaat, kunnen de microchirurgen van het Erasmus MC in hun medische testomgeving de intelligente robotarm uitproberen. De producent van de robotarm, het bedrijf Synaptive Medical, werkt ook mee en laat de onderzoekers experimenteren met de software van de robot.
Vasilic droomt al over wat er mogelijk is wanneer de robotmicroscoop eenmaal meedenkend is geworden. “Stel je voor dat we dan het digitale platform globaal maken zodat chirurgen van over de hele wereld toegang hebben, maar misschien ook gamers die het leuk vinden te spelen met een virtuele operatie. Dan zou iedereen van elkaar kunnen leren. Je zou een nieuw operatieprobleem kunnen voorleggen en dan blijkt dat een tienjarige gamer uit Bangladesh het probleem weet op te lossen. De slimme robotarm zou zelfs suggesties kunnen geven voor het maken van een nieuw instrument dat een specifieke operatieve handeling mogelijk maakt.”
Zakelijk samenwerken?
Wil je samenwerken of ben je op zoek naar kennis en visie op jouw beleidsthema’s?
Neem contact op
