Slimme software-assistent weet wat je collega’s zouden doen

Door Agaath Diemel

Verzekeren of niet? Opereren of niet? Fraude of niet? Een hoop organisaties moeten snel en veel beslissingen nemen die nogal wat impact hebben. Spin-off Councyl helpt ze bij het digitaliseren van hun expertise om die besluitvorming te ondersteunen. Medeoprichter Caspar Chorus baseert zich daarbij op zijn ruim twintig jaar onderzoek naar keuzemodellen.

Een actueler voorbeeld is nauwelijks denkbaar: een intensivist die midden in de nacht moet beslissen of een coronapatiënt op de intensive care wordt opgenomen. “Het liefst doet een arts dat in overleg met collega’s, maar door tijdsdruk of tijdsstip is dat lang niet altijd mogelijk. Ze maken dus vaak eenzame keuzes”, vertelt Caspar Chorus, hoogleraar keuzegedrag. Niet alleen in ziekenhuizen is de beslisdruk hoog. “De IND heeft vorig jaar 65 miljoen aan dwangsommen betaald omdat mensen te lang op de wachtlijst staan. Het moet bij veel organisaties sneller en efficiënter en daar hebben ze hulp bij nodig.”

Regelgebaseerde systemen versus ondoorgrondelijke AI

Systemen die beslissingen ondersteunen zijn niet nieuw. Tot voor kort waren er twee types. Het ene gaat uit van vaste beslisregels. “Om bij het voorbeeld van de IC te blijven, dan kijkt zo’n systeem naar bepaalde drempelwaarden voor leeftijd of body mass index (BMI) enz. In de praktijk zal een arts zijn beslissingen echter altijd afwegen op basis van vele factoren, dus of bijvoorbeeld die BMI net iets te hoog is, hoeft helemaal niet doorslaggevend te zijn.” Aan de andere kant van het spectrum heb je nieuwste generatie AI-systemen. “Die kunnen met behulp van machine learning allerlei verbanden ontdekken in grote datasets zoals miljoenen patiëntdossiers. Maar of een specifiek besluit dan gebaseerd is op de conditie van de patiënt of op een irrelevante combinatie van factoren, is totaal niet inzichtelijk.”

Councyl bewandelt de gulden middenweg tussen rigide regelgebaseerde systemen en ondoorgrondelijke AI. Councyl werkt niet met big data, maar met expertdata. “Ons uitgangspunt is dat mensen het lastig vinden om hun expertise onder woorden te brengen; ze zijn onbewust bekwaam, zoals dat heet. Die kennis maken we expliciet.” Dat gebeurt op basis van experimenten. “Wij genereren hypothetische keuzescenario’s en laten experts die beoordelen. In het geval van de intensive care gaat dat dan om hypothetische patiënten. Daarvan kun je er miljoenen bedenken, maar wij kunnen er de 20 à 30 uitpikken die ons vertellen wat we weten willen over de impliciete beslisregels die experts hanteren.”

Expert-kennis identificeren

Daarbij gebruikt Councyl technieken uit econometrisch marketingonderzoek. “Zulke keuze-experimenten met slimme scenario’s zijn ooit bedacht om de voorkeuren van grote groepen mensen in kaart te brengen, voor het ontwikkelen van nieuwe producten bijvoorbeeld. Wij voorspellen niet wat voor type iPhone iemand gaat kopen, maar hoeveel procent van de collega’s een bepaalde beslissing zou nemen en waarom. Die methodiek, waaraan ik zelf jarenlang heb meegewerkt, draaien we een kwartslag en gebruiken we om de kennis van kleine groepjes experts te identificeren. We gebruiken een oude hamer op een nieuwe manier. Wiskundig werkt dat nagenoeg hetzelfde, maar de interpretatie en het doel zijn helemaal nieuw”, licht Chorus toe.

Chorus verdiept zich al bijna twintig jaar in keuzemodellering. Hij kreeg grote bekendheid met het door hem ontwikkelde spijtmodel, als tegenhanger van het traditionele nutsmodel. Mensen baseren hun keuzes niet altijd op wat het meeste nut oplevert, maar nemen beslissingen in de hoop spijt achteraf te vermijden, was zijn stelling. Het spijtmodel is inmiddels opgenomen in de meest gebruikte econometrische softwarepakketten. Tegenwoordig kijkt hij ook naar de morele aspecten van keuzegedrag.

Digitale assistent en expert besluiten samen

Op basis van de verkregen expertdata maakt Councyl hun software-assistent passend voor elke organisatie, of het nu een ziekenhuis, een hypotheekverstrekker of een uitkeringsinstantie is. “We kunnen kennis van experts per vakgroep, bedrijf of op landelijk niveau vastleggen.” De mate van vrijblijvendheid van het advies kan verschillen. “Bij het voorbeeld van de binnenkomende patiënt op de ic vertelt het systeem hoeveel procent van de collega’s iets zou doen en ook waarom. Ook laten we de tegenargumenten zien. Een arts krijgt dus een vrijblijvend digitaal keuzeadvies, dat goed uit te leggen is. Maar er zijn allerlei situaties denkbaar. Heb je het over de bediening van een energiecentrale, dan zou het systeem bepaalde keuzes automatisch kunnen overnemen, bijvoorbeeld als minimaal 9 van de 10 experts het eens zouden zijn over het vervangen van een klep bijvoorbeeld. Daartussen zit een grijs gebied waar de digitale assistent en de expert samen de beslissing nemen.”

Onder de motorkap

Eenmaal in gebruik blijft de software-assistent leren. “Er komt interactie tussen de digitale assistent en de expert, die zijn eigen keuzes invoert. Op die manier komt er nieuwe kennis in het systeem. Dat gebeurt dan niet via de invoer van extra beslisregeltjes, maar via de hoofden van experts die zich blijven voeden met nieuwe kennis. Dat is echt een technologische vernieuwing in mijn vakgebied”, zegt Chorus. “We zagen het bijvoorbeeld bij coronapatiënten op de ic. Artsen weten steeds meer en letten nu op andere criteria dan een jaar geleden, of hechten er een ander belang aan. Een manager kan vervolgens ook onder de motorkap van het systeem kijken hoe die keuzes zich ontwikkelen. Dat bevordert een continue dialoog over wat er besloten wordt en waarom. Ik geloof dat we zo niet alleen de efficiëntie en de snelheid van beslissingen, maar ook de kwaliteit en rechtvaardigheid kunnen verhogen.”

Menselijke maat

Daar is behoefte aan. “Denk aan de toeslagenaffaire. Mensen vielen soms genadeloos tussen wal en schip als ze een paar euro te veel verdiend hadden, omdat daar een strikt regelgebaseerd systeem werd gebruikt. De menselijke maat was weg.” Ook het ondoorzichtige algoritme voor Systeem Risico Indicatie (SyRI), waarmee de overheid uitkeringsfraude opspoorde, werd in 2020 verboden door de rechter omdat het in strijd was met de fundamentele mensenrechten. “Als startup heeft Councyl voordelen van zulke schandalen, maar we merken ook een zekere terughoudendheid richting AI in het algemeen. Maar als we in gesprek gaan met overheden of bedrijven, zien ze al gauw dat wij juist die black box vermijden en de menselijke maat behouden.” Inmiddels heeft Councyl dan ook zo’n tien betalende organisaties naar tevredenheid geholpen en is de startup op zoek naar investeerders.

Uit irritatie kwam innovatie

Het was juist zijn irritatie over zulke schandalen die hem aanzette tot innovatie. “Je hoort de laatste jaren heel veel over hoe AI de macht gaat overnemen, maar er komt ook steeds meer ontevredenheid over black-box-systemen. Zozeer zelfs dat organisaties er zich vanaf keren. Voor je het weet wordt het kind dan met het badwater weggegooid. Zonde, want er zit veel krachtigs in AI dat dan geen kans krijgt”, vertelt Chorus. “Mijn methoden, die ik voor een heel ander doel gebruikte, zouden de nadelen van AI moeten kunnen ondervangen, realiseerde ik me. Daar kan ik dan wel over publiceren en mijn vakbroeders laten zien hoe het anders kan, maar het duurt soms zo lang om van wetenschap naar praktijk te komen. En er is geen tijd te verliezen, we moeten digitaliseren. We gaan het zelf doen, dacht ik toen.”

Delft Enterprises

Met dat idee stapte Chorus naar Delft Enterprises, waar hij veel hulp en advies kreeg van directeur Paul Althuis en investeringsmanager Mathijs Heutinck. Samen met programmamanager Hubert Linssen en ondernemer Nicolaas Heyning richtte hij Councyl op. Na een drukke opstartperiode is hij er nu een dag in de week werkzaam, vanuit de TU. “Delft Enterprises heeft geïnvesteerd en staat ons nog steeds met raad en daad terzijde. Mijn eigen aandelen zitten in een zogenaamde STAK, omdat ik als TU-medewerker geen twee petten op kan hebben”, vertelt hij.

“Sowieso is de relatie met TU Delft cruciaal. Het IP van het onderzoek waar Councyl op gebaseerd is behoort grotendeels toe aan TU Delft. De enorme reputatie van de universiteit doet het goed bij klanten. En we kunnen heel goede afstudeerders aantrekken, die graag voor een AI-spin-off willen werken. Die zijn nu bijvoorbeeld bezig om onze userinterface verder te ontwikkelen. Dat is ook een innovatie van ons, want bestaande methoden zitten niet in gebruiksvriendelijke softwarepakketten.”

Toekomst

Chorus ziet de toekomst voor Councyl zonnig in. “Recent nam ik deel aan een panel over het digitaliseren van taken van rechters. De angst is dat daar met AI ook vooroordelen insluipen. Dat kun je ook omdraaien. Door Councyl-achtig te werken kun je er juist achter komen wat je impliciete beweegredenen zijn. Als dan bijvoorbeeld etniciteit een rol speelt bij de strafmaat, kun je daarop gaan letten. Ik geloof erin dat ‘goede’ AI mensen zo bewuster bekwaam kan maken.” Dat geldt dus niet voor alle AI: “Het is een groot misverstand dat die black box wel wit wordt als we maar genoeg onderzoek blijven doen. Er zitten wel 100 miljoen relaties in een neuraal netwerk, net als in onze hersenen. Daarom is het zo goed in het voorspellen van het weer, of de beurs. Maar het is juist een fundamentele eigenschap van dat type AI, dat we niet in regels of modellen kunnen vatten, op basis waarvan zo’n voorspelling gedaan wordt. Die black box wordt alleen maar zwarter.”