Via een hologram praten met familie aan de andere kant van de wereld of zelf de camerabeelden kiezen van een voetbalwedstrijd van jouw favoriete club. Computerwetenschapper Pablo Cesar van de TU Delft onderzoekt hoe we het beste informatie kunnen verzenden en ontvangen om dit soort toepassingen mogelijk te maken. Hij ontving onlangs de Nederlandse prijs voor ICT-onderzoek 2020.
Op het eerste gezicht lijkt de ruimte waar Pablo Cesar werkt op een doodnormaal kantoorcomplex met vloerbedekking, systeemplafonds en een prikbord met posters over wetenschappelijke bijeenkomsten. Achter de deuren verwacht je bureaus met computers, waar wiskundigen berekeningen doen. Maar zodra Cesar de deur opent, stap je een gezellige oudhollandse woonkamer binnen, waar je oma zich thuis zou voelen. Een foto van de koning hangt naast een koekoeksklok, en een Perzisch tapijt ligt op de grond.
Nee, hier drinken de wetenschappers geen koffie met een neutje en kijken ze ook niet samen ontspannen naar de tv. ‘Dit is een van onze onderzoekskamers,’ zegt Cesar. Hij wijst op de antieke lamp. ‘Daar zit een microfoon in, zodat we gesprekken op kunnen nemen. Aan de muur hangen camera’s. En hiernaast is een kamer met computers waarmee we bepalen wat mensen zien en nagaan hoe ze tv kijken.’
Prestigieuze prijs
Het lab vermomd als kamer van je grootouders geeft aan hoe Cesar en collega’s te werk gaan. Ze doen onderzoeken graag in een zo realistisch mogelijke setting. Op die manier bekijken ze een breed scala aan onderwerpen. Zo onderzoekt Cesar de manier waarop we tv kijken, wil hij telemeetings verbeteren en ziekenhuizen en zieke mensen met elkaar laten communiceren.
De computerwetenschapper werkt als associate professor bij de Multimedia Computing-groep van de TU Delft en het Centrum voor Wiskunde & Informatica (CWI) in Amsterdam. Voor zijn bijdrage aan de wetenschap ontving hij onlangs de prestigieuze Nederlandse prijs voor ICT-onderzoek 2020. Het juryrapport benadrukt dat Cesar zich richt op fundamentele problemen in de interactie tussen mensen en technologie en hoe deze gemodelleerd kunnen worden. Bovendien prijzen ze dat Cesar zijn experimenten niet in een laboratoriumsetting doet, maar in een realistische context. ‘We doen onze onderzoeken het liefst in het wild,’ zegt Cesar. ‘We ontwikkelen technologie voor mensen. Dus moeten we wat we bedenken ook bij hen testen en onze ideeën door ze laten aanscherpen.’
We doen onze onderzoeken het liefst in het wild.
Een goed voorbeeld van zijn aanpak is de finale van de FA cup in Engeland. Cesar werd door de BBC en British Telecom gevraagd of hij een tweede scherm kon ontwerpen voor mensen die naar de finale keken. Hij bedacht een menu waarop je zelf van alles regelt. Bijvoorbeeld het camerastandpunt, een extra herhaling of de kleuren om het scherm heen. ‘Normaal bepaalt de regisseur van de uitzending wat je thuis ziet. In dit geval kreeg de kijker meer vrijheid. De regisseur is nog steeds in controle, door diens ervaring is hij of zij daar de aangewezen persoon voor. Maar diegene geeft de kijker meer opties.’
Zo was het mogelijk om in een pub vol Chelsea-supporters op meerdere schermen verschillende dingen te laten zien. Op de ene tv zag je de beelden van de wedstrijd en op een ander alleen maar een close-up van de coach. Het geluid was afkomstig uit het vak met Chelsea-supporters, zodat hun liederen in de pub te horen waren. Dit zorgde voor een benadering die veel meer toegesneden was op de specifieke doelgroep in de kroeg.
Normaal bepaalt de regisseur van de uitzending wat je thuis ziet. In dit geval kreeg de kijker meer vrijheid.
Zo’n aanpak geeft je als kijker meer opties, maar wat schiet de wetenschap hiermee op? ‘Wij waren vooral benieuwd naar hoe je al die informatie supersnel verzendt en weergeeft op de schermen. De beelden van de wedstrijd moeten normaal al razendsnel worden doorgegeven aan de tv in de pub of woonkamer. Bij deze finale hadden we nog veel meer informatie die we moesten versturen, zoals meerdere camerapunten en verschillend geluid.’
Daardoor moest er dus heel veel info tegelijkertijd worden verzonden, want je wilt uiteraard niet dat er een vertraging zit in de wedstrijd die je kijkt. Cesar ontwikkelt manieren om de info zo slim mogelijk te versturen. Hij gebruikt daarvoor onder meer algoritmes, rekenprogramma’s. Die selecteren op een slimme manier welke informatie relevant is. Alleen deze data wordt in kleinere pakketjes gestopt, het zogeheten comprimeren dat ongeveer net zo werkt als een zip-file maken op je computer. Daarbij druk je bestanden als het ware samen, waardoor ze minder ruimte innemen en je ze sneller en eenvoudiger kunt verzenden. Vervolgens worden die bestanden weer uitgepakt bij de eindgebruiker en daar omgezet en opgebouwd in beeld of geluid. Ook daarbij spelen algoritmes een belangrijke rol. Cesar werkt er aan hoe je dit allemaal op een zo goed en snel mogelijke manier kan doen. Daarbij heeft hij altijd de kwaliteit van de ervaring, de zogeheten quality of experience, van de kijker in het oog. Welke compressie zorgt voor de beste beeldkwaliteit, hoeveel vertraging van de beelden is toegestaan zonder dat de verbinding slecht wordt en welke breedband is nodig?
Communiceren met familie
Cesar houdt zich niet alleen bezig met televisiekijken en tweede schermen. Hij onderzoekt ook de communicatie tussen mensen. Hij loopt een kamer binnen waar allemaal dozen in staan. Ze zijn aan een kant roze geverfd. Eromheen staan camera’s. Een onderzoeker loopt er met zijn armen gespreid omheen. Cesar wijst op een computerscherm, waar een weergave van de lopende man ontstaat.
Stel dat je iets belangrijks wilt bespreken met een familielid aan de andere kant van de wereld? Dan kan je nu al bellen of Skypen. Maar met de technologie waar Cesar aan werkt zou je een hologram kunnen maken van iemand, waardoor het lijkt alsof diegene echt voor je staat. Dat onderzoekt hij in deze kamer.
‘We maken dan een 3D-beeld van iemand. Dat levert een groot bestand op, dat we inpakken en weer uitpakken bij diegene die het ontvangt. Vergelijkbaar dus met wat we bij de FA Cup deden. Maar hoe pak je dit handig aan? Wanneer ik met een familielid in Spanje, waar ik vandaan kom, wil praten dan hoeft diegene niet mijn rug te zien. Dus hoef ik ook niet alle beelden daarvan te versturen. We hebben te maken met heel grote bestanden en dus kijken wij ernaar hoe je die bestanden kleiner kunt maken, door nutteloze ruis weg te laten.’
Welke kwaliteit het beeld moet hebben, speelt ook een rol. Het scheelt al veel wanneer je bijvoorbeeld alleen het gezicht van iemand in hoge definitie weergeeft en de rest van het lichaam wat minder scherp. Hoe mensen daarop reageren, onderzoekt Cesar ook met collega’s. ‘Wij zijn er voortdurend mee bezig welke bestanden belangrijk zijn om te versturen en te ontvangen en welke niet.’
Deze technologie in ontwikkeling is niet alleen handig om met familie te bellen. Het kan ook gebruikt worden voor telemeetings met bedrijven. Of in ziekenhuizen. ‘Wanneer je bijvoorbeeld aan je knie geopereerd moet worden, dan kan je de noodzakelijke afspraken voor onderzoek in het ziekenhuis doen. Afspraken tussendoor kan je dan via een tele-verbinding opzetten. Waarbij de knie in heel hoge definitie wordt weergegeven aan de arts. Op die manier help je in de toekomst ook de gezondheidszorg vooruit.’
Disco van de toekomst
En niet alleen de gezondheidszorg, maar zelfs een disco heeft baat bij zijn onderzoek. Cesar werd een paar jaar geleden gevraagd om mee te werken aan een project op het Amsterdam Dance Event (ADE). Een van de sponsors vroeg hem om de club van de toekomst mogelijk te maken. Cesar bedacht daarvoor samen met kledingontwerper Borre Akkersdijk armbanden tjokvol sensoren, die van de bezoekers de temperatuur, locatie en beweging checkten. Die info werd draadloos verzonden naar minicomputers aan de muur. Er kwamen 450 mensen. ‘Voor een wetenschappelijk onderzoek is dat een geweldig aantal,’ geeft Cesar aan. ‘We gebruikten machines met kunstmatige intelligentie, die moesten begrijpen waar mensen waren en of ze aan het dansen waren. We wilden die informatie vervolgens weer delen met de bezoekers. Daarom hadden we een tweede ruimte gemaakt, die het tegenovergestelde was van de dansvloer.’
Tijdens het Amsterdam Dance Event (ADE) onderzocht Pablo Cesar, samen met textielinnovator BYBORRE, de toekomst van clubcultuur. Cesar ontwikkelde een polsband, uitgerust met een sensor. De sensor maakt het mogelijk te analyseren waar mensen staan, dansen, lopen en zelfs de manier waarop mensen bewegen.
We gebruikten machines met kunstmatige intelligentie, die moesten begrijpen waar mensen waren en of ze aan het dansen waren.
Als de voetjes flink van de vloer gingen, was het in de tweede ruimte heel relaxt. Gedroeg iedereen zich als een muurbloempje op de dansvloer, dan was de tweede ruimte juist hectisch. ‘We leerden hierdoor om veel informatie snel te verwerken en ook hoe we dit direct weer aan de bezoekers konden laten zien. Zo maakten we niet alleen een mooie disco, maar leerden we er als wetenschappers ook wat van.’ Bij het wetenschappelijk onderzoek naar het zogeheten affective computing is er juist aandacht voor onder meer het herkennen van emoties door software en het nagaan van de toewijding van het publiek.
De onderzoekers maken bij dit soort projecten veel zelf. Niet alleen de software, zoals algoritmes die het rekenwerk doen, maar ook de sensoren die in de armband verwerkt zaten. Cesar laat een kamer zien vol met gereedschappen, waar ook een werkbank staat en alle hardware wordt gemaakt of aangepast.
Dat is geen toeval. Cesar en collega’s zijn benieuwd naar de hele keten waarover informatie wordt verzonden en ontvangen. Hij gelooft in die aanpak. ‘We leven nu in een tijd waarin veel wetenschappers zich op een heel klein ding of onderwerp richten. Wij kijken juist breder en richten ons er bovendien altijd specifiek op hoe informatie bij mensen terechtkomt. Daar is nog niet altijd evenveel aandacht voor in de wetenschappelijke wereld, maar gelukkig wel door ons werk aan de TU Delft en het CWI. Het winnen van de ICT-prijs in 2020 helpt daarom zeker. Ik hoop dat de aandacht die we hierdoor krijgen vooral gaat naar het ontwikkelen van informatica gericht op de eindgebruikers en dat we door kunnen gaan om dat nog beter te onderzoeken.’
Tekst: Robert Visscher | Portretfoto: Mark Prins
