Menselijke multimedia: samenzijn op afstand mogelijk maken

Context en intentie

Het vastleggen en doorsturen van hoog-realistische representaties, in 3D en in real-time, is natuurlijk allesbehalve eenvoudig. “Behendig omgaan met beperkte middelen is een kernpunt binnen de computerwetenschappen,” zegt Cesar. “We willen de best-mogelijke ervaring bieden, onder alle mogelijke technologische omstandigheden.” Dus, niet wachten op snellere processoren en 6G mobiele communicatie, maar een optimalisatie op basis van mensgerichte principes en methodologieën.

“Ik communiceer veel met mijn handen,” zegt Cesar. “Daarom is het in de meeste situaties afdoende om alleen mijn gezicht en mijn handen levensecht weer te geven. De kreukels in mijn overhemd doen er niet toe, net als de stand van mijn voeten. Behalve, natuurlijk, als ik aan het dansen ben op een bruiloft.” Waar het menselijk brein gespecialiseerd is in het negeren van niet-relevante informatie, al naar gelang de specifieke context, is de computer daar aanmerkelijk minder goed in. Een van de belangrijkste uitdagingen in zijn onderzoek is dan ook om algoritmes te ontwerpen die context-bewust zijn – algoritmes die kunnen beslissen welke informatie echt van belang is en dus moet worden verstuurd, en welke informatie er minder toe doet en dus kan worden genegeerd. “Om te optimaliseren wat we versturen, moeten we begrijpen wat er gebeurt, waar je naar kijkt, waar je je naar toe beweegt, en zelfs de emotionele staat van degenen die communiceren.”

Domein-experts

Cesar heeft het tot zijn persoonlijke missie gemaakt om mens-computer interactie in het hart van de computerwetenschappen te plaatsen. “We doen veel experimenten met gebruikers, waarbij we bijvoorbeeld onderzoeken hoe we interpersoonlijke ruimtes in virtual reality kunnen representeren,” zegt hij. “Daarbij werken we samen met domein-experts, zoals sociologen en psychologen, maar ook mensen uit de wereld van de opera en het theater.”

Daarnaast onderhoudt hij veel samenwerkingen binnen Nederland en Europa over de technische aspecten van volumetrische video. “Onze eigen focus ligt bij de netwerkaspecten, de communicatie zelf, het begrijpen van mensen en het optimaliseren van alle signalen die daarbij van belang zijn,” zegt hij. “We werken samen met experts in multi-sensorische ervaringen en, voor nauwkeurige en efficiënte 3D-rendering, met experts in computer graphics.”

Persoonlijker dan een director’s cut

Om je een beetje een beeld te kunnen vormen van waar zijn onderzoek toe gaat leiden, helpt het om wat voorbeelden te geven van wat hij in enkele van zijn vele projecten al heeft bereikt. Zo simuleerde hij hoe een toevallige voorbijganger een volumetrisch video-consult heeft met een arts over een gewonde fietser. De technologie bestond uit een mobieltje met een camera met diepte-perceptie en het publieke mobiele 5G netwerk. “De videokwaliteit was niet erg hoog,” zegt hij. “Het diende als een proof-of-concept.”

Hij verstuurde ook meerdere feeds van een voetbalwedstrijd naar een kroeg vol supporters. “Het idee achter het versturen van meerdere feeds, in plaats van alleen de selectie van de televisieregisseur, is dat het vergaande personalisatie van de uitzending mogelijk maakt aan de kant van de ontvanger, gebaseerd op persoonlijke voorkeuren.”