Met drones gemakkelijker 3D-animaties maken

Het maken van realistische animatiefilmpersonages is een zeer complexe technische zaak. Onderzoekers van de ETH Zürich en de TU Delft hebben nu laten zien hoe dit proces met behulp van drones aanzienlijk minder bewerkelijk kan worden.

Drones gaan voor een omslag in de filmindustrie zorgen. Onderzoekers van de ETH Zürich en de TU Delft (in het bijzonder dr. Javier Alonso-Mora van de afdeling Cognitive Robotics) lieten ongeveer een jaar geleden zien dat spectaculaire, zeer technische filmscènes op een veel eenvoudiger manier konden worden gemaakt door deze minivliegtuigen in te zetten. In een vervolgproject, dat in december werd gepresenteerd op de SIGGRAPH-conferentie in Tokio, bewezen ze dat drones ook een groot potentieel hebben voor animatiefilms.

Drones als vervanging van tientallen camera’s
“Het is zeer tijdrovend om personages er realistisch uit te laten zien in een animatiefilm”, legt Tobias Nägeli van de ETH Zürich uit. “Wanneer je wilt dat een personage er natuurlijk uitziet, moet je eerst een acteur filmen die de bewegingen uitvoert. Vervolgens bouw je het animatiepersonage daaromheen.”

Om de bewegingen van de acteur in een 3D-animatie te kunnen reconstrueren, moeten ze met ten minste twee camera’s tegelijkertijd zijn opgenomen. Vooral scènes met beweging in een grote ruimte zorgen voor enorm veel technische inspanningen; twee zorgvuldig geplaatste camera’s moeten steeds de hele scène kunnen overzien. Dat betekent ofwel dat er vele camera’s op verschillende plaatsen geïnstalleerd moeten zijn, waarvan er maar een paar tegelijk kunnen worden gebruikt, ofwel dat er andere lastige constructies moeten worden gebruikt.

Deze gecompliceerde techniek is binnenkort misschien achterhaald. Nägeli en zijn collega’s van de ETH Zürich en de TU Delft hebben een systeem ontwikkeld dat in zijn simpelste vorm bestaat uit een laptop en twee drones die gewoon in de winkel verkrijgbaar zijn.

De drones volgen de beweging van de acteur en passen hun positie automatisch zodanig aan dat de acteur altijd vanuit twee hoeken kan worden opgenomen. Dit vermindert de hoeveelheid camerawerk, omdat er alleen camera’s zijn waar ze daadwerkelijk nodig zijn. Het indrukwekkende is dat het systeem de bewegingen van de acteur in realtime anticipeert en dan berekent waar de drones moeten vliegen om de acteur in het kader te houden.

Om de hoeveelheid gegenereerde data te minimaliseren worden er bij wijze van markers infrarode diodes aan de gewrichten van de acteur bevestigd. De drones zijn uitgerust met een daglichtfilter en registreren alleen het licht van de markers, wat de gegevensverwerking aanzienlijk vereenvoudigt. Het systeem ziet alleen een paar punten, waaruit het vervolgens de lichaamspositie en bewegingsrichting bepaalt.

Analyse van sportbewegingen
“Wat ons systeem zo uniek maakt, is dat het ook plotselinge en snelle bewegingen op een betrouwbare manier kan registreren”, legt Nägeli uit. “Natuurlijk voldoet zo’n demosysteem nog niet aan de eisen van de filmindustrie. Maar het is zeker een veelbelovende aanpak.

”Het team heeft verschillende tests uitgevoerd om te laten zien hoe het systeem menselijke bewegingen over langere afstanden kan bijhouden. En dat maakt deze techniek ook interessant voor de analyse van sportbewegingen. Tot nu toe was het bijvoorbeeld onmogelijk om een volledige bewegingsanalyse uit te voeren voor hardlopers, omdat dat veel te complex is. Met het nieuwe systeem is het heel gemakkelijk om te onderzoeken hoe de bewegingspatronen van een hardloper in een bepaalde periode veranderen.

Meer informatie
T. Naegeli, S. Oberholzer, S. Pluess, J. Alonso-Mora en O. Hilliges, ‘Flycon: Real-time Environment-independent Multi-view Human Pose Estimation with Aerial Vehicles’, in ACM Transactions on Graphics (SIGGRAPH Asia), dec. 2018. [PDF] [video]

Contactinformatie:
Javier Alonso Mora (TU Delft) J.AlonsoMora@tudelft.nl
Tobias Nägeli (ETH Zürich) tobias.naegeli@gmail.com