EWI-wetenschappers Elmar Eisemann en Ruben Wiersma# trokken de afgelopen tijd veel bekijks met hun driedimensionale augmented reality-ervaring van een doek van de 17e-eeuwse schilder Pieter de Hooch. Dit is nog maar het begin van hoe wiskunde en computer graphics onze beleving van kunst gaan verruimen.
Er zijn veel overeenkomsten tussen het werk van de Hollandse Meesters uit de Gouden Eeuw en het onderzoek dat wij binnen onze vakgroep doen.
‘Ik vertel graag verhalen, met film en geschreven woord,’ zegt Ruben Wiersma, ‘maar met computer graphics kan dat ook heel goed.’ De essentie van een verhaal is niet zozeer hoe mooi of levensecht de omgeving is waarin het zich afspeelt, maar de boodschap die het overbrengt. Het is dan ook te makkelijk om hun 3D-visualisatie van het doek Een vrouw met een kind in een kelderkamer af te doen als een gimmick, als een hedendaagse draai aan een 17e-eeuws kunstwerk. ‘Pieter de Hooch besteedde veel aandacht aan het lineaire perspectief om zijn schilderijen diepte te geven. Dit deed hij in de tijd dat Johannes Vermeer daar ook veel mee bezig was,’ licht Wiersma toe. ‘We belichten specifiek dit aspect van zijn werk. We gebruiken computer visualisatie om het verhaal te vertellen van hoe De Hooch met perspectief om is gegaan.’
De overlap tussen kunst en wetenschap
Het idee van de visualisatie ontstond doordat Stichting Delft in-Ovatie een expositie organiseerde over het werk van Pieter de Hooch, die tussen 1652 en 1661 in Delft woonde. De stichting benaderde enkele wetenschappers voor een symposium dat parallel aan de tentoonstelling zou plaatsvinden. Zo kwamen ze bij Elmar Eisemann uit, hoogleraar in de Computer Graphics and Visualisation-groep van de TU Delft. Zijn liefde voor wiskunde heeft hij min of meer weten te combineren met zijn jeugddroom om Disney-illustrator te worden. ‘Er zijn veel overeenkomsten tussen het werk van de Hollandse Meesters uit de Gouden Eeuw en het onderzoek dat wij binnen onze vakgroep doen,’ legt Eisemann uit. ‘Ze waren meesters van het licht: lichtinval, schaduwen, indirecte verlichting van oppervlakken, transparantie, het natuurgetrouw weergeven van complexe materialen zoals stoffen kleding of metalen voorwerpen. Binnen onze vakgroep streven wij ook naar dit realisme, maar dan om dit zo efficiënt mogelijk te bereiken met behulp van computers. Soms moeten we hiervoor zelfs geheel nieuwe fysieke modellen ontwikkelen.’
Uit de losse pols
De Hooch staat erom bekend dat hij dezelfde scene vaak twee keer schilderde. ‘Ons eerste idee was dan ook om te proberen een 3D reconstructie van een kamer te maken aan de hand van twee schilderijen,’ legt Eisemann uit. ‘Dit was geen succes. Het bleek dat De Hooch zich soms strikt aan het perspectief hield, terwijl hij bij andere schilderijen meer uit de losse pols schilderde of tenminste andere regels gebruikte. Toen besloten we ons specifiek te richten op zijn gebruik van perspectief voor dieptewerking. Dit sloot mooi aan bij ons onderzoek van de laatste jaren op het gebied van computer graphics, waarbij we bijvoorbeeld aantoonden dat je diepte niet met grote nauwkeurigheid hoeft te behandelen om toch een realistische ervaring te creëren. We hadden ook al software ontwikkeld om met zeer minimale gebruikersinput een tweedimensionaal plaatje om te toveren in een interactief driedimensionaal tafereel. Zo kwamen we op het idee om een augmented reality-ervaring te ontwikkelen voor de tentoonstelling over De Hooch.’
Het perspectief vastpinnen
Het kenmerk van lineair perspectief is dat het gebruik maakt van een of meerdere verdwijnpunten op een al dan niet denkbeeldige horizon (zie figuur). Lijnen die in de echte wereld parallel lopen, zoals de voegen tussen tegels of de randen van een tafel, eindigen (denkbeeldig) in zo’n verdwijnpunt. ‘Voor het strikt toepassen van perspectief prikte De Hooch een pin in zo’n verdwijnpunt met daaraan een touwtje dat vervolgens dienstdeed als hulplijn,’ zegt Eisemann. ‘Bij sommige schilderijen kan je dit minuscule gaatje met behulp van een röntgenfoto onder de verschillende verflagen terugvinden.’ In eerste instantie probeerden de onderzoekers de verschillende verdwijnpunten handmatig terug te vinden, zoals kunsthistorici dit ook nog doen. Dit bleek echter veel te tijdrovend omdat het uiterste precisie vergde. Daarom schreven ze een algoritme dat automatisch lijnen en verdwijnpunten in een schilderij detecteert. ‘Het bleek dat De Hooch niet alleen meerdere verdwijnpunten gebruikte, maar soms ook meerdere horizonnen,’ zegt Eisemann. ‘Door bijvoorbeeld het centrale verdwijnpunt van de vloer onder de “echte” horizon te leggen, lijkt een kamer een stuk groter en lijkt er veel meer afstand te zitten tussen de personages in het schilderij en jou als waarnemer. We denken dat De Hooch dit valse perspectief wel eens opzettelijk kan hebben toegepast.’
Ik vind het interessant om wiskundige precisie in te zetten bij iets dat typisch wat losser is, wat ongrijpbaarder.
De verdwijnpunten en virtuele horizon van de vloer van het schilderij Een vrouw met een kind in een kelderkamer, zoals gereconstrueerd door de onderzoeksgroep van Elmar Eisemann.
Een andere kijk op kunst
De onderzoekers zagen ook dat de virtuele horizonnen van De Hooch vaak ondersteund werden door objecten in het schilderij, bijvoorbeeld door het zitvlak van een stoel, het blad van een tafeltje of de vensterbank van een raam. Het algoritme legde zelfs compositielijnen bloot die de schilder vermoedelijk gebruikte om het tafereel te ensceneren en om de blik van de kijker te geleiden. Denk bijvoorbeeld aan de pijp van een edelman die precies naar de ogen van een dienstmeisje aan de andere kant van het schilderij wijst. Of een torenspits die precies in het verlengde van een onderbeen ligt. Vaak legde De Hooch ook nog lichte en donkere accenten op zo’n denkbeeldige lijn. ‘Dit is allemaal informatie die we met een simpel lijn-detectie algoritme uit het schilderij wisten te halen, en het vertelt al een heel verhaal over hoe de schilder te werk is gegaan,’ legt Eisemann uit. Ook de augmented reality-ervaring is nog maar een zeer eenvoudige toepassing van het eigenlijke wetenschappelijke werk in de Computer Graphics and Visualisation-groep. De reacties van bezoekers van de tentoonstelling en het symposium waren er niet minder om. ‘Sommigen zeiden dat ze zich nu bij elk schilderij afvroegen waar de denkbeeldige horizonnen en verdwijnpunten lagen,’ licht Eisemann toe. ‘En een fotograaf die de werken van De Hooch maar niks vond, omdat hij intuïtief doorhad dat het perspectief niet klopte, vroeg zich nu af hoe hij vals perspectief in zijn eigen werk kon gebruiken. Stel je voor dat we de volle kracht van kunstmatige intelligentie en computer visualisatie inzetten om de kennis en beleving van kunstliefhebbers te verrijken.’ Dat is precies wat Wiersma en Eisemann gaan doen.
Hoe de De Hooch-visualisatie tot stand kwam
Allereerst is aan elke pixel van het schilderij een waarde voor de diepte toegekend. De onderzoekers gebruikten hiervoor een bestaande machine learning tool en de door henzelf ontwikkelde software voor handmatige diepte-annotatie. Vervolgens hebben ze deze dieptemap omgezet naar een driedimensionaal model met het correcte, door De Hooch gebruikte, perspectief. Dit model hebben ze vereenvoudigd zodat het vloeiend kan worden weergegeven met de augmented reality-toolkit van het besturingssysteem van een mobieltje. Met behulp van de camera van een mobieltje plakt deze toolkit het driedimensionale model op het schilderij, waardoor de kijker er via het scherm als het ware omheen kan lopen.
In combinatie met röntgentechnieken
Meteen na zijn cum laude afstuderen, oktober vorig jaar, is Wiersma met zijn promotieonderzoek begonnen, wederom in de groep van Eisemann. Dit is voor een deel gefinancierd door het Universiteitsfonds en richt zich specifiek op het gebruik van computer graphics voor het analyseren van schilderijen. ‘Ik bezoek regelmatig musea en dit onderzoek sluit mooi aan bij mijn interesse in kunst,’ zegt Wiersma. ‘We willen moderne data-analyse technieken, zoals machine learning, gebruiken om inzicht te krijgen in schilderijen. Denk aan een nog diepgaandere analyse van perspectief, maar ook van de verschillende onderliggende verflagen waaruit een schilderij is opgebouwd en van het kleurenpalet dat gebruikt is.’ Hiervoor werken ze samen met professor Joris Dik, hoogleraar Materials in Art and Archaeology aan de ME-faculteit, die sinds jaar en dag röntgentechnieken gebruikt om schilderijen non-destructief, als het ware laagje voor laagje, te ontleden. Dit levert bergen aan data op, die Wiersma met wiskundige analysetechnieken behapbaar wil maken. Daarnaast zal hij geavanceerde computervisualisatietechnieken gebruiken om zijn wetenschappelijke bevindingen aan zowel deskundigen als leken te kunnen presenteren. ‘Het einddoel van mijn promotieonderzoek is algoritmes die voor elke schilder en elk schilderij gebruikt kunnen worden, en in elk museum, zoals het Mauritshuis en het Rijksmuseum.’
Stel je voor dat we de volle kracht van kunstmatige intelligentie en computer visualisatie inzetten om de beleving van kunstliefhebbers te verrijken.
Kunst, niet kunstmatig
Blijft de vraag staan of Eisemann en Wiersma met hun onderzoek mogelijk wat van de magie van kunst wegnemen. ‘Wij voegen juist magie toe,’ zegt Wiersma. ‘De presentatie van kunst is vandaag de dag heel feitelijk en wetenschappelijk. Je ziet een röntgenfoto of een monster van de verf die gebruikt is. Wij kunnen dit, en nog veel meer, op een spannende manier presenteren, waardoor de betrokkenheid van de bezoeker bij het kunstwerk toeneemt.’ Eisemann voegt hieraan toe dat ze dit onderzoek niet puur vanwege de technische uitdaging doen. ‘Ik vind het interessant om wiskundige precisie in te zetten bij iets dat typisch wat losser is, wat ongrijpbaarder. En we willen dat onze bijdrage relevant en interessant is. Met onze De Hooch visualisatie prikkelden we de bezoeker bijvoorbeeld tot een diepere ervaring van zijn omgang met perspectief.’ Beide onderzoekers zien het als hun taak om over nut en toegevoegde waarde in gesprek te blijven met de kunstgemeenschap. Mocht je toch nog twijfels hebben over hun gebruik van computers voor de analyse van schilderijen, dan stelt de persoonlijke opvatting van Wiersma je misschien gerust: ‘Ik denk dat kunst een vorm van communicatie tussen mensen is. Het heeft betekenis omdat de ander emoties heeft, herinneringen, ervaringen waarvoor we empathie voelen. Dat is waarom kunst per definitie iets menselijks is. Een computer kan daar niks aan afdoen.’
Een driedimensionale ervaring van het schilderij Een vrouw met een kind in een kelderkamer van Pieter de Hooch. Bij augmented reality voegt een computer objecten en informatie toe aan een live beeld van de werkelijkheid. In dit geval vervangt de computer in de iPhone de afbeelding van het schilderij door een driedimensionale weergave ervan. Deze weergave past zich aan zodra de positie of de kijkrichting van de telefoon ten opzichte van de afbeelding verandert.
# Het onderzoek naar het gebruik van perspectief door Pieter de Hooch was een samenwerking tussen Elmar Eisemann (professor), Ricardo Marroquim (hoofddocent), Ruben Wiersma (promovendus) en Yoann Coudert-Osmont (bezoekend student), allen van de Computer Graphics and Visualisation-groep van de TU Delft.
Tekst: Merel Engelsman | Portretfoto: Mark Prins
Elmar Eisemann
