Wetenschappers TU Delft ontdekken met kunstmatige intelligentie échte Van Gogh
Wat heeft Vincent van Gogh wérkelijk geschilderd en getekend? Schilderijen en tekeningen verkleuren, en wetenschappers van de TU Delft maken, met behulp van deep learning, digitale reconstructies om erachter te komen hoe een kunstwerk er écht heeft uitgezien. ‘Wat we nú zien, is niet wat het was,’ stelt wetenschapper Jan van der Lubbe.
Ondergesneeuwd veld met een eg
Eén van de schilderijen die TU-wetenschapper Jan van der Lubbe steevast noemt, als het over dit onderwerp gaat, is Ondergesneeuwd veld met een eg (naar Millet) dat in het Van Gogh Museum terug te vinden is. ‘Dat werk is verkleurd. Aan de door de lijst beschermde randen kun je zien dat het dominante groen ooit paarser was,’ vertelt Van der Lubbe. ‘Zulke veranderingen probeert het museum, in samenwerking met verschillende partners, digitaal te reconstrueren. Dat doen ze ook bij tekeningen. En wij helpen daarbij.’
Breed samenwerkingsverband
Hoe kunnen we achterhalen welke kleurveranderingen er hebben plaatsgevonden in het werk van Van Gogh? Dat is dus de vraag die verschillende wetenschappers, sinds jaar en dag, bezighoudt. Binnen het door NWO gesubsidieerde onderzoeksproject REassessing Vincent van Gogh (ReViGo) werken zij – conservatoren, restauratoren, kunsthistorici en natuurwetenschappers, afkomstig uit zowel het Van Gogh Museum als de Rijksdienst voor Cultureel Erfgoed – gezamenlijk aan het in kaart brengen van deze veranderingen. Voor het onderzoek wordt gebruik gemaakt van zowel traditionele als moderne analysemethodes, geavanceerde beeldanalyse én methodes voor machinaal leren afkomstig uit de informatietechnologie en kunstmatige intelligentie. Met name bij die laatste methoden komen wetenschappers van de faculteit Elektrotechniek, Wiskunde en Informatica (EWI) van pas.
CNN
In een artikel dat – eerder deze maand – gepubliceerd werd in Springer’s Machine Vision and Applications, presenteren EWI’ers Jan van der Lubbe, Marco Loog en Yuan Zeng een methode waarmee je middels deep learning kunt achterhalen hoe een tekening er, ten tijde van vervaardiging, uit heeft gezien. ‘Deep learning is een lerende methode die gebaseerd is op kunstmatige neurale netwerken,’ legt Jan van der Lubbe uit. ‘In het geval van de Van Gogh-tekeningen maken wij gebruik van Convolutional Neural Networks (CNN)-technologie. Dit is een technologie die in het bijzonder gebruikt wordt voor beeldanalyse en met name wordt toegepast op problemen waarin een expliciet fysisch model van het onderliggende proces niet voorhanden is. Je maakt een scan van een Van Gogh, noteert de RGB-waarden van de pixels die je ziet en laat daar verschillende berekeningen op los. Die berekeningen leiden uiteindelijk tot een nieuw beeld dat als doel heeft “een jongere versie” van een getekende Van Gogh te benaderen. Voor zover wij weten, is CNN nog nooit eerder gebruikt voor het digitaal reconstrueren van kunstwerken.’
Ontdekkingstocht
In het onderzoek wordt er onder meer stilgestaan bij het reconstrueren van een Van Gogh-tekening. Van der Lubbe: ‘Je kunt met een expliciet model aan de slag gaan, maar dan werk je als met een wiskundige formule: je stopt er wat in, en er komt iets uit. Maar neurale netwerken zijn impliciet. Je doet observaties om een lerende methode vervolgens uit te laten vogelen hoe de verschillende parameters zich tot elkaar verhouden. Met al die gegevens is een methode als CNN in staat om te voorspellen hoe een oude tekening er jaren eerder heeft uitgezien. Een manier om vanuit het heden, met kennis uit het verleden, terug te gaan naar het oorspronkelijke verschijningsjaar van de tekening. Wat wij doen, is dus eigenlijk een ontdekkingstocht.
Wij willen begrijpen in hoeverre een dergelijke reconstructie, met behulp van een lerende methode, te verwezenlijken is.’
Puzzelstukjes
Delftse informatici maken dus, als onderdeel van het veel bredere ReViGo-project, gebruik van kunsthistorische informatie om computermodellen te voeden. In 2015 maakte NWO Wetenschap een uitzending van 10 minuten over het gezamenlijke onderzoeksproject. Daarin vertelt Jan van der Lubbe (vanaf 06.05) hoe hij, met behulp van de verschillende wetenschappelijke puzzelstukjes, een digitale reconstructie probeert te maken. Ook is informaticus Van der Lubbe te zien in deze aflevering van de Kennis van Nu.
Meer informatie
Adviseur communicatie: Dave Boomkens, D.J.Boomkens@tudelft.nl, +31 6 34 08 14 61.