Caiseal Beardow, masterstudent aan de faculteit Industrieel Ontwerpen van TU Delft, bouwde een audiovisuele installatie waarin ze onderzocht hoe het brein en de geest reageren op subtiele veranderingen in het landschap van licht en geluid dat proefpersonen in haar installatie ervaren.
Een mysterieus, buitenaards aandoend landschap van licht en geluid vult de kleine kamer. Het licht flonkert alsof het weerkaatst op kabbelende golven. Kleuren dwarrelen in elkaar over. Er klinkt Brian Eno-achtige ambient music, zonder herkenbare melodie of ritme, een continuüm aan atmosferen. Je voelt de geluidsgolven vibreren in je lichaam en waant je ondergedompeld in een zee van licht.
Dit is wat je ervaart wanneer je op de stoel zit midden in deze resonantiekamer, op zoek naar een resonantie tussen het landschap van licht en geluid en je eigen esthetische ervaring. Op een touchscreen kun je op een continue schaal aangeven hoe opwindend of saai, en hoe plezierig of onplezierig je de landschappen van licht en geluid vindt. Die informatie kan de vormgever meenemen in het aanpassen van het audiovisuele landschap. Het is alsof je op de eerste rij van een concert zit en zelf het concert mee mag vormgeven.
Via het touchscreen beoordeel je de subjectieve esthetische ervaring in je geest. Maar op je hoofd draag je ook een soort badmuts met elektroden die de elektrische golven uit je hersenen oppikken, van de langzaam veranderende delta-golven tot de snel veranderende gamma-golven. Deze techniek heet elektro-encefalografie, kortweg EEG. De gemeten EEG-signalen geven dus een objectieve registratie van wat zich in je brein afspeelt in reactie op het voortdurend veranderende landschap van licht en geluid.
Kunnen geest en brein tegelijk resoneren, zodat wat je ervaart samenvalt met wat in het brein gemeten wordt? Wat gebeurt er wanneer een piek in het EEG-signaal samenvalt met een piek in de subjectieve esthetische ervaring? Kan een ontwerper daar op inspelen? Leidt het tot betere ontwerpen? Dat zijn de vragen die masterstudent Caiseal Beardow zes maanden lang onderzocht in haar afstudeerproject NeuroAesthetic Resonance binnen de faculteit Industrieel Ontwerpen. De resonantiekamer is het audiovisuele eindproduct van haar werk, waarvoor ze van de afstudeercommissie een 10 kreeg.
Ontwerpen via real-time data
Beardow trekt drie belangrijke conclusies uit haar afstudeerwerk. “Allereerst heb ik laten zien dat real-time data een krachtig hulpmiddel kunnen zijn in het werk van ontwerpers”, vertelt ze. “Ontwerpers kunnen hun concept snel stapje voor stapje aanpassen en optimaliseren voor een individu.”
Ten tweede hoopt Beardow dat haar afstudeerwerk speciaal voor ontwerpers bijdraagt aan betere theoretische modellen over esthetische ervaringen. “Traditioneel worden esthetische ervaringen op een kwalitatieve manier gerapporteerd, bijvoorbeeld via vragenlijsten. Vaak gebeurt dat achteraf en moeten deelnemers aan een experiment in hun geheugen graven hoe ze een ontwerp hebben ervaren. In mijn project heb ik een technologisch platform en een metriek ontwikkeld om real-time iemands esthetische ervaring te meten, zowel subjectief als objectief.”
Ten derde heeft Beardow het begin van een nieuw pad voor ontwerpers verkend. “De data die ik in mijn installatie over esthetische ervaringen verzamel, lenen zich perfect om met kunstmatige intelligentie, en meer specifiek met machine learning te analyseren. Machine learning leert patronen in data te herkennen. Misschien ziet kunstmatige intelligente software dingen die de menselijke intelligentie niet ziet. Ik stel me een toekomst voor waarin een menselijke ontwerper samen met kunstmatige intelligente software een ontwerp maakt.”
In totaal liet Beardow zes proefpersonen tien minuten plaatsnemen in de door haar zelf ontworpen en gebouwde audiovisuele installatie. Bij drie van de zes vond ze dat brein en geest inderdaad konden resoneren: een piek in het EEG-signaal valt dan samen met een piek in de subjectieve esthetische ervaring. Bij de andere drie proefpersonen gebeurde dat niet. Beardow: “Door de coronapandemie was het aantal proefpersonen dat ik kon kiezen beperkt tot mensen in mijn eigen omgeving: medestudenten en huisgenoten. Maar dat het mogelijk is om brein en geest tegelijkertijd te laten resoneren is veelbelovend. Om algemene conclusies te trekken zijn er in de toekomst natuurlijk meer proefpersonen nodig.”
Betere brein-computer interfaces
Toepassingen van haar werk liggen op het terrein van het verbeteren van brein-computer interfaces (BCI’s) die worden gebruikt door mensen met verlammingen, voor therapeutische doelen bij de behandeling van bijvoorbeeld de ziekte van Alzheimer, ADHD en angststoornissen, maar ook voor neurofeedback-trainingen en in de game-wereld.
Beardow: “Mensen die door een verlamming bijvoorbeeld niet meer kunnen praten, kunnen dankzij een BCI letter voor letter woorden op een scherm produceren. Dat werkt, maar voor patiënten is het bedienen van zo’n BCI vermoeiend en onprettig. Vaak wordt gebruik gemaakt van fel opflikkerende letters om een zo sterk mogelijk hersensignaal op te wekken. Mijn werk laat zien dat het in principe mogelijk is om een BCI te bouwen dat zowel effectief is als esthetisch prettig voor degene die de BCI draagt.”
Beardows oorspronkelijke plan was om haar installatie in een kunstgalerij tentoon te stellen en ook te onderzoeken hoe willekeurige bezoekers haar installatie zouden ervaren. Door de coronapandemie viel dat idee in het water, maar zodra kunstgalerijen weer open mogen, hoopt ze haar idee als nog te realiseren. “Ik heb enkele contacten met kunstgalerijen, kunstenaars en met muzikanten die algoritmische muziek maken.”
Na haar afstuderen hoopt ze verder te gaan met haar huidige onderzoek, wellicht als promovenda. “Ik zou graag een app bouwen die ontwerpers kunnen downloaden en die de techniek achter mijn installatie zoveel mogelijk op een plug-and-play manier beschikbaar maakt. Stel dat talloze ontwerpers dit gebruiken, dan kunnen we misschien samen een rijke dataverzameling aanleggen die wijd gedeeld en gebruikt kan worden.”
Ook zou Beardow graag de EEG-signalen aanvullen met andere biodata, zoals hartslag en huidgeleiding — een maat voor de emotionele intensiteit. “Als er één ding is dat mijn werk heeft laten zien, dan is het dat er een groot potentieel is voor ontwerpers om zich door wetenschap te laten inspireren en ook andersom: wetenschappers die zich door ontwerpers laten inspireren. Wetenschap en ontwerpen kunnen in een symbiotische relatie bestaan. De TU Delft moedigt deze zienswijze aan en ik hoop dat de hele ontwerpsector zich ook bij deze benadering aansluit.”
Derek Lomas
- +31634045748
- +31 15 27 81886
- J.D.Lomas@tudelft.nl
- Playpower Labs
-
Room C-3-290
Elif Ozcan Vieira
- +31 (0)15 27 89678
- E.Ozcan@tudelft.nl
-
Room C-3-220
"Product sounds are the voice of a product. When designing a sound, one should therefore first listen to what the product has to say."
Derek Lomas
- +31634045748
- +31 15 27 81886
- J.D.Lomas@tudelft.nl
- Playpower Labs
-
Room C-3-290
Elif Ozcan Vieira
- +31 (0)15 27 89678
- E.Ozcan@tudelft.nl
-
Room C-3-220
"Product sounds are the voice of a product. When designing a sound, one should therefore first listen to what the product has to say."