MOOC’s: nog veel te leren over leren

Leeromgevingen met massive open online learning hebben een groot potentieel, maar de bijbehorende leerprocesanalyse staat nog in de kinderschoenen. Op respectievelijk 6 en 7 mei verdedigden Guanliang Chen en Dan Davis, onderzoekers aan de TU Delft, hun proefschrift over dit onderwerp.

Ongekend
Massive Open Online Courses (MOOC’s) zijn een populaire optie geworden voor mensen die willen leren buiten een formele onderwijssetting om. Onderzoeker Dan Davis, die op dinsdag 7 mei zijn proefschrift verdedigde, concludeert dat leeromgevingen met massive open online learning (met hun laagdrempelige toegang tot hoogwaardig onderwijsmateriaal) een groot potentieel hebben, maar dat het onderzoeksgebied van de bijbehorende leerprocesanalyse (het analyseren van gegevens over lerenden om bijvoorbeeld het lesmateriaal en de leeromgeving te verbeteren) nog in de kinderschoenen staat.

“Door het schaalbare karakter van platforms voor online leren kan deze context op een ongekende schaal worden onderzocht. Met de gegevens over klikgedrag die beschikbaar zijn uit platforms voor online leren, beschikken we over een ongekend niveau van detail voor onze mogelijkheden om het pad van een lerende door een leerervaring in kaart te brengen en te volgen. Toen er nog niet zoveel omgevingen voor online leren waren, was onderzoek naar leerprocessen veelal beperkt tot een analyse van de syllabus van de docent, of tijdrovende live observaties van het leerpad van lerenden bij taken of activiteiten om inzicht te krijgen in hoe kennis in de leercontext wordt gevormd. Maar nu hebben onderzoekers toegang tot alles wat een student binnen een platform doet, van het openen van een nieuwe pagina tot het veranderen van de afspeelsnelheid van een video of tot het scrollen door de opmerkingen van medestudenten op het discussieforum bij de cursus.”

Doel: gepersonaliseerd leren
“We moeten echter blijven signaleren wat in een traditionele leeromgeving wel werkt, maar online niet effectief is. Het is inmiddels duidelijk dat interventies en technieken waarvan bekend is dat ze in traditioneel klassikaal onderwijs werken, niet zomaar een-op-een kunnen worden toegepast in de online setting. Ze moeten worden aangepast op basis van de context. Het doel is om te komen tot een verzameling best practices die de meeste lerenden de grootste kans op succes geven, met als uiteindelijk doel gepersonaliseerd leren: in kaart brengen waaraan de individuele lerende op een bepaald moment behoefte heeft, en daarnaar handelen.”

Interventies: sociale vergelijking en studieplanning
Davis heeft onder andere een interventie voor MOOC’s gemaakt waarmee studenten een dashboard-achtige visualisatietool krijgen om hun eigen leergedrag te volgen, en het te vergelijken met een eerder succesvolle student in dezelfde cursus. Deze ‘sociale vergelijkings-interventie’ bleek het slagingspercentage in elke onderzochte cursus aanzienlijk te verhogen: de stijging van het slagingspercentage varieerde van 3% tot 6%.

Davis ontwierp en implementeerde ook een studieplanningsinterventie in een MOOC. “We hebben een interface gemaakt waarin de studenten aan het begin van elke week werd gevraagd om hun doelen te formuleren, en aan te geven hoe ze de doelen voor die week dachten te bereiken. En aan het eind van elke cursusweek vroeg het systeem de studenten om te reflecteren op hun doelen en plannen, en op te schrijven in hoeverre ze de doelen hadden bereikt. Dit soort interventie was eerder heel effectief gebleken in traditionele leeromgevingen, maar wij observeerden een lage deelname: studenten negeerden de interventie grotendeels. Dit is een van de voorbeelden die duidelijk laten zien dat er meer zorg moet worden besteed aan het vertalen van interventies naar de online context.”

MOOC-studenten op het sociale web
“Voor een betere ondersteuning van MOOC-studenten is er de afgelopen tien jaar veel onderzoek gedaan naar leren met een MOOC”, zegt Davis’ collega Guanliang Chen, die op maandag 6 mei zijn proefschrift verdedigde. Maar er is nog onontgonnen terrein. “Voor modellering van leerprocessen leek ons dat we studenten beter zouden kunnen begrijpen wanneer we buiten de MOOC-platforms zouden kijken en andere gegevensbronnen op het internet zouden onderzoeken, met name op het sociale web. Eerst hebben we onderzocht of MOOC-studenten actief zijn op het sociale web. We hebben meer dan 320.000 studenten van achttien MOOC’s op edX bekeken en geprobeerd hun accounts te vinden op vijf populaire socialewebplatforms: Gravatar, Twitter, LinkedIn, Stack Exchange en GitHub.”

Via platforms als GitHub kunnen onderzoekers de voortgang van studenten niet alleen tijdens een MOOC volgen, maar ook ervoor en erna, via hun openbare programmeeractiviteiten. Toen onderzocht werd in hoeverre studenten daadwerkelijk de kennis toepasten die ze hadden verworven bij een MOOC over functioneel programmeren, bleek uit de analyses dat slechts ongeveer 8% van de actieve studenten iets van de verworven kennis in de praktijk bracht.

MOOC-studenten bij taken in de echte wereld
Chen onderzocht verder of studenten de opgedane kennis konden gebruiken om echte taken tot een goed einde te brengen, zoals betaalde opdrachten uit online markten die kunnen worden opgelost door de kennis toe te passen die in een cursus is opgedaan. “Hiertoe bekeken we een MOOC over gegevensanalyse in edX en selecteerden we handmatig een reeks betaalde taken uit Upwork, een van de populairste marktplaatsen voor freelancers ter wereld. We presenteerden de geselecteerde taken aan de studenten en observeerden hoe ze deze echte taken uitvoerden. We constateerden dat MOOC-studenten deze taken met een grote nauwkeurigheid en hoge kwaliteit wisten uit te voeren.”

Meer informatie
Proefschrift Dan Davis in TU Delft Repository:
Large-Scale Learning Analytics: Modeling Learner Behavior & Improving Learning Outcomes in Massive Open Online Courses 

Proefschrift Guanliang Chen in TU Delft Repository:
MOOC Analytics: Learner Modeling and Content Generation