1. Introductie

Heterogeniteit in effectiviteitsonderzoek naar educatieve videogames en vragen die gesteld worden met betrekking tot de validiteit en betrouwbaarheid van enkele van deze studie design kenmerken hebben geleid tot een nood naar een meer gestandaardiseerde aanpak. Dit doctoraat was gericht op de ontwikkeling van een gestandaardiseerde procedure om effectiviteit van educatieve videogames te meten die zich richten op cognitieve leeruitkomsten (i.e., gericht op kennisoverdracht en niet zozeer op de ontwikkeling van vaardigheden of attitude-/gedragsverandering). In de eerste fase werd een eerste versie van deze procedure ontwikkeld. Hiervoor werden de verschillende studie design kenmerken van reeds gepubliceerde (quasi-) experimentele studies die als doel hadden de effectiviteit van educatieve videogames gericht op cognitieve leeruitkomsten te onderzoeken in een eerste stap in kaart gebracht door middel van een systematische literatuurstudie (hoofdstuk 2). Daarna werd effectiviteit van educatieve videogames aan de hand van een requirements analyse met relevante stakeholdergroepen geconceptualiseerd en geoperationaliseerd (hoofdstuk 3). Vervolgens hebben we enkele richtlijnen gedefinieerd voor effectiviteitsonderzoek naar educatieve videogames door middel van expert interviews (hoofdstuk 4). In een tweede fase hebben we de haalbaarheid van de procedure onderzocht door middel van drie experimentele studies in de voornaamste sectoren waar educatieve videogames geïmplementeerd worden, waarbij de procedure als handleiding werd gebruikt. In een derde fase werd op basis van de haalbaarheidsstudies een tweede versie van de procedure ontwikkeld.

2. Samenvatting van de voornaamste bevindingen

Issues met betrekking tot gepubliceerde effectiviteitsstudies

 De systematische literatuurstudie heeft drie voorname issues naar voor gebracht. Eerst en vooral werd aangetoond dat er een grote heterogeniteit bestaat tussen studies. De voornaamste oorzaken van deze heterogeniteit kunnen de uitkomsten significant beïnvloeden. Zo worden er verschillende activiteiten geïmplementeerd in de controlegroepen (e.g., geen of een andere educatieve interventie), worden er verschillende maten gebruikt om effectiviteit te meten (e.g., gepercipieerd leren, score op een test ontwikkeld voor onderzoek, examenscores, attitude, motivatie, etc.) en gebruikt men verschillende statistische technieken om leeruitkomsten te kwantificeren (e.g., vergelijking van vooruitgang, van post-test scores, percentage vooruitgang bekijken, etc.). Een tweede issue zijn suboptimale studie designs als gevolg van ‘confounds’ of verstorende factoren in een onderzoeksdesign die kunnen leiden tot vertekende resultaten. De voornaamste confounds in effectiviteitsonderzoek naar educatieve videogames zijn a) het toevoegen van extra elementen aan de interventie (e.g., verplichte leesopdracht, debriefing sessie), b) de rol van (e.g., begeleiding, procedurele hulp, enkel aanwezig om toezicht te houden) en het type (vertrouwde leerkracht of onderzoeker) instructeur en c) het mogelijks optreden van een oefeneffect wanneer dezelfde test pre- en post- interventie wordt toegediend. Al deze verstorende factoren maken het moeilijk om te weten of positieve effecten het resultaat zijn van de game als medium. Een derde issue heeft betrekking tot op replicatiemogelijkheden door onvoldoende informatie die wordt meegegeven in gepubliceerde studies. Zo wordt weinig informatie meegegeven rond hoe de interventies geïmplementeerd werden (e.g., wie was er aanwezig gedurende de interventie? In welke context vond deze plaats? Was gameplay individueel? Etc.), hoe rekrutering gebeurd is, op basis van welke karakteristieken de condities gelijk gehouden werden, welke testen er gebruikt werden en indien er testen werden gebruikt die ontwikkeld werden door de onderzoekers zelf, hoe deze ontwikkeld werden.

Effectiviteit van educatieve videogames: conceptualisatie en operationalisering

De requirements analyse wijst erop dat effectiviteit van educatieve videogames een multidimensionaal construct is dat bestaat uit drie categorieën van gewenste uitkomsten: leeruitkomsten, motivatie-uitkomsten en efficiëntie-uitkomsten. Voor elke categorie van uitkomsten kunnen verschillende indicatoren gebruikt worden. Voor leeruitkomsten kan dit a) een verhoogde interesse in de leerinhoud, b) prestatie m.b.t. de leerinhoud (vb. op een test) en/of c) transfer van de leerinhoud naar de ‘echte’ wereld zijn. Indicatoren voor motivatie-uitkomsten zijn: a) het creëren van een leukere leerervaring in vergelijking met traditionelere instructieve media en/of b) de student gemotiveerder maken om een bepaalde leerinhoud aan te leren. Efficiëntie-uitkomsten kunnen verwijzen naar a) een reductie in tijd om een bepaalde materie aan te leren en/of b) een kostenefficiëntere manier bieden om een bepaalde materie aan te leren. Motivatie- en efficiëntie- uitkomsten zijn geen alleenstaande reden om te investeren in de ontwikkeling en implementatie van educatieve videogames. Hogere motivatie en efficiëntie- uitkomsten moeten steeds gerelateerd zijn aan gelijkaardige leeruitkomsten die met de huidige leermedia bereikt worden. Nederlandse samenvatting 

Best practices om effectiviteit van educatieve videogames te meten

In hoofdstuk 4 hebben we enkele potentiële verbeterpunten gedefinieerd in effectiviteitsonderzoek naar educatieve videogames. Deze zaken hebben betrekking op de implementatie van de interventie en onderzoeksmethodes gebruikt om effectiviteit te meten. Met betrekking tot implementatie van interventies in zowel de experimentele als controlegroep, werden enkele praktijken afgelijnd die liefst worden vermeden om verstorende effecten te reduceren (e.g., begeleiding van de instructeur, extra elementen die toegevoegd worden aan de interventie die inhoudelijke informatie bevatten). Ook werden praktijken afgelijnd die wel toegelaten zouden zijn, zoals procedurele hulp en een training sessie. Daarenboven werden enkele variabelen naar voren geschoven die relevant zijn om gelijk te houden tussen de experimentele en controleconditie, zoals instructietijd, instructeur, tijdsslot en dag. Met betrekking tot de methodes die gebruikt worden, zijn voorgestelde verbeterpunten gerelateerd aan het toewijzen van deelnemers aan condities (e.g., variabelen die overwogen dienen te worden bij matchen van deelnemers in groepen), algemeen design (vb. toevoegen van een follow-up studie) en testontwikkeling (vb. ontwikkeling en piloten van parallelle tests). Hoewel eerdere al suggesties werden gemaakt tot verbetering van effectiviteitsonderzoek naar educatieve videogames, omvatten deze niet elk aspect van het studie design, zoals welke variabelen het liefst vergelijkbaar zijn in de condities, de rol van de instructeur, elementen die liefst niet worden toegevoegd aan de implementatie van de interventie. Dit hoofdstuk heeft getracht om elk aspect van het studie design te behandelen.

Empirische bevindingen met betrekking tot effectiviteit van educatieve videogames

Buiten het testen van de haalbaarheid en optimalisatie van de procedure die ontwikkeld werd in de eerste fase, hebben deze effectiviteitsstudies ook enkele interessante bevindingen naar voor gebracht met betrekking tot effectiviteit van educatieve videogames. De eerste haalbaarheidsstudie (hoofdstuk 5) heeft aangetoond dat hoewel er geen significante verschillen gevonden werden tussen een game en een klassikale les om Engelse woordenschat te leren, de woordenschat langer bleef hangen bij leerlingen die de klassikale les kregen. De traditionele les bleek dus effectiever op langere termijn (i.e., na 3 weken). Dit ondersteunt voorgaande kritieken met betrekking tot korte termijn effecten van computer gemedieerd leren. Daarenboven toonde deze studie aan dat een debriefing sessie na het spelen van het game geen meerwaarde bood ten opzichte van leerlingen die enkel het game speelden. Dit staat in tegenstelling tot de literatuur waarin wordt gesuggereerd dat een debriefingsessie onmisbaar is bij leren via digitale games.

Dit heeft enkele vragen naar voor gebracht met betrekking tot de aflijning van kenmerken van educatieve videogames die een debriefing sessie noodzakelijk maken. Er is meer bepaald nuancering nodig met betrekking tot game type, complexiteit van de leerinhoud, impliciete/expliciete leerdoelen, game karakteristieken en mogelijks nog andere factoren.

In de tweede haalbaarheidsstudie (hoofdstuk 6) werd aangetoond dat het toedienen van een pre-test in een effectiviteitsstudie de resultaten van de post-test kan vertekenen. Meer bepaald scoorden de deelnemers die een pre-test voor de klassikale les kregen significant hoger op de post-test dan deelnemers die geen pre-test voor de klassikale les kregen, wijzend op pre-test sensitisatie. Bij de deelnemers die de leerinhoud door middel van een game aangeleerd kregen, werden geen significante verschillen gevonden tussen degenen die geen of wel een pre-test kregen voor het spelen van de game. Dit bemoeilijkt de vergelijking tussen een traditionelere les en een game in een pre-test post-test controlegroep experiment, aangezien de scores bij deelnemers in een traditionele les vertekend kunnen zijn. Een mogelijke verklaring voor het feit dat pre-test sensitisatie enkel plaatsvindt in de traditionele lesgroep, is dat de interactiviteit van het game de aandacht en verwerking van de leerinhoud van de deelnemers vergt om verder te kunnen gaan in het spel, onafhankelijk van het feit of ze nu een pre-test kregen of niet. Dit bevestigt de effectiviteit van het game nogmaals. Daarenboven scoorden beide gamegroepen (met en zonder pre-test) beter op de post-test dan de groep die een pre-test kregen voor de traditionele les, wat de effectiviteit van het game nogmaals bevestigt. Deze studie heeft dus ook de meerwaarde van het Solomon 4-groepen design aangetoond, aangezien wij nu beter ondersteunde uitspraken kunnen doen over de effectiviteit van het game.

In onze laatste haalbaarheidsstudie (hoofdstuk 7) die werd uitgevoerd in een bedrijfscontext bleek de interactiviteit van de game geen meerwaarde te bieden ten opzichte van een leervideo die exact dezelfde inhoud aanbood. Het motivatie-idee achter educatieve videogames hield dus geen stand in deze studie, wat er op wijst dat men goed moet afwegen waar interactieve inhoud een meerwaarde kan bieden.

3. Reflectie

Gebaseerd op dit doctoraat, kunnen we stellen dat effectiviteit van educatieve videogames een complex construct is. De verschillende dimensies en sub dimensies die naar voor gebracht werden in onze conceptualisatie, kunnen op twee verschillende manieren benaderd worden. Meer bepaald, kwam het verschil tussen absolute (i.e., het bereiken van vooropgestelde doelen) en relatieve effectiviteit (i.e., vergelijking van leer-, motivatie- en efficiëntie-uitkomsten met andere leermedia) naar voor. Welk type effectiviteit dient onderzocht te worden, hangt af van de onderzoeksvraag en welke media er momenteel voorhanden zijn om een bepaald onderwerp te behandelen.

Met betrekking tot het meten van effectiviteit, is controle over zo veel mogelijk elementen niet altijd mogelijk noch wenselijk in de context van educatieve videogames. Een eerste reden is de complexe omgeving waar educatieve videogames worden geïntegreerd, zoals implementatie in natuurlijke collectieven (vb. klasgroepen) waar de onderzoeker niet altijd controle heeft over geobserveerde en niet-geobserveerde variabelen. Een andere reden waarom controle niet altijd wenselijk is, is omdat het idee achter het instructiepotentieel van digitale games één van motivatie is. Implementatie in een gecontroleerde lab-omgeving zou hier dus een beperkt inzicht kunnen geven in motivatie-uitkomsten. De complexiteit van effectiviteit van educatieve videogames zorgt er ook voor dat er soms moet ingegeven worden aan experimentele controle. Bijvoorbeeld, het gelijk houden van instructietijd in de experimentele en controlegroep is niet altijd wenselijk. In een context waar leerlingen betaalde werknemers zijn is een gewenste uitkomst van educatieve videogames een vermindering van de leertijd en bijgevolg, een hogere kostenefficiëntie. Het gelijk houden van instructietijd is dus incompatibel met de gewenste efficiënte-uitkomsten van educatieve videogames. In dergelijke gevallen, dient instructietijd als een uitkomst behandeld te worden en dient de focus te liggen op de vraag: leert men door middel van de game minstens even veel of meer in minder tijd in vergelijking met de huidige leermedia?

Om alles samen te vatten, wordt een evenwicht tussen ecologische validiteit en controle best bereikt door eerst en vooral interne validiteit hoog te houden door de invloed van verstorende variabelen te reduceren gedurende de implementatie van de interventie (vb., ondersteuning van de instructeur, geen extra materiaal toevoegen die gerelateerd is aan de leerinhoud). Daarenboven dient men de mogelijke invloed van verstorende factoren gelijk te houden in beide condities (vb. dag en tijd van de interventie, context van implementatie, etc.). Indien er een onevenwicht is met betrekking tot relevante deelnemersvariabelen, kan dit toegevoegd worden aan de analyse om bepaalde verschillen in rekening te brengen (vb. verschillen op de pre-test). Externe validiteit kan gemaximaliseerd worden door vergelijkbaarheid te waarborgen tussen elementen in de studie en hoe het game zou geïmplementeerd worden in de echte wereld (vb. context van implementatie, implementatie in natuurlijke collectieven, aanwezigheid van de gewoonlijke leerkracht, aanbieden van procedurele hulp, etc.).

4. Conclusie

Dit doctoraat heeft aangetoond dat een meer gestandaardiseerde aanpak voor het meten van effectiviteit van educatieve videogames gericht op cognitieve leeruitkomsten niet alleen mogelijk, maar noodzakelijk is. Een meer gestroomlijnde aanpak is nu mogelijk m.b.t. uitkomst maten door middel van onze conceptualisatie en operationalisering van effectiviteit van educatieve videogames. Daarenboven is een gestandaardiseerde aanpak met betrekking tot studie design nu ook mogelijk tot een bepaald punt (vb. pre-test, post-test, follow-up, context die representatief is voor de echte implementatie, procedurele help gedurende de implementatie, etc.). Voor sommige studie design elementen is complete standaardisatie echter niet mogelijk en zal de invulling afhangen van de onderzoeksvraag en de noden en wensen van de stakeholders voor wie de studie wordt uitgevoerd (vb. effectieve of relatieve effectiviteit, afweging tussen ecologische validiteit en experimentele controle, etc.). Daarom is het bij deze studie design elementen vooral belangrijk dat de onderzoekers accuraat rapporteren en dat ze een genuanceerder beeld geven over andere factoren die potentieel invloed kunnen gehad hebben op de uitkomsten. Tot slot is een meer gestandaardiseerde aanpak niet enkel mogelijk, maar ook noodzakelijk om assumpties te kunnen maken over effectgroottes van educatieve videogames, uitspraken over effectiviteit van educatieve videogames op een algemener niveau te kunnen maken en om verder te kunnen onderzoeken welke kenmerken van digitale games kunnen bijdragen aan de effectiviteit van educatieve videogames.