Data voor motivatie … of demotivatie?

• Hoeveel leerders maakten een oefening?
• Hoe lang deden ze erover? 
• Welke fouten maakten ze?

Een vraagstuk dat moeilijker te beantwoorden is, is: ‘Gebruiken we die data dan ook om ons opleidings- of trainingsaanbod te evalueren?’ ‘Zeggen gegevens ons iets over onze opleidingskwaliteit?’ En … ‘gebruiken we die data om onze trainers of opleiders te evalueren?’ In deze blog geven we enkele inzichten over datageïnformeerd werken, zodat je zelf je visie op het vraagstuk kan scherpstellen. 

Australisch onderzoeker en zelfverklaard data storyteller Selena Fisk stelt de vraag of het wel een goede zaak is dat meer en meer bedrijven datagedreven werken. Organisaties meten hun succes aan het wel of niet behalen van KPI’s, werknemers aan hun behaalde targets die managers nauw opvolgen via dashboards. Is dat allemaal echter wel een goede zaak en kan je die aanpak handig gebruiken om leren te meten? 

Prof. Fisk vertelt het verhaal van haar ervaringen in het Engelse onderwijssysteem, dat sterk leunt op de data van hun centrale toetsen. Het functioneren van elke leraar hangt af van één specifieke meetwaarde of metric, namelijk de slaagcijfers van hun leerlingen. Die manier van werken houdt helemaal geen rekening met contextgegevens van het onderwijs én de leerlingen. Bovendien werkt dit enorm demotiverend voor de leraren, omdat ze via micromanagement zouden worden opgevolgd als hun score zwak was. Data als dwang, niet als drang om te leren en ontwikkelen, dus.

Ze vergelijkt deze manier van werken met paarden die met oogkleppen racen, opdat ze alleen het doel kunnen zien en niet afgeleid worden door de andere paarden of de toeschouwers. Een ruiter draagt echter geen oogkleppen: die moet net wel de context in de gaten houden. Bedrijven en opleidingsverstrekkers die mensen opleiden zouden ruiters moeten zijn, geen datagedreven paarden die enkel één doel zien, namelijk het wel of niet slagen van de leerders.

n het reguliere onderwijs werkt men in Vlaanderen met gestandaardiseerde centrale toetsen, screenings die door de overheid worden afgenomen met als doel de onderwijskwaliteit te verbeteren. In bedrijven en voor opleidingsverstrekkers begint er ook een tendens van standaardisatie op te komen: beroepsprofielen, technische certificaten en andere vormen van ‘diploma’s’ worden steeds meer centraal gestandaardiseerd. 

Wat kunnen we leren uit onderzoek naar centrale toetsen? Een van de valkuilen van werken met (gestandaardiseerde) screenings om opleidingskwaliteit te meten, is dat docenten en trainers gaan teaching to the test. In een ideale wereld bepaal je de doelen en de inhouden van je opleiding door na te gaan wat leerders nodig hebben en wat ze moeten kunnen en kennen rond een bepaald thema, maar als je to the test werkt, ga je kijken naar wat er op een test of screening gevraagd wordt en pas je je opleiding daaraan aan. Een andere valkuil is playing the game, waarin lesgevers zich minder bezighouden met krachtige lessen geven, maar meer met hun leerders helpen om betere toetsresultaten neer te zetten, zoals hun trucjes aanleren of toetsgerichte vaardigheden drillen zoals multiple choice vragen beantwoorden. Dat gaat allemaal ten koste van het aanleren van de vaardigheden die leerders zouden moeten leren.

Het is duidelijk dat beide handelingen de leskwaliteit doen verminderen, maar het is ook het ideale recept om docenten te demotiveren. Die verliezen immers een grote brok van hun autonomie en creativiteit. Lesgeven is werken met mensen en als trainers de communicatie met hun leerders en de mogelijkheid om maatwerk te bieden verliezen, is de kans groot dat velen afhaken.

Wil dat zeggen dat we die rijke bron aan data die e-leren ons bieden naast ons moeten leggen? Neen. Ik geloof dat slim omgaan met relatief objectieve data ons de kans geeft om wat structuur te bieden in de chaos van lesgeven. Er gebeurt tijdens een training of een les zoveel, dat het handig is om achteraf rustig te reflecteren. Hebben de leerders de uitleg begrepen? Wie bereikt de doelen, wie nog niet? Welke ondersteuning moeten we nog bieden? Om die vragen te beantwoorden is het nuttig om terug te vallen op data. Ik geef je drie gouden tips: 

1. Start vanuit een doel en verzamel daar data voor, in plaats van omgekeerd. Stel dat je wil nagaan of elke leerder een doel heeft bereikt, kan je de resultaten van testen of screenings raadplegen en dat aanvullen met observaties in de les, het dashboard van online oefeningen en je snel bij elkaar gepende notities tijdens zelfstandig werk. 
2. Verzamel minstens drie bronnen van informatie. Het dashboard van de online oefeningen geeft veel informatie, maar niet alles. Wie weet heeft een leerder een week geen oefeningen gemaakt door een familiale situatie. Vul dus altijd aan met twee andere bronnen, zodat je kan trianguleren.
3. Gebruik kwantitatieve data - zoals de data uit de online dashboards - voor min of meer objectieve cijfergegevens (hoeveel fouten, hoeveel tijd, hoeveel procent van de groep …) met kwalitatieve data voor meer context. Die vind je in verslagen, gesprekken, observaties … 

Deze manier van werken kan motiverend werken, omdat je als docent feedback krijgt over je aanpak. Je kan successen beter zwart op wit zien in grafieken en krijgt een duidelijker beeld over waar je in moet groeien. Je kan met andere woorden je eigen competenties zien evolueren.

Wat een filosofisch debat dat we nu misschien niet willen openen, maar dit kader deel ik graag met jullie:

Het geeft vrij duidelijk aan wat confirmation bias of een voorkeur voor bevestiging is. Wanneer we lesgeven, hebben we allemaal onze bewuste of onbewuste vooroordelen. Stel dat je als docent gelooft dat laaggeletterde leerders nieuwe leerstof trager oppikken, dan is de kans groot dat je alleen het bewijs ziet dat je bias of vooroordeel bevestigt, namelijk de fouten die die maakt of de momenten waarop die trager klaar was met een oefening. Daarbij ben je soms blind voor de vorderingen die de leerder wel maakt of de strategieën die die toepast om te compenseren. Datageïnformeerd werken streeft ernaar die vooroordelen minder naar de voorgrond te brengen. De gesprekken over de kwaliteit van je opleiding kunnen dan iets ‘objectiever’ plaatsvinden, wat motiverend kan werken.

De vakgroep rond EduBron aan de universiteit van Antwerpen boog zich over de vraag: hoe zet je data om in sterk beleid en krachtige praktijken? De conclusie? Door te overleggen, te brainstormen en samen te werken. Als team zet je verschillende stappen:

• Data raadplegen, verkennen, overleggen en interpreteren. Als we willen dat elke lesgever datageletterd is en gebruik kan maken van leergegevens om de lessen te verbeteren, moeten we hen betrekken in het hele proces. Geen data- of ICT-coördinator meer die alle verantwoordelijkheid alleen draagt, dus. Zoek samen relevante data, doorploeter ze samen, analyseer grafieken en tabellen en deel je interpretatie. Kom samen tot een diagnose: wat ligt er aan de basis van deze gegevens?
• Controleer de voorlopige diagnose. Klopt onze diagnose wel? Eerlijk gezegd kan de confirmation bias hier nog sterk aanwezig zijn. Waarom scoort deze leerder zwak? Omdat die laaggeletterd is? Hier is het moment om door te vragen en andere data te zoeken om die diagnose op buikgevoel te staven of te weerleggen. 
• Plan samen acties, implementeer ze en evalueer het effect ervan op je leerders. 
• Begin de cyclus opnieuw. 

Deze cyclus samen doorlopen is een krachtige manier om te professionaliseren, op een manier die niet gedreven is door één metriek waar we met oogkleppen naar racen, maar eentje waarin de context meegenomen kan worden. Want niet alle elementen van leren en lesgeven kan je meten, maar misschien wel weten.

Bronnen

EduBron, UA. 

Selena Fisk, I’m not a numbers person en podcast Make data talk.