Van "kroketevaluaties" naar meetbare impact door leren
Hoe kun je meten of leerprogramma’s daadwerkelijk bijdragen aan de doelstellingen van de organisatie? Die vraag vormde het uitgangspunt voor een samenwerking tussen Business Monitor, Relevance Learning en JADS.
Business Monitor ontwikkelt online onderzoeks- en benchmarkplatforms die organisaties helpen bij het verzamelen, analyseren en vergelijken van gegevens. Het bedrijf werkt met klanten uit diverse sectoren, variërend van verzekeraars en gemeenten tot sportverenigingen en opleidingsaanbieders. In de loop der jaren is het platform uitgegroeid tot veel meer dan een standaard enquête-instrument; er zijn functionaliteiten voor statistische analyse, rapportage en benchmarking aan toegevoegd.
Tegelijkertijd zag oprichter René Lagendijk een terugkerende beperking op het gebied van leren en ontwikkeling. Trainingsprogramma’s werden vaak geëvalueerd aan de hand van tevredenheidsenquêtes: vonden deelnemers de trainer, de inhoud of zelfs de lunch goed? Nuttige feedback, maar beperkt inzicht in wat organisaties steeds vaker willen weten: wat hebben mensen daadwerkelijk geleerd en welke waarde heeft dat opgeleverd?
Die vraag vormde de basis voor een JADS Master Challenge gericht op de bedrijfswaarde van leer- en ontwikkelprogramma’s.
De uitdaging
Samen met Relevance Learning, een bedrijf dat zich bezighoudt met leiderschaps- en organisatieontwikkeling, wilde Business Monitor onderzoeken of datawetenschap en AI konden bijdragen aan een meer gestructureerde en empirisch onderbouwde methode om de impact van opleidingen te meten.
De bredere doelstelling was ambitieus maar concreet: overstappen van gefragmenteerde, specifieke evaluaties naar een gestandaardiseerde methodologie waarmee leerresultaten tussen organisaties en in de loop van de tijd kunnen worden vergeleken.
De uitdaging voor de studenten richtte zich op een aantal onderling samenhangende vragen:
- Welke gegevens zijn nodig om de impact van leerprogramma’s te meten?
- Hoe kunnen organisaties die gegevens op een consistente manier structureren?
- Welke statistische modellen en analyses zijn geschikt om leeractiviteiten te koppelen aan organisatorische resultaten?
- En hoe kunnen die inzichten worden vertaald naar dashboards en rapportagetools die organisaties daadwerkelijk kunnen gebruiken?
In het project was er een mix van praktische beperkingen en een open onderzoeksvraag. Bestaande literatuur over de impact van leren bood wel kaders en theorieën, maar volgens Lagendijk is er weinig consensus over gestandaardiseerde meetmethoden. Veel van de beschikbare informatie ging uit van maatwerk dat was afgestemd op individuele organisaties.
De studenten maakten daarom gebruik van een combinatie van bestaande datasets, vakkennis, vakliteratuur en verkennende modellering. Al snel werd een belangrijke beperking duidelijk: om de impact goed te kunnen meten, zijn longitudinale en goed gestructureerde gegevens nodig, iets wat zelden direct beschikbaar is.
Wat de studenten hebben ontwikkeld
De studenten benaderden de uitdaging vanuit verschillende invalshoeken. In plaats van één gezamenlijke oplossing te bedenken, richtte elke groep zich op een ander aspect van het bredere probleem.
Sommige teams onderzochten welke enquêtevragen en gegevensstructuren het meest geschikt zijn voor gestandaardiseerde benchmarking. Andere teams richtten zich op statistische analysemodellen, dashboards of rapportageconcepten. Eén groep ontwikkelde een proof-of-concept-dashboard waarmee leerresultaten en impactindicatoren op een voor klanten bruikbaardere manier werden gevisualiseerd.
Volgens Lagendijk werd de diversiteit aan benaderingen juist een van de sterke punten van het project. Omdat elke groep vanuit een ander perspectief werkte, leidde de samenwerking tot een bredere verkenning van de uitdaging in plaats van variaties op dezelfde oplossing.
Ook de opzet van de Master Challenge speelde een belangrijke rol. Door regelmatig aan elkaar te presenteren en elkaar feedback te geven, leerden studenten voortdurend van elkaars vorderingen en konden ze toch hun eigen koers blijven varen. Dat zorgde voor een mix van samenwerking en gezonde concurrentie, waardoor groepen hun ideeën steeds verder aanscherpten én tot betere resultaten kwamen.
Ook de samenwerking, de mate van betrokkenheid en het eigenaarschap van de studenten vielen op. De teams bleven gedurende het hele proces nauw betrokken en bespraken regelmatig keuzes, aannames en afwegingen met de klant.
De uitkomst
Het project naast wetenschappelijke rapporten ook iets anders op. Voor Business Monitor en Relevance Learning zorgde de samenwerking ervoor dat een abstracte ambitie kon worden omgezet in een concreet proof of concept.
De studententeams hebben laten zien hoe gestandaardiseerde vragenbanken, gestructureerde gegevensverzameling en dashboards kunnen bijdragen aan een schaalbare aanpak voor het meten van de impact van leerprocessen. Diverse projectresultaten worden nu meegenomen in de verdere ontwikkeling van het platform en de methodologie.
Een concrete volgende stap is de ontwikkeling van een gestandaardiseerde vragenbibliotheek waardoor benchmarking tussen organisaties en trainingsprogramma’s mogelijk wordt. Business Monitor gaat ook verder in gesprek met JADS voort over mogelijke vervolgsamenwerkingen, naarmate er meer longitudinale datasets beschikbaar komen.
Voor Lagendijk heeft het project ook het belang onderstreept van de combinatie van domeinexpertise met data science vaardigheden. De opdracht was niet alleen technisch; de studenten hadden ook inzicht in organisatorisch leren, gedragsmeting, rapportage en praktische implementatie nodig.
René benadrukt dat de ambitie helder is: verder gaan dan ‘kroketevaluaties’ en streven naar meetbare en uiteindelijk zelfs voorspelbare leereffecten.
De studenten wilden het probleem echt oplossen.
De studenten wilden het probleem echt oplossen.
“De studenten benaderden het niet als een gewone opdracht. Ze wilden het probleem echt oplossen. Die combinatie van analytisch denken, betrokkenheid en verschillende invalshoeken maakte de samenwerking voor ons zo waardevol.”
Wat is een Master Challenge bij JADS?
In een Master Challenge werken studententeams van JADS aan een echte data-uitdaging uit het bedrijfsleven. Bedrijven brengen een concreet vraagstuk in binnen een vak, waarna studenten gedurende meerdere maanden samenwerken aan analyse, modellering en oplossingsrichtingen. Dat levert organisaties nieuwe inzichten en concrete resultaten op, terwijl studenten ervaring opdoen met echte uitdagingen uit het werkveld.
Waarom samenwerken met JADS?
JADS biedt innovatieve data science-programma’s op bachelor-, master- en postdoctoraal niveau, voert baanbrekend data science-onderzoek uit en biedt geweldige zakelijke mogelijkheden met een voortdurend groeiend ecosysteem. Van startups tot KMO’s en grote bedrijven, onze zakelijke partners krijgen toegang tot talent, kennis op hoog niveau en zakelijke kansen.
Sluit u aan bij JADS, net als 300+ andere organisaties en bedrijven, en geef vorm aan uw datagestuurde toekomst.