Renske Bouwer en Sven De Maeyer over 10 jaar onderzoek

In 2014 werd het zaadje geplant waaruit Comproved gegroeid is. Toen startten Universiteit Antwerpen, imec en Universiteit Gent samen een onderzoeksproject met als centrale vraag: wat is de meerwaarde van comparatief beoordelen voor de evaluatie van complexe vaardigheden? Het project kreeg de naam D-PAC (Development of a Platform for the Assessment of Competences). Dr. Renske Bouwer en Prof. Dr. Sven De Maeyer stonden aan het roer van het onderzoeksproject en zijn tot op de dag van vandaag als adviseurs betrokken bij Comproved. Ter ere van het vijfjarig bestaan van Comproved, vonden we het hoog tijd om met hen in gesprek te gaan over die beginjaren en wat daarop volgde.

Hoe is het idee voor het onderzoeksproject ontstaan?

Renske: Ik was er niet van in het begin bij.

Sven: Dat zit ver! Op een dag kwam een doctoraatsstudent, die bezig was met alles wat te maken had met technologische vaardigheden in het onderwijs, aandraven met een obscuur experiment van Kimbell en Pollitt. In dat experiment lieten ze studenten van verschillende scholen een gelijkaardige taak maken. Dat werd gefilmd en die filmpjes werden vervolgens vergeleken door docenten. Dat experiment was gebaseerd op de methode van adaptive comparative judgement. Het intrigeerde me zodanig dat ik me er verder in wilde verdiepen, maar al snel kwam ik tot de conclusie dat er weinig of geen literatuur over te vinden was. Er waren veel aannames, maar niets werd echt onderbouwd. We wilden daar iets mee doen, maar het idee van leerlingen te vergelijken kregen we natuurlijk niet zomaar verkocht. Het plan was dus om de validiteit en betrouwbaarheid van comparative judgement te onderbouwen om op die manier mensen te overtuigen van de methode. Totaal naïef hebben we toen het D-PAC project uitgeschreven. We hadden nooit gedacht dat we het project zouden binnenhalen (lacht).

Renske: Maar je voelde wel meteen dat dit groot kon worden?

Sven: Ja, omdat het zo herkenbaar was. Ook vanuit mijn eigen ervaring met papers beoordelen, merkte ik dat ik eigenlijk voortdurend aan het vergelijken was. Vandaar dat ik wel zag dat er potentieel in zat.

Wanneer ben jij er dan bijgekomen, Renske?

Renske: Jullie waren net twee jaar bezig met het project toen ik promoveerde in Utrecht en toen…

Sven: werd je geheadhunt.

Renske: Precies! Er kwam een plek vrij voor een projectcoördinator. Ik had al een linkje via Marije (Lesterhuis, n.v.d.r.) met wie ik samen deel uitmaakte van een netwerk van schrijfonderzoekers uit Nederland en Vlaanderen. Daar hadden we het wel eens over D-PAC en ik realiseerde me dat ik eigenlijk met hetzelfde bezig was, maar dan met ankerschalen. Het onderliggende principe bij beide methodes is dat vergelijken, dus ik geloofde er meteen in. Het leuke was dat ze bij D-PAC een tool hadden ontwikkeld wat veel dynamischer werkte. Ik dacht ‘waarom doen jullie dit alleen in Antwerpen? Dit moet gewoon iedereen doen!’.

Hadden jullie ooit gedacht dat het onderzoeksproject zou uitgroeien tot wat Comproved vandaag is?

Sven: Ik moet zeggen dat de komst van Renske een nieuwe schwung in het project bracht. Ze wist iedereen opnieuw te enthousiasmeren en ik begon weer meer in het potentieel op lange termijn te geloven. Ik weet nog dat we toen gingen pitchen bij onderwijsinstellingen om docenten te overtuigen de tool te gebruiken zodat we real life data konden verzamelen. Toen Renske erbij kwam hadden we eigenlijk al heel veel gebruikers. Maar we beseften dat niet. We dachten dat dat gewoon vriendelijke mensen waren die ons wilden helpen (lacht). Renske heeft ons doen inzien dat dat uitzonderlijk was na een onderzoek van amper twee jaar.

Renske: Toen ik net was gestart, heb ik alle medewerkers even apart gesproken. Iedereen somde toen enkel de dingen op die niet goed gingen. Ik was dus de juiste persoon op het juiste moment om hen erop te wijzen dat heel veel dingen wel al goed liepen. En dat er inderdaad al veel mensen waren die de tool gebruikten. Ik heb het toen omgedraaid: ‘over twee jaar, als het onderzoeksproject afloopt, kan je niet alles weer afpakken bij iedereen’. Dat was een eyeopener.

Op welke manier zijn jullie vandaag betrokken bij Comproved?

Renske: Ik heb nu meer een adviserende rol. Which I love. Ik mag dingen zeggen en hoef niets uit te voeren (lacht). Daarnaast heb ik ook een beetje een ambassadeursrol. Als iemand in mijn omgeving vragen heeft over Comproved, kan ik die beantwoorden. Ik heb geen aandelen of iets, dus dat zet mij in een neutrale positie. Ik gebruik de tool ook nog altijd zelf als onderzoeker en docent.

Sven: Ik zit in de Raad van Bestuur dus ben ook voor een stuk adviseur. Als je dat op de keper beschouwt, is dat vooral de mensen gemotiveerd houden. Ik houd hen af en toe ook een spiegel voor. Ik wijs hen op de dingen die goed gaan, waar ze naartoe kunnen groeien, waar potentieel is. Het blijven bescheiden mensen die af en toe dat duwtje in de rug nodig hebben.

Waarom is het volgens jullie belangrijk om onderzoek te blijven doen naar assessment?

Renske: Volgens mij is dat net de kracht van Comproved. Met een spin-off sta je altijd een beetje op een kruispunt. Je kan ofwel volledig de commerciële weg op gaan, als in: ‘u vraagt, wij draaien’. En dat had ook prima gekund want zo’n tool is het wel. Of je kan ervoor kiezen om echt voor kwaliteit te gaan. Ervoor zorgen dat het echt doordacht is en dat het klopt. En dat is die wetenschappelijke basis. Ik geloof er heilig in dat dat tweede in the end tot een veel beter en duurzamer product leidt. We maken ook een product voor mensen in de praktijk. Er hangt iets van af. Er worden oordelen mee gevormd over andere mensen. Het moet gewoon kloppen, dus in dat opzicht is dat onderzoek cruciaal. De andere route had gekund, dan hadden we nu misschien een team van 50 man en een heel ander product, maar dan hadden we onszelf verloochend. We zijn en blijven tenslotte allemaal wetenschappers.

Sven: Toen we 10 jaar geleden startten, stelden we vast dat er in het veld heel veel vastgeroeste opvattingen waren over wat beoordelen precies is. In veel gevallen is dat trouwens nog steeds zo. De fameuze rubrics en dergelijke zijn de norm. En tegelijkertijd is iedereen massaal aan het beoordelen, zonder daar kritisch bij stil te staan. Want als je binnen onderwijswetenschappen puur het onderzoek naar beoordelen bekijkt, is er niet zo heel veel.

Renske: Goed punt! En toch wordt er de hele dag door beoordeeld.

Sven: In die zin denk ik dat er nog veel werk te verzetten is. Zo vind ik het interessant te weten te komen wat er gebeurt in het hoofd van beoordelaars tijdens het beoordelen. We hebben daar al wat onderzoek naar gedaan en we hebben hier en daar al wat evidentie, maar wat mij betreft moeten we er nog veel meer over te weten komen.

Hoe maak je de stap van onderzoek naar praktijk?

Renske: Het begint altijd bij dat iemand een probleem heeft. Want je kan wel zeggen dat je een oplossing hebt, maar als niemand een probleem ervaart, houdt het op. Maar gelukkig voor ons heeft iedereen een probleem met beoordelen (lacht). Dat is altijd mijn ingang. Ze komen niet voor niets naar me toe. Er zit iets in die rubric dat niet goed werkt. Het is handig van dat eerst vast te stellen. Vervolgens gaat het om een cultuuromslag in het denken over beoordelen. En dan is dat vergelijken een eenvoudige volgende stap want iedereen begrijpt dat en kan dat.

Sven: In het hoger onderwijs komt er op dat vlak langzaamaan verandering. In het secundair onderwijs, daarentegen, is nog zoveel te doen. Daar heb je mensen die vastzitten aan hun taakjes, aan hun klassen en gewoonten. Daar beweging in krijgen is moeilijk. Als ik mocht dromen over waar Comproved ooit in zou slagen, dan was het beweging krijgen in die tanker die het secundair onderwijs is. Mensen daar bewuster maken van wat beoordelen überhaupt betekent.

Hoe is de assessmentpraktijk geëvolueerd de afgelopen jaren?

Sven: Ik denk dat het al gemakkelijker is om het gesprek aan te gaan binnen hogescholen en universiteiten. Ik denk dat men er al veel meer bewust is dat beoordelen niet zo evident is en dat niet zomaar alles met een rubric opgelost kan worden.

Renske: Ja, er is ergens wel een bewustzijn gekomen dat we niet enkel moeten beoordelen, maar ook moeten kunnen beargumenteren waarom we die oordelen kunnen vertrouwen. Daarom is heel die rubric-beweging ook opgekomen. En die rubrics worden met de tijd uitgebreider, maar lossen nog steeds de problemen niet op. Dat besef is er wel. We moeten op de ene of andere manier kunnen laten zien dat we niet zomaar cijfers aan het plakken zijn. Een andere evolutie die ik zie is het groeiende belang van (peer)feedback en dat niet alleen docenten een oordeel moeten kunnen vormen, maar ook de studenten zelf. Daarbij schieten rubrics helemaal tekort. Zij laten geen concreet beeld zien van wat kwaliteit is. Daarom dat het heel gemakkelijk is gegaan om Comproved als peerfeedbackmethode in te zetten. Door meerdere voorbeelden met elkaar te vergelijken, krijgen studenten meteen een concreet beeld van wat kwaliteit is.

Sven: Klopt! Dat was de eerste toepassing die voor iedereen altijd meteen duidelijk was.

Hoe evolueert Comproved daarin mee?

Sven: Bijvoorbeeld door het ‘feedback-actieplan’ als nieuwe feature in de tool te implementeren. De mensen binnen Comproved kunnen goed de link leggen tussen de noden die er zijn, de dingen die evolueren en wat we weten uit de literatuur. Dat dan ook nog eens weten te vertalen naar het product is echt knap werk.

Renske: Precies! Het feit dat we al 10 jaar onderzoek doen en dat Comproved al 5 jaar bestaat, is toch het beste bewijs dat Comproved blijft groeien en mee-evolueren? De early adopters blijven de tool gebruiken en er komen steeds meer gebruikers bij. Ook steeds meer mensen doen onderzoek naar comparative judgement. Ik ben ervan overtuigd dat we mensen de tool niet meer kunnen afnemen. Dus de enige weg is vooruit.

Sven: Als de tool al zo’n vlucht neemt in Vlaanderen en Nederland, waarom dan ook niet in het buitenland? Dat is toch een droom voor de komende 5 jaar!

Lees hier het interview met de oprichters van Comproved.