Patrick van Lommel is de pionier in het gebruik van de Comproved comparing-tool in de Avans Hogeschool. Daarnaast heeft hij de tool ook geïntroduceerd bij zijn collega-docenten waardoor het nu een vaste waarde is geworden. In dit interview deelt hij zijn ervaringen met de tool en comparatief beoordelen. 

Waarom hebt u besloten om de comparing-tool te gebruiken?

“Ik heb beslist om de tool te gebruiken omdat ik enerzijds gefrustreerd raakte door het proberen zo nauwkeurig mogelijk beschrijven van toetscriteria en rubrics. We zijn hier al jaren tevergeefs mee bezig, maar we zijn tot de ontdekking gekomen dat deze nooit toepasbaar zijn op alle werkstukken.
sinds het prille begin heb ik mijn collega’s kunnen aansporen om de tool ook te gebruiken. Ik wist hen vrij snel te overtuigen omdat zij met dezelfde frustraties kampten als ik. Deze konden verholpen worden met behulp van comparatief beoordelen.”

Sinds wij zijn beginnen beoordelen met de comparing-tool, zijn we heel consistent in ons oordeel. Dit geeft ons gemoedsrust en verhoogt tegelijkertijd ook de betrouwbaarheid van de beoordelingen. wij zijn dan ook heel tevreden over de manier waarop we de opdrachten met de bijbehorende criterialijsten nu kunnen formuleren. Dit omdat we nu eerst samen een consensus zoeken tussen de criteria van alle beoordelaars onderling. Daarna worden deze criterialijsten geherformuleerd en samengevat. Omdat iedereen het nu eens is met de criteria waaraan de studenten moeten voldoen om een goed resultaat te behalen, zijn deze naar mijn aanvoelen helder, bondig en makkelijk te begrijpen voor zowel studenten als docenten.”

Wat is dan de meerwaarde van Comproved?

“Het feit dat Comproved het over een andere boeg gooit via comparatief beoordelen, vind ik om verschillende redenen voordelig. Eerst en vooral is de betrouwbaarheid veel groter sinds het gebruik van de tool. Dit komt enerzijds omdat de werken nu anoniem worden beoordeeld. Hierdoor kunnen de studenten niet op zoek gaan naar het werk van hun vriend(in) om hen dan een gunstig cijfer te geven. Anderzijds stijgt de betrouwbaarheid ook omdat er meerdere beoordelaars zijn die dezelfde werken meerdere keren vergelijken. Dit zorgt voor een zeer betrouwbare onderliggende basis van het eindoordeel wat voordelig is voor zowel de student als de docent. Daarnaast is de methode heel makkelijk en natuurlijk omdat je enkel moet zeggen welke van twee werkstukken het beste is en er dus niet onmiddellijk een score moet worden gegeven.

Ten tweede: Door de comparing-tool te gebruiken, is er een soort van zelf-reflectie ontstaan waardoor we een inzicht in onze eigen beoordelingsblik hebben gevormd. Daaruit bleek dat de voorkeuren tussen beoordelaars onderling nogal sterk uit elkaar lagen. Een vaststelling die we anders misschien nooit ontdekt zouden hebben aangezien iedereen voor zichzelf beoordeelt en er dus geen interactie tussen verschillende beoordelaars is.
We zijn hier achteraf dieper op ingegaan. Enerzijds om de uiteindelijke consensus vast te stellen, anderzijds om alle feedback die gegeven is op een rijtje te zetten en te analyseren op welke criteria elke beoordelaar nu precies let. Op basis van deze informatie is de opdracht geherformuleerd waardoor ze nu scherper en helderder opgesteld is. Hierdoor hebben de studenten een beter beeld op welke manier ze een beter resultaat kunnen behalen.”

Gebruikt u de tool ook nog voor andere toepassingen?

“Zeker. We gebruiken de tool ook als formatief beoordelingsmiddel in het eerste en het laatste jaar. In het eerste jaar schotelen we de studenten enkele werken voor van het jaar voordien. De studenten moeten dan met behulp van de tool telkens van twee producten het beste aanduiden en feedback geven waarom ze dit de beste vinden.
Na het verzamelen van alle feedback, kunnen de studenten zelf de toestcriteria vormen en kritisch nadenken over de kwaliteit van het eindproduct. Wanneer deze toetscriteria achteraf worden vergeleken met de vooropgestelde criteria, blijkt dat ze niet zover van elkaar zitten. Kortom, de studenten ontdekken  uit zichzelf dus welke criteria belangrijk zijn en wat uiteindelijk leidt tot een kwaliteitsvol resultaat.

In het laatste jaar daarentegen kunnen de studenten zelf een peer assessment houden met hun voorlopige afstudeerwerken door middel van de tool. Op deze manier kunnen de studenten elkaars werk vergelijken wat ook leidt tot een beter inzicht inzake de kwaliteit van het eindproduct.”

Wil je zelf aan de slag met comparatief beoordelen? Hier vind je meer info over de tool.