Peer assessment met tool vermindert werklast voor docenten

Je kunt je voorstellen dat het werk van 91 studenten beoordelen en becommentariëren voor een aanzienlijke werklast zorgt. In de hoop wat van die werklast weg te nemen, experimenteerde men aan de Universiteit van Hasselt met de comparing-tool van Comproved. Wat bleek? Een peer assessment met behulp van de tool in combinatie met een traditionele beoordeling door de docent verminderde de werklast tot wel 60%. Lees hier hoe ze te werk gingen. 

Een groep van 91 tweede bachelorstudenten in de richting kinesitherapie kreeg aan het einde van het academiejaar de volgende opdracht:

• Ze moesten een klinische onderzoeksvraag formuleren op basis van hun ervaring als kinesitherapeut;
• Vervolgens gingen ze op zoek naar een relevant wetenschappelijk artikel en formuleerden op basis van het artikel een antwoord op de onderzoeksvraag;
• Ten slotte moesten ze het artikel evalueren en de sterke en zwakke punten van de studie aangeven.

Normaal gezien evalueren één of twee docenten al deze papers. De docenten beoordelen de papers dan door een ‘geslaagd’ of ‘niet geslaagd’ te geven en ze te voorzien van feedback. Die manier van beoordelen leidt natuurlijk tot een aanzienlijke werklast. Vooral wanneer meer dan één opdracht per student beoordeeld moet worden.

Experimenteren met paarsgewijs vergelijken

Deze keer, geïnspireerd door een presentatie over de Comproved-tool, besloot de docent een experiment uit te voeren. Aanvankelijk was hij wat sceptisch over de tool, maar de mogelijkheden waren verleidelijk genoeg om toch overstag te gaan. In het experiment moesten de studenten elkaars papers beoordelen en becommentariëren aan de hand van paarsgewijs vergelijken in de tool. Daarnaast beoordeelden de docenten op hun traditionele manier. Vervolgens konden de beoordelingen van de studenten vergeleken worden met die van de docenten.

Op basis van de paarsgewijze vergelijkingen die de studenten hadden gemaakt, berekende de tool de Scale Separation Reliability (SSR). De SSR was .80 en kan gezien worden als zeer betrouwbaar. Om die mate van betrouwbaarheid te bereiken hadden de 91 studenten in totaal 910 vergelijkingen gemaakt. Met andere woorden, elke paper werd 20 keer vergeleken.

Studenten beoordelen bijna net zo goed als docenten

De feedback die de studenten gaven was van hoge kwaliteit. De resultaten van een door de studenten gehouden enquete ondersteunden deze stelling. De studenten ervaarden de peer feedback uit de tool als relevant, eerlijk en legitiem. Omdat bijna elke beoordelaar feedback gaf op bijna elk werkstuk dat ze moesten vergelijken, kreeg elke student feedback van 15 à 20 peers. Studenten vonden dit een toegevoegde waarde van de comparing-tool.

Als we de uitkomsten van de peer assessment vergelijken met de geslaagd/niet geslaagd beslissingen van de docenten, zien we een grote gelijkenis. Zoals onderstaande afbeelding laat zien, kregen 12 studenten een onvoldoende van de docent (rode stippen) en zij bevinden zich allemaal aan de linkerkant van de rangorde. We kunnen concluderen dat studenten, door gebruik te maken van paarsgewijze vergelijking, de papers van hun medestudenten even goed kunnen beoordelen als de docenten op hun traditionele manier.

Zoals je kan zien, blijven er echter enkele blauwe stippen aan de linkerkant staan. Dat betekent dat ze door studenten van slechte kwaliteit werden bevonden, terwijl de docenten ze als geslaagd beschouwden. Daarom zal de docent het volgende academiejaar de 40% laagst gerangschikte werkstukken controleren om na te gaan of ze al dan niet geslaagd zijn.

Deze combinatie van peer assessment en een laatste controle door de docent vermindert de werklast van de docent met minstens 60%. Bovendien blijft de kwaliteit van de beoordelingen en de feedback gewaarborgd.

Wil je weten hoe de comparing-tool precies werkt? Vind meer info hier of contacteer ons met je specifieke vraag!