Wanneer is comparatief beoordelen zinvol?

Als docent heb je voor het beoordelen van toetsen en taken de keuze uit een scala aan beoordelingsmethoden. Comparatief beoordelen is daar één van. Maar wanneer is het nu een goed idee om gebruik te maken van deze methode? Dat vertellen we je in dit artikel.

Complexe competenties

De keuze voor een bepaalde beoordelingsmethode hangt af van je leerdoelen en de toets of taak die je gebruikt om na te gaan in hoeverre je leerlingen die doelen bereiken. Zo is kennis eenvoudig te toetsen aan de hand van meerkeuzevragen of gesloten vragen. Zulke toetsen zijn eenvoudig en betrouwbaar te beoordelen. Beoordelaars zullen immers altijd tot sterk gelijkaardige resultaten komen.

Comparatief beoordelen is vooral interessant als de competentie te complex is om in één of enkele aspecten goed te kunnen vatten. Denk aan reflectiestrategieën, handelingsplannen, oplossingsstrategieën, stagefilmpjes, beeldende werken, muziekstukken, presentaties, scripties of portfolio’s. Om die complexiteit te proberen vatten ontstond er een tendens naar het gebruik van criterialijsten en rubrieken. Zulke analytische beoordelingsmethoden schieten echter vaak te kort op vlak van betrouwbaarheid en validiteit. Zo is er vaak overlap tussen de verschillende criteria of worden ze wel eens op verschillende manieren geïnterpreteerd.

Daarom wordt voor het beoordelen van complexe competenties de laatste jaren meer en meer aandacht besteed aan comparatief beoordelen. Deze methode sluit beter aan bij de werking van het menselijke brein en is dus cognitief gezien een makkelijkere taak. Daardoor nemen beoordelaars consistentere beslissingen en dat leidt dan weer tot betrouwbaardere resultaten.

Een groter aantal producten

Comparatief beoordelen met een beoordelingstool is pas zinvol vanaf 16 producten. Een kleiner aantal producten kan je immers nog perfect handmatig rangschikken van minst goed naar best. Vanaf een 16-tal producten wordt het onoverzichtelijk en dus moeilijker om zelf een rangorde samen te stellen. Een tool die comparatief beoordelen ondersteunt is dan een handig hulpmiddel.

Daarnaast is het voor de betrouwbaarheid van de beoordeling van belang dat producten meerdere keren met verschillende andere producten vergeleken kunnen worden. Om tot voldoende betrouwbare resultaten te komen, is een minimumaantal van 16 producten vereist. Bij minder producten heb je meer vergelijkingen nodig dan alle mogelijke paren die gevormd kunnen worden. Bij een groter aantal producten heb je met een fractie van alle mogelijke combinaties al voldoende data om de rangorde betrouwbaar te kunnen schatten.

Meerdere beoordelaars

In principe kan je alleen of met twee beoordelaars ook een rangorde samenstellen. Het is echter zinvoller om meerdere perspectieven mee te nemen in de beoordeling. Om te garanderen dat alle aspecten van de competentie mee in rekening worden genomen en dat de validiteit van het assessment daarmee op punt staat, is het aan te raden om met minimum vier beoordelaars te werken.

Verschillende formats

Comparatief beoordelen is geschikt voor het beoordelen van verschillende formats. En dat omdat je niet gebonden bent aan een strak beoordelingskader. Dus niet alleen teksten, maar ook video’s, muziek, tekeningen of beelden zijn geschikt om comparatief te beoordelen. Stel dat je je leerlingen de opdracht geeft om zichzelf op een creatieve manier voor te stellen. De één stuurt een video in en de ander een gedicht. Met comparatief beoordelen kunnen die dus perfect samen in een assessment beoordeeld worden.