Cesuur bepalen in Comproved

Het resultaat van een beoordeling in Comproved is een rangorde die werkstukken rangschikt van minst goed naar best. Maar hoe weet je nu wie geslaagd is en wie niet? In dit artikel bespreken we twee manieren waarop je de cesuur kan bepalen.  

De Comproved comparing-tool is gebaseerd op comparatief beoordelen. Dat is een beoordelingsmethode waarbij verschillende beoordelaars producten van studenten in paren aangereikt krijgen en telkens moeten aangeven welke van de twee, in het licht van een bepaalde competentie, het betere product is.

Aan de hand van al die keuzes die de beoordelaars maken, schat de comparing-tool een rangorde. Die rangorde is een relatieve rangorde, een rangorde waarbij de volgorde ten opzichte van elkaar wordt vastgesteld en niet ten opzichte van een externe standaard. Nu is het in het onderwijs wel belangrijk om vast te stellen hoe goed de prestatie van de student is. Dit meten we meestal aan de hand van een standaard. Maar hoe krijgen we die standaard nu in die relatieve rangorde? We bespreken hieronder twee manieren.

Benchmarks

Ten eerste kan je werken met benchmarks. Die benchmarks kunnen producten van voorgaande jaren zijn. Wanneer je aan je huidige studenten een vergelijkbare taak geeft als aan je studenten uit vorige jaren, dan heb je heel wat producten waaruit je benchmarks kan selecteren. Zo kan je uit alle producten van voorgaande jaren werkstukken selecteren die goed de scores vertegenwoordigen die jij wil meenemen. Je kiest bijvoorbeeld een product dat goed weergeeft wat meerdere beoordelaars inschatten als een 2/10. Hetzelfde kan je doen voor een 4/10, een 6/10 en een 8/10. Deze geselecteerde producten voeg je vervolgens toe aan de te beoordelen producten.

De benchmarks zullen zo mee uitgestuurd worden in de paren en zodoende beoordeeld worden en een plaats op de rangorde krijgen. Nadien identificeer je de benchmarks weer en heb je in je relatieve rangorde toch absolute ijkingspunten opgenomen die je een goed beeld geven van waar de studenten van dit jaar staan. Bijkomend voordeel is dat je de huidige producten in een keer hebt gekalibreerd met de voorgaande jaren.

De “voldoende”

Het is koffiedik kijken op een relatieve rangorde waar de cesuur zou kunnen liggen. Die kan namelijk overal liggen. Ligt hij onderaan de rangorde, dan hebben de studenten het goed gedaan. Ligt de cesuur eerder bovenaan de rangorde, dan hebben de studenten nog heel wat marge om te verbeteren. En het is zeker niet zo dat bij een relatieve rangorde het midden van de rangorde de cesuur is. Dus begin er maar eens aan!

We hebben bij Comproved een handige manier bedacht om dat probleem op te lossen, namelijk de “voldoende”. Naar analogie met de benchmarks voeg je een product/document aan de te beoordelen producten toe. In dit geval kan het eenvoudigweg een document zijn met enkel het woord “voldoende” erop. Dit document zal ook mee uitgestuurd worden in verschillende paren. Zo zal je als beoordelaar vaak paren krijgen met producten van studenten, maar het kan ook zijn dat je plots een paar krijgt dat bestaat uit een product van een student en de “voldoende”. Dat ziet er dan als volgt uit.

Dit is een voorbeeld van een vergelijking tussen twee producten van studenten (in dit geval een schrijfopdracht):

En zo ziet een vergelijking tussen een product en de “voldoende” eruit:

In dit geval is de vraag die de beoordelaar zich moet stellen de volgende: “Is het product van voldoende kwaliteit om geslaagd te zijn of niet?”. Indien de beoordelaar oordeelt dat het product geslaagd is, dan duidt hij of zij het product aan als betere. Indien de beoordelaar het product als niet geslaagd ervaart, duidt hij of zij de “voldoende” aan als betere. Het document met “voldoende” zal dan ook ergens op de uiteindelijke rangorde geplaatst worden. Op die manier heb je in consensus met de medebeoordelaars de cesuur bepaald. Voor alle zekerheid kan je de meest dichtbijgelegen producten nog eens bekijken om in te schatten of het effectief de cesuur is. Maar nu weet je tenminste waar je moet beginnen zoeken.