Rubrics

Ken je dat gevoel dat de rubric die je hebt gemaakt eigenlijk niet toereikend is als je beoordeelt? Je wil zo objectief mogelijk zijn en houdt je zo veel mogelijk aan de beschrijvingen die zijn geformuleerd. Maar omdat bijvoorbeeld de structuur van de tekst in de opdracht niet juist is, is eigenlijk de argumentatie ook niet te volgen. Structuur en argumentatie zijn twee losse punten in de rubric. Moet je die nou beide laag scoren? Misschien had je tijdens overleg met collega’s wel afgesproken dat je dat niet zou doen, maar dit voelt verkeerd. We hebben nieuws voor je: er is een wetenschappelijk onderbouwd, betrouwbaar alternatief voor rubrics.

Wat is een rubric?

Een rubric benoemt de criteria waar het werk van studenten aan moet voldoen, met daarbij een beschrijving van de verschillende niveaus van kwaliteit en een vorm van scoring¹,². Deze definitie klinkt logisch, maar wees je ervan bewust dat pas over een rubric wordt gesproken als al deze elementen aanwezig zijn. Heb je dus een criterialijst gemaakt met een schaal van 1 tot 5, dan heb je officieel nog geen rubric omdat er nog een beschrijving mist. 

Rubrics kunnen verschillende vormen aannemen. Een meer analytische rubric (figuur 1) zal gedetailleerd per criterium beschrijven wat er wordt verwacht. Een holistische rubric (figuur 2) laat meer ruimte voor interpretatie door meerdere criteria in één beschrijving te benoemen. Een analytische rubric is handig voor formatieve doeleinden, omdat je in dat geval meteen gedetailleerde feedback terug krijgt uitgesplitst per criterium¹,². Tegelijk laat een holistische rubric meer ruimte voor interpretatie en wordt een kunstmatige opdeling van een complexe taak vermeden. Vaak hangen criteria immers samen, bijvoorbeeld als het gaat over argumentatie en opbouw van een tekst. Een tussenvorm is het gebruik van een single point rubric (figuur 3): deze beschrijft criteria op één niveau, maar wel met het idee dat verdere informatie wordt ingevuld door de docent of peer. Zo is er meer ruimte voor eigen invulling en uitleg terwijl nog wel informatie wordt uitgesplitst per criterium. 

De voordelen

Er zijn meerdere voordelen aan het gebruik van rubrics. Bij gebruik voor summatieve evaluatie kunnen ze bijdragen aan de validiteit en betrouwbaarheid van examens of toetsen. Ze dragen ook bij aan het creëren van transparantie bij studenten¹. De verwachtingen voor het examen worden duidelijker. Heldere verwachtingen zorgen ervoor dat de self-efficacy (geloof in eigen kunnen) kan worden bevorderd. Daarnaast helpt die duidelijkheid het feedbackproces, vermindert het zenuwen en bevordert het de zelfregulatie³.

De nadelen

Tegelijk zijn er nadelen aan het inzetten van rubrics. Ten eerste: een goede rubric maken is behoorlijk lastig en kost tijd. In de literatuur over rubrics wordt duidelijk dat de woorden die je kiest veel verschil maken in de effectiviteit van rubrics¹. Je rubric moet gericht zijn op beschrijvende taal, geen evaluatieve taal. Als je bijvoorbeeld in een rubric zet dat er een goede structuur in de tekst moet zitten, wat bedoel je dan? Verander die tekst dan liever als volgt: ‘het ontwerp, de resultaten en de discussie zijn beschreven en volgen elkaar logisch op’. Nog steeds is er natuurlijk wat ruimte voor interpretatie, want wat bedoelen we met logisch? Om ervoor te zorgen dat iedereen begrijpt wat wordt bedoeld is het daarom belangrijk de beschrijvingen te bespreken, of (nog beter) samen te formuleren^1,3.

Bovenstaande leidt meteen tot het tweede nadeel: de effectiviteit van rubrics is nogal afhankelijk van hoe ze ingezet worden. Voor formatieve toepassing zijn beschrijvingen vaak te abstract voor studenten om goed te begrijpen. Je moet dus wel de tijd hebben om de rubric te bespreken en begrijpelijk te maken voor studenten⁴.

Voor summatieve doeleinden zijn rubrics vaak ingewikkelder om in te zetten dan traditionele criterialijsten¹. Is er namelijk ruimte om met elkaar een goed doordachte rubric te formuleren? En zonder een goed overleg met collega’s, bereik je dan wel die verbetering in de betrouwbaarheid en validiteit van je examen of toets? De praktijk blijkt ondanks alle goede bedoelingen vaak weerbarstig². Rubrics voelen voor docenten nog wel eens als een kunstmatige opdeling van een vaardigheid in onderdelen die heel veel met elkaar te maken hebben. Zonder duidelijke afspraken loop je het risico dat een rubric niet wordt ingezet zoals deze is bedoeld.

Formatief, summatief, comparatief

Onderzoekers lijken het er redelijk over eens te zijn dat rubrics het beste ingezet kunnen worden om het leren van studenten te bevorderen^1,5,6. Dit terwijl docenten rubrics vooral als beoordelingsformulier blijven zien. Een effectieve rubric zet je in de hoofdzaak in als hulpmiddel om duidelijkheid te geven aan studenten en het feedbackproces verder te helpen. Maar willen studenten dit hulpmiddel effectief gebruiken, dan besteed je ook aandacht aan het uitleggen van je rubric. Dat kan heel goed door studenten comparatief te laten beoordelen⁴.

Bij comparatief beoordelen vergelijk je (voorbeeld)werken met elkaar. Het simpelweg delen van voorbeelden werkt niet om kwaliteitsstandaarden duidelijk te krijgen, je moet er actief mee aan de slag. Door verschillende (voorbeeld)werken te vergelijken en bespreken wordt kwaliteitsbesef bij studenten bevorderd⁴. Dit kan goed met de comparing-tool van Comproved. Na het vergelijken kan je samen met je studenten een rubric maken of aanpassen waarin je expliciteert wat de kenmerken zijn van een goed uitgevoerde opdracht. Zo worden criteria en beschrijvingen concreet. Tijdens een peerassessment kunnen studenten de rubric vervolgens gebruiken als hulpmiddel om peerfeedback te formuleren.

Voor een summatieve beoordeling is comparatief beoordelen een heel goed alternatief voor het gebruik van een rubric. Vergelijken van werken is namelijk een veel natuurlijker én betrouwbaarder proces dan het werken met criteria. Door comparatief te beoordelen deel je een complexe vaardigheid niet meer op in kunstmatige onderdelen, maar wordt holistisch beoordeeld op basis van de expertise van meerdere beoordelaars tegelijk. Deze methode blijkt betrouwbaar en valide, zo laat meerdere jaren onderzoek zien^7,8. In Comproved organiseer je gemakkelijk een assessment waarmee je vergelijkend beoordeelt. Meer weten? Lees verder voor ervaringen van anderen!

Literatuur

¹Brookhart S. M. (2018). Appropriate criteria: Key to effective rubrics. Frontiers in Education, 3, 1-12. https://doi.org/10.3389/feduc.2018.00022

²Ragupathi, K., & Lee, A. (2020). Beyond fairness and consistency in grading: The role of rubrics in higher education. In C. S. Sanger and N. W. Gleason (eds.), Diversity and Inclusion in Global Higher Education, (pp. 87-109). Palgrave Macmillan https://doi.org/10.1007/978-981-15-1628-3_3

³Panadero, E., & Jonsson, A. (2013). The use of scoring rubrics for formative assessment purposes revisited: A review. Educational Research Review, 9, 129-144. https://doi.org/10.1016/j.edurev.2013.01.002

⁴Bouwer, R., Lesterhuis, M., Bonne, P., & De Maeyer, S. (2018). Applying criteria to examples or learning by comparison: effects on students’ evaluative judgment and performance in writing. Frontiers in Education (3), 86. https://doi.org/10.3389/feduc.2018.00086

⁵Reddy, Y., & Andrade, H. (2010). A review of rubric use in higher education. Assessment and Evaluation in Higher Education, 35, 435–448. https://doi.org/10.1080/02602930902862859

⁶Panadero, E., & Jonsson, A. (2020). A critical review of the arguments against the use of rubrics, Educational Research Review, 30. https://doi.org/10.1016/j.edurev.2020.100329

⁷Verhavert, S., Bouwer, R., Donche, V., & De Maeyer, S. (2019). A meta-analysis on the reliability of comparative judgement. Assessment in Education: Principles, policy & practice, 26(5), 541-562. https://doi.org/10.1080/0969594X.2019.1602027

⁸Lesterhuis, M., Bouwer, R., van Daal, T., Donche, V., & De Maeyer, S. (2022). Validity of comparative judgement scores: how assessors evaluate aspects of text quality when comparing argumentative texts. Frontiers in Education, 7.  https://doi.org/10.3389/feduc.2022.823895