06 jun Werken aan feedbackgeletterdheid met comparatief beoordelen
Kim Borsen is werkzaam bij de opleiding Onderwijswetenschappen aan de Universiteit Utrecht als docent in de bachelor- en masteropleiding. Voordat ze bij de universiteit aan de slag ging, werkte ze als leerkracht in het basisonderwijs en als onderwijsadviseur. Samen met oud-collega Stephanie Kruiper vertelt ze over de inzet van Comproved in de eerstejaarscursus ‘Inleiding Onderwijswetenschappen’ en hoe de tool de feedbackgeletterdheid van studenten stimuleert.
Hoe heb je Comproved leren kennen?
Kim: “Toen ik vorig jaar startte bij de universiteit, werkte Stephanie al met Comproved bij de cursus Inleiding Onderwijswetenschappen. Dit jaar ben ik als cursuscoördinator bij die cursus betrokken en werken we opnieuw met de tool.”
“In de cursus schrijven studenten een inleiding van een wetenschappelijk artikel. Het onderwerp is al vooraf bepaald. Het is best wel een vast gekaderde opdracht. De tekst bestaat uit maximaal 2000 woorden. Dit jaar hebben we 150 studenten in de cursus.”
Wat was de motivatie om met de tool aan de slag te gaan?
Stephanie: “Er waren meerdere redenen. We gingen de cursus sowieso opnieuw bekijken omdat de eerstejaars die binnenkwamen zich in het diepe voelden gegooid. Studenten moesten in die cursus altijd al een academische tekst schrijven, maar vonden het nogal overweldigend. We wilden de rol van feedback vergroten en de feedbackgeletterdheid van studenten stimuleren.”
“Comproved sprak ons aan vanwege het formatieve deel over feedback en het summatieve deel over betrouwbaarder beoordelen. We hebben het ook ingezet om het verschil tussen docenten in het beoordelen te verminderen. We zorgden er voorheen al voor dat we de papers random verdeelden onder de docenten zodat je niet de bias had van het begeleiden van je eigen student. Maar alsnog keek er dan één docent naar een paper.”
Hoe hebben jullie de studenten voorbereid op het gebruik van de tool?
Kim: “Studenten maken kennis met Comproved in de werkgroepen. We geven aan het begin uitleg over de werkwijze. In de werkgroep gaan ze vervolgens aan de slag met het vergelijken van drie voorbeeldpapers. Dit dient als basis voor het gezamenlijk vaststellen van de criteria voor de opdracht en voor kennismaking met het principe van vergelijkend beoordelen in Comproved.”
“Daarna krijgen ze de opdracht om een outline te schrijven voor hun paper. Daar geven ze elkaar peerfeedback op in Comproved. Ze krijgen hierdoor zicht op hoe ze feedback moeten geven en krijgen uitleg van ons. Daarna is er nog een feedbackronde voor de conceptversie waarin studenten én docenten feedback geven. Als laatste leveren ze de eindversie in. Die wordt alleen beoordeeld door docenten. Daar wordt ook geen feedback meer op gegeven.”
Stephanie: “We hebben het schrijven van de outline pas in het tweede jaar dat we Comproved gebruikten toegevoegd. We merkten de eerste keer dat studenten pas na de peerfeedback op de concepten een beetje begrepen hoe het werkte en hoe belangrijk het is dat je je best doet kwalitatief goede peerfeedback te geven. Studenten merkten dat ze van elkaar afhankelijk zijn. We voegden de outline ronde toe zodat studenten meer aan de feedback van de concepten hebben.”
We werken inmiddels een paar jaar met comparatief beoordelen. In een ander vak wordt nu ook gebruikgemaakt van de tool en studenten vinden het heel fijn dat ze er opnieuw mee kunnen werken.
Hoe ervaren studenten deze werkwijze?
Kim: “Sommigen moeten nog even wennen aan de werkwijze, maar over het algemeen zijn ze positief. Het is fijn dat studenten in Comproved werken van anderen kunnen zien. Ze kunnen ook zien welke feedback anderen hebben ontvangen. Dat helpt omdat studenten nog wat zoekend zijn in wat goede feedback is. We werken inmiddels een paar jaar met comparatief beoordelen. In een ander vak wordt nu ook gebruikgemaakt van de tool en studenten vinden het heel fijn dat ze er opnieuw mee kunnen werken.”
“Studenten geven wel aan dat de rangorde ze stress oplevert, wat ook bij collega’s zorgen geeft. We staan uitgebreid stil bij hoe de rangorde tot stand komt en hoe je die kan aflezen, maar dat lijkt nog niet genoeg te helpen. Ik begreep dat er verschillende opties zijn over de weergave van de rangorde. We zoeken binnen het docententeam nog naar wat de beste keuze is voor studenten.”
Stephanie: “Het wordt een soort afweging hoe ver je hierin moet gaan. We hebben er wel expres voor gekozen studenten meteen kennis te laten maken met deze werkwijze. Tegelijk weten studenten veel nog niet en willen we ze alles tegelijk aanleren.”
Hoe hebben jullie als docenten het gebruik van de tool ervaren?
Kim: “Vorig jaar ging het heel soepel. Dit jaar waren er wat meer technische issues die ruis opleverden. Sommige studenten hadden maar één keer feedback gekregen, en anderen zagen hun eigen paper terug tijdens het vergelijken. We hebben hier contact met het Comproved team over gehad.”
“Ook viel op dat er dit jaar meer vergelijkingen gemaakt moesten worden door het grotere aantal studenten, terwijl het docententeam niet groter was geworden. Niemand vond het erg, maar docenten met één groep ervaren relatief meer nakijkwerk in verhouding tot hun uren. Nu overkwam het ons een beetje dat we dachten ‘oei nu zijn het er wel heel veel dit jaar’. We hebben dit jaar een docent buiten de cursus gevraagd mee te beoordelen. Die docent moet dan wel de opdracht goed kennen, daar liepen we dit jaar tegenaan. Ik denk dat je steeds bewuster om moet gaan met hoeveel tijd je besteedt aan nakijken en hoe je dat verdeelt.”
Hoe waren de resultaten van het assessment?
Stephanie: “Het is al even geleden, maar vorige jaren leken de resultaten vergelijkbaar met voordat we Comproved gebruikten. Naar mijn idee hadden we wel minder (zware) onvoldoendes. Je kan je natuurlijk afvragen waaraan dat ligt. Hebben de studenten daadwerkelijk meer geleerd, of zijn we door de nieuwe manier van beoordelen een andere standaard gaan hanteren? Misschien is het een combinatie. We weten in ieder geval wel dat de beoordeling nu betrouwbaar is.”
Sommige studenten kregen heel uitgebreide feedback en zeiden ‘dat moet één van jullie zijn, toch?’. Dat bleek niet zo te zijn. Ik vond het opmerkelijk dat ze het onderscheid niet meer konden maken tussen studentfeedback en docentfeedback.
Merken jullie dat studenten beter zijn geworden in feedback geven?
Kim: “De kwaliteit lijkt nog heel wisselend. Je ziet in Comproved dat studenten er een wisselende hoeveelheid tijd in stoppen. Bij de één is de feedback daardoor beter dan bij de ander.”
Stephanie: “Soms beseffen studenten niet hoe gevorderd hun feedbackgeletterdheid al is. Studenten kregen anoniem feedback van docenten en studenten. In een werkgroep kwamen studenten naar me toe en zeiden dat ze bepaalde feedback hadden gekregen waar ze niks mee konden. Ik keek met ze mee, en zag op mijn eigen scherm wel van wie de feedback kwam. Die feedback kwam van één van de docenten (lacht). Studenten hadden natuurlijk nooit gezegd dat ze niks met de feedback konden als ze geweten hadden dat het docentfeedback was. Andersom gebeurde ook: sommige studenten kregen heel uitgebreide feedback en zeiden ‘dat moet één van jullie zijn, toch?’. Dat bleek niet zo te zijn. Ik vond het opmerkelijk dat ze het onderscheid niet meer konden maken tussen studentfeedback en docentfeedback.”
En wat doen studenten met de feedback?
Kim: “Studenten maken nog een actieplan om aan te geven wat ze gaan doen met de feedback. Ik denk dat dat heel krachtig is. Ik weet van vorig jaar dat studenten echt wel kritisch naar de feedback hebben gekeken in die actieplannen.”
Stephanie: “Vorig jaar had ik expliciet een paar studenten gevraagd hoe ze een jaar na het vak naar Comproved keken. Eén van hen zei dat ze nu nog kritisch is op de feedback die ze krijgt, ook van docenten. Ze neemt de feedback niet zomaar aan, maar denkt na over wat ze er zelf van vindt. De student had het zelf helemaal niet door, maar ik zag dat als een heel belangrijk verschil met hoe studenten soms blindelings doen wat de docent zegt.”
Wat vinden jullie het grootste voordeel van de tool?
Kim: “Dat je met collega’s meer in overleg gaat over wat kwaliteit is. Er zit geen verschil meer tussen collega’s in hoe studenten beoordeeld worden. Je werkt als docententeam.”
Zouden jullie de tool aanraden aan andere docenten?
Kim: “Ja, volgens mij is dat al gedaan. Ik denk niet dat het wenselijk is dat er verschil zit in beoordelingen van docenten binnen cursussen. Dus ik denk dat comparatief beoordelen echt een voordeel heeft. Studenten zien ook meer werk van elkaar en kunnen daar veel uit leren.”
“We zien ook voordelen van het gebruik van Comproved bij het beoordelen van stages. Juist bij deze opdrachten wil je niet dat de beoordeling van één docent afhankelijk is. Er ligt voor ons nog een vraagstuk bij hoe we dit kunnen aanpakken, omdat er niet echt een vast inlevermoment is.”
Hebben jullie nog tips voor docenten die ook met de tool aan de slag willen?
Kim: “Ik denk echt dat je overleg nodig hebt met collega’s. Hoe kijk je tegen dingen aan? Overleg vooraf al met elkaar over welke aspecten van een opdracht je belangrijk vindt en stel samen criteria op. En ik denk dat het fijn is als je gewoon met iemand mee kan kijken hoe het werkt.”
Ben jij geïnspireerd geraakt om ook met comparatief beoordelen aan de slag te gaan? Lees er meer over in onze e-books of contacteer ons met je specifieke vragen en we helpen je graag op weg!
