26 apr Betrouwbaar beoordelen met meerdere docenten
Zita Albon is docent bij de Academische Lerarenopleiding aan de Universiteit Utrecht. Een belangrijk onderdeel van haar werk gaat over het opleiden van academische leerkrachten voor het basisonderwijs. De academische lerarenopleiding is een samenwerkingsverband tussen de Universiteit en Hogeschool Utrecht, waarin studenten zowel een studie onderwijswetenschappen als de lerarenopleiding afronden. Toen ze twee jaar geleden startte als docent kwam ze in aanraking met Comproved en was meteen enthousiast. Nu gebruikt Zita Comproved ook in een andere cursus. Ze vindt het een groot voordeel dat je ook met meerdere docenten samen betrouwbaar kan beoordelen.
Sinds wanneer werk je met Comproved?
“Toen ik begon bij de universiteit werd comparatief beoordelen voor het eerst toegepast in de eerstejaarscursus Inleiding Onderwijswetenschappen. Voor iedereen was het werken met Comproved nieuw en dat was een voordeel. Iedereen was nog aan het leren, niet alleen ik. Voor mij was de omslag eigenlijk makkelijker omdat ik nog geen werkwijze had ontwikkeld. Collega’s moesten meer schakelen dan ik. Ik ging gewoon mee in die nieuwe structuur.”
Nu gebruik je de tool ook in een andere cursus?
“Ja, ik ben na de ervaring bij Inleiding Onderwijswetenschappen ook in een andere cursus aan de slag gegaan met comparatief beoordelen. De cursus Orthopedagogiek is voor derdejaarsstudenten en wordt gegeven in samenwerking met de hogeschool. We zijn met drie docenten. In deze cursus willen we ervoor zorgen dat er goede overeenstemming is met de hogeschool en het liefst ook met de stagescholen waar de studenten de opdracht uitvoeren. Die samenwerking probeer ik meer op de kaart te zetten.”
“In deze cursus werken we dit jaar voor het eerst met docenten van zowel de universiteit als de hogeschool. We beoordelen nu ook samen, wat een spannend proces is. Het is voor ons nieuw om zo te werken. We gebruiken Comproved onder andere om betrouwbaar te blijven beoordelen met deze diversiteit aan beoordelaars. Die diversiteit vind ik trouwens een goede zaak.”
Hoe hebben jullie de tool ingebed in deze cursus?
“Een collega deed de implementatie van Comproved in Inleiding Onderwijswetenschappen. Ik heb vorig jaar meegekeken en de organisatie dit jaar overgenomen, maar dat wil niet zeggen dat ik een expert ben. Op dit moment ben ik nog niet tevreden. Dit jaar was ik vooral druk met de organisatie van de cursus. Orthopedagogiek kwam er dus een beetje achteraan.”
“Desondanks kon ik wel veel van de opgedane ervaringen gebruiken. Ik heb veel gebruikt dat ik al had: planningen, voorbeeldmails, etc. Alle verzamelde materialen en hulpmiddelen voor het werken met Comproved heb ik gebundeld in een map voor onze afdeling. Voor de masterscripties wilden ze ook experimenteren met comparatief beoordelen. Ze maken nu gebruik van die map. Verder kijkt er nu ook weer iemand bij mij mee. Ik vind het belangrijk dat de kennis niet bij één persoon ligt. Als we het iedere keer alleen blijven doen, wordt het nooit van ons allemaal.”
“Ik heb me nog wel vergist in het meenemen van nieuwe collega’s in het proces. Dit vraagt wel wat. Ik heb een artikel over comparatief beoordelen en de handleiding van de cursus gestuurd, maar niet alles wordt gelezen. We hebben vooraf geoefend met comparatief beoordelen door voorbeelden te vergelijken. Dat ging prima. Als collega’s dan eenmaal aan de slag gaan met comparatief beoordelen, komen er toch vragen en gaan ze twijfelen. Ze stellen vragen zoals ‘hoe weet ik nou of ik goed kijk?’ In dat proces heb ik niet echt begeleid en daar was ook niet altijd tijd voor. Ik merk dus dat het belangrijk is om Comproved wekelijks op de agenda van het docentenoverleg te zetten.”
“Collega’s zijn allemaal bezig met onderwijs en onderwijskunde. Op een gegeven moment raken sommigen echt geïnteresseerd en gaan ze behoorlijk diepgaande en technische vragen stellen. Ik lees de handleiding en blogs op de website, maar kan niet altijd alle informatie vinden of het blijft voor mij ook te technisch. Dat is wel een gevaar denk ik. Het liefst wil je een expert in je team hebben die ook de tijd heeft om zich te verdiepen. Jullie zijn wel heel benaderbaar. Dus als ik iets niet begrijp of als er iets misgaat, kan ik gemakkelijk met iemand van Comproved mailen. Dat is fijn.”
We hadden een opdracht waarbij wij vonden dat Comproved minder geschikt was en hier zetten we het dus ook niet in. De studenten vonden dat jammer en vroegen alle opdrachten in Comproved te doen. Ze zeiden: ‘we kunnen dat, we snappen het programma, we geven goede feedback en krijgen veel meer feedback. Waarom zouden we nu dan 1-op-1 feedback geven?’. Ze hebben gelijk ook.
Wat vinden de studenten van Comproved?
“Bij Orthopedagogiek hebben we voor de eerste keer een groep studenten die voor de tweede keer in aanraking komt met Comproved, omdat ze het dus al hebben gebruikt bij Inleiding Onderwijswetenschappen in het eerste jaar. We gebruiken Comproved zowel voor feedback als voor de summatieve beoordeling van een adviesopdracht. Zelf feedback geven vonden ze heel spannend. We doen als docenten mee met het feedback geven, maar studenten kunnen niet zien welke feedback van de docent komt en welke van peers. Er waren studenten die precies wilden weten welke feedback van de docent kwam. Ik zei tegen hen: ‘het feit dat je niet kan zien welke feedback van de docent komt zegt al genoeg’. Het onderscheid tussen docent- en peerfeedback was echt niet te zien. Ze hebben elkaar hele goede feedback gegeven.”
“We werken nog niet voor alle opdrachten van de cursus met Comproved. We hadden een opdracht waarbij wij vonden dat Comproved minder geschikt was en hier zetten we het dus ook niet in. De studenten vonden dat jammer en vroegen alle opdrachten in Comproved te doen. Ze zeiden: ‘we kunnen dat, we snappen het programma, we geven goede feedback en krijgen veel meer feedback. Waarom zouden we nu dan 1-op-1 feedback geven?’. Ze hebben gelijk ook.”
“Praktisch liepen we nog wel tegen wat dingen aan. Zo is bij ons Comproved niet ingebed in het Learning Management System. Plagiaatcontrole zit ook nog los van Comproved. Studenten moeten goed opletten waar ze hun werk allemaal inleveren en dat zorgt soms voor problemen. Het zorgt ook voor behoorlijk wat regelwerk.”
Hoe bevalt het summatieve beoordelen?
“Voor de summatieve beoordeling gebruikten we een rubric. Deze werd door studenten als ingewikkeld ervaren. We zijn nu bijna klaar met vergelijken voor de eindbeoordeling en de rangorde is betrouwbaar. Ik vond het spannend of de betrouwbaarheid hoog genoeg zou worden, omdat één docent toch echt een andere kijk had. Maar dat ging goed. Omdat het een relatief kleine cursus is met maar 23 studenten merk ik wel dat het nu niet zo anoniem is. Ik lees een stuk en weet welke student het is. Studenten zetten soms alsnog hun naam op het werk terwijl we ze zeggen dit niet te doen. Ik vergelijk liever helemaal anoniem.”
“Voor het bepalen van de cijfers hebben we een voldoendeblad toegevoegd. We vergelijken dus af en toe het woord ‘voldoende’ met een paper om samen de cesuur te bepalen. De voldoende kwam op plek 10 te staan in de rangorde. Ik dacht: oh nee, 14 onvoldoendes is echt heel veel. We gaan de cijfers nog bepalen door twee papers op de rangorde van een cijfer te voorzien, waarna Comproved de rest van de cijfers berekent. Ik heb die twee papers vast bekeken en ik denk dat het voldoendeblad niet op de juiste plek staat. Ik hoop dat mijn collega’s dat ook vinden. Tegelijk zeiden collega’s al dat er vaak veel onvoldoendes zijn bij deze cursus. Studenten vonden het ook een moeilijke opdracht. We gaan het er nog over hebben.”
Dat je die diversiteit aan docenten goed benut en daardoor veel betrouwbaarder beoordeelt met elkaar. Ik weet zeker dat we echt anders beoordelen. Dat zegt niets over docenten en kwaliteit, we zijn gewoon zo verschillend. Ik denk dat het goed is dat je anders mag kijken en toch studenten een betrouwbare beoordeling geeft. Dat vind ik wel mooi.
Wat vind je het grootste voordeel van de tool?
“Dat je die diversiteit aan docenten goed benut en daardoor veel betrouwbaarder beoordeelt met elkaar. Ik weet zeker dat we echt anders beoordelen. Dat zegt niets over docenten en kwaliteit, we zijn gewoon zo verschillend. Ik denk dat het goed is dat je anders mag kijken en toch studenten een betrouwbare beoordeling geeft. Dat vind ik wel mooi.”
“Aan de kant van studenten is het voordeel dat ze veel meer voorbeelden zien, feedback krijgen en niet zo onzeker zijn. Bij Inleiding Onderwijswetenschappen in het eerste jaar zien ze drie voorbeelden, dus ze krijgen meteen een beeld van hoe het eruit moet zien. Dan gaan ze anders hun proces in dan wanneer je niets laat zien, wat best nog wel vaak gebeurt bij sommige cursussen. Docenten geven geen voorbeeld want ‘wat hebben ze daar nou aan?’ Ik heb nu bij deze cursus geen voorbeelden gegeven, maar dat kwam doordat we de opdracht hebben herzien. Er kwam iets nieuws bij en daar hebben we nog geen voorbeelden van. Daarnaast speelt toch ook mee dat deze cursus zo klein is en de studentengroep elkaar goed kent. Voorbeelden van vorig jaar worden soms herkend. Die anonimiteit blijft lastig.”
Zou je de tool aanraden aan andere docenten?
“Ja, vooral vanwege die betrouwbaarheid. Ik heb de tool aan meerdere mensen aangeraden. Bij psychologie heb ik ‘m aangeraden. Ik heb nog niet gehoord of ze het gaan doen. Een collega had de tool al eerder gepromoot bij ons docententeam, dus bij de masterthesis beginnen ze ook te experimenteren. Ze pakken dat goed aan. De docenten daar vinden het lastig. Die zeggen ‘een thesis kan je niet vergelijken in Comproved’. De coördinator gaat het toch proberen. Ze gaan eerst een pilot draaien, ook om meer docenten mee te nemen.”
“Een collega was wat sceptisch. Die vond dat je vergelijken van opdrachten en peerfeedback geven niet op deze wijze met eerstejaars kan doen omdat ze soms te onzeker zijn. Ik heb toen bewust die collega uitgenodigd als beoordelaar in de cursus. Het heeft wel geholpen. Ze is niet helemaal van gedachten veranderd, omdat ze zelf geen onderdeel van de cursus was maar alleen meedeed met het beoordelen. Hierdoor zag ze niet het hele proces. Het is echt niet zo dat we studenten in het diepe gooien. Ze krijgen veel begeleiding in de werkcolleges. Die begeleiding is gericht op hoe je feedback geeft, hoe je dat schrijfproces op gang krijgt… Die informatie had deze collega niet. Ik vind het belangrijk om collega’s goed mee te nemen in deze nieuwe werkwijze.”
Heb je nog tips voor docenten die met de tool aan de slag willen?
“Ja, een hele lijst (lacht). Vooral het meenemen van je docententeam. Mensen gaan toch hun eigen invulling eraan geven en daardoor ontstaan misconcepties. Ik hoorde ook nu weer dat collega’s tijdens het vergelijken punten gingen opschrijven, in plaats van holistisch kijken. Ik zag in Comproved dat iemand heel lang aan het vergelijken was. Die nieuwe collega deed over haar eerste vergelijking drie kwartier. Ze moest er 80 doen. Ik zei ‘dat gaat niet, reken maar uit, je gaat het nu anders aanpakken’. Dan geven we elkaar wel tips over hoe je het moet doen. Sommige papers hebben bijvoorbeeld heel veel tussenkoppen en dat weet je ook al genoeg. Dus even op een andere manier kijken.”
“Ik zeg ook altijd: neem een timer en ga niet langer dan een bepaalde tijd naar een vergelijking kijken. Ikzelf ben een langzame vergelijker. Ik wil het niet nog sneller dan dat ik het nu doe. Grappig genoeg, de mensen die supersnel waren zijn toch betrouwbaar. Vertrouw op elkaars oordeel. Iedereen kijkt naar iets wat diegene belangrijk vindt.”
“Werken met Comproved betekent dat we veel moeten overleggen. Maar is dat eigenlijk niet beter? Want blijkbaar overleggen we nooit als we beoordelen. Alleen de mensen die twijfelen over hun oordeel gaan dat voorleggen aan een collega, maar het is niet standaard dat je met twee personen kijkt naar een paper. Nu kijken we met z’n allen naar dezelfde papers. Dat je daardoor even moet afstemmen wordt wel gevoeld als een belasting. Doordat je samen kijkt is de beoordeling wel van betere kwaliteit.”
