Taken vergelijken is leerrijk én leuk

Janneke van der Loo is werkzaam aan de Universiteit van Tilburg als vakdidacticus en opleidingsdirecteur aan de Lerarenopleiding Nederlands. Daarnaast is ze ook universitair docent aan de opleiding Communicatie- en Informatiewetenschappen. In verschillende van haar vakken maakt ze gretig gebruik van de Comproved comparing-tool. Uit een recente evaluatie blijkt dat haar studenten taken vergelijken leerrijk én leuk vinden. Wij waren nieuwsgierig hoe Janneke de tool toepast in haar lessen.

Hoe heb je Comproved leren kennen?

“Via het netwerk van schrijfonderzoekers leerde ik tijdens een trainingsschool aan de Universiteit Antwerpen één van de onderzoekers van het onderzoeksproject D-PAC (voorloper van Comproved, n.v.d.r.) kennen. We raakten aan de praat over comparatief beoordelen en ik zag meteen de mogelijkheden voor mijn vak Academisch Nederlands.”

Wat was je motivatie om met de comparing-tool aan de slag te gaan?

“In mijn vak Academisch Nederlands leren studenten hoe ze een onderzoeksverslag moeten schrijven. Een van de leerdoelen van dat vak is dat ze leren reflecteren op hun eigen werk door het geven en verwerken van feedback. In eerdere jaren liet ik de studenten elkaar peer feedback geven op de traditionele, analytische manier, met criterialijsten. Maar ik was eigenlijk altijd ontevreden over die werkwijze. De criterialijst werd een soort van afvinklijstje en de feedback bleef heel oppervlakkig. Ik had de indruk dat zowel het geven als ontvangen van die feedback niet veel opleverde.”

“Daarnaast had ik ook een praktisch probleem wanneer ik de peer feedback online organiseerde. Ik koppelde dan studenten aan elkaar, maar daardoor waren ze heel erg afhankelijk van die ene persoon aan wie ze gekoppeld waren. Als je bijvoorbeeld de pech had dat jouw feedbackgever geen werk inleverde of met het vak stopte, dan ontving je plots geen feedback meer.”

“Enerzijds vond ik dus de kwaliteit van de feedback niet zo goed en de activiteit gewoon niet zo leuk. En anderzijds waren de studenten heel erg afhankelijk van de feedbackgever aan wie ze gekoppeld waren. Die problemen hoopte ik met de comparing-tool te verhelpen.”

Hoe heb je de tool ingebed in de lessen?

“Ik ben in verschillende stappen te werk gegaan. Ik heb de studenten eerst laten kennismaken met de techniek van comparatief beoordelen, maar dan zonder tool. Tijdens de les kregen ze een aantal teksten van het jaar voordien en die moesten ze in groepjes rangschikken van minder goed naar best. Door samen te praten over de kwaliteitseisen van zo’n tekst en criteria te formuleren, kregen de studenten een helder beeld van wat van hen verwacht werd.”

“Daarna gingen de studenten zelf aan de slag met schrijven. In dit geval schreven ze een inleiding bij een onderzoeksverslag waarin ze verschillende bronnen moesten verwerken. Die inleiding moesten ze uploaden in Comproved om dan elkaars werken te beoordelen. De studenten moesten elk 7 vergelijkingen maken, waarbij ze bij elk paar telkens de beste tekst moesten aanduiden. Dat vergelijken kunnen ze goed. Ze zien snel het verschil tussen wat goed is en wat minder goed.”

“Bij de laatste 3 paren moesten ze ook feedback geven. Daarvoor hadden we richtlijnen gegeven. Zo moesten de studenten telkens een positief punt en twee verbeterpunten benoemen. Bij die verbeterpunten moesten ze aangeven welk probleem ze constateerden, waarom ze dachten dat dat een probleem was en wat een oplossing zou kunnen zijn.”

“Vervolgens hebben de studenten op basis van die peer feedback hun inleiding herschreven. Toen hun hele tekst af was, hebben ze die opnieuw ingeleverd. Daar hebben ze nog docentfeedback op gekregen. Dat hebben we zonder Comproved gedaan omdat de uiteindelijke teksten lang waren en dat vonden we minder werkbaar om op een goede manier comparatief te doen.”

Hoe ervaarden de studenten die werkwijze?

“We hebben dat vak met een onderzoeksassistent uitgebreid geëvalueerd en daaruit bleek dat de studenten Comproved heel nuttig en leuk vonden. Ook vonden ze de activiteit van het vergelijken gemakkelijk. Ten minste, wanneer de verschillen tussen twee teksten groot waren. Zodra de teksten dichter bij elkaar zaten qua kwaliteit, vonden ze het moeilijker om de beste aan te duiden. Het is natuurlijk heel leerrijk om na te denken over wat maakt dat je twijfelt en welk aspect voor jou nu de doorslag geeft.”

“Verder vonden ze de rangorde ook heel inzichtelijk. Ik was benieuwd naar hoe ze dat zouden ervaren, want ik kan me voorstellen dat het iets met je motivatie doet als je laag op de rangorde staat. Maar over het algemeen werd er positief op gereageerd. De studenten vonden het fijn dat ze veel verschillende teksten konden inkijken. Zo zagen ze dat er niet één juiste weg is naar een goede tekst, maar dat er verschillende manieren zijn.”

“Tot slot vonden ze het ook handig om veel feedback te krijgen. Het hielp hen nieuwe inzichten te verwerven en kritisch naar hun eigen tekst te kijken. Ze vonden het wel lastig dat ze soms tegenstrijdige feedback kregen. Maar ook daaruit kan je leren. Er is een reden waarom de meningen verdeeld zijn en het is een aanzet om je tekst nog eens specifiek op dat aspect te bekijken. De studenten leren zo omgaan met die ruis en onzekerheid. Dat vind ik één van de grootste voordelen van Comproved.”

Merkte je veel verbetering bij de tweede versie van de inleiding?

“Ja, die tweede versies waren een heel stuk beter. Ik zou willen zeggen dat ik bij de tweede ronde alleen maar heel goede inleidingen kreeg, maar dat was nu ook weer niet het geval (lacht). Het waren tenslotte eerstejaarsstudenten, tijdens een eerste semester, en de eerste keer dat ze een academische paper schreven. Ze moesten dus wel van ver komen.”

“In het algemeen had ik wel de indruk dat ze hun teksten op een dieper niveau herschreven hadden. Bij feedback met een criterialijst focussen studenten gewoonlijk erg op spelfouten en grammatica. Uiteraard is het goed dat dat ook opgemerkt wordt, maar dat gaat geen groot verschil in tekstkwaliteit geven. Het gaat toch voornamelijk over de structuur van de tekst. Door de holistische benadering van het comparatief beoordelen, werd de feedback meer op dat niveau gegeven.”

Wat kan volgens jou de tool nog beter maken?

“Er zijn enkele kleine, praktische zaken die beter kunnen. Bijvoorbeeld, de velden waarin feedback moet gegeven worden, zijn aan de kleine kant waardoor sommige studenten de indruk hadden dat ze geen uitgebreide feedback moesten geven. Qua didactische opzet, daarentegen, heb ik geen nadelen ondervonden. Voor een peer feedback werkt het heel goed. De studenten vonden het een leuke en interessante activiteit. Het was ook heel fijn en leerrijk om de rangorde en feedback achteraf samen te bekijken. Tijdens een college hebben de studenten in groepjes elkaars feedback besproken en wat die betekende voor het herschrijven van hun teksten. Dat vond ik heel waardevol.”

“Daarnaast is de tool ook heel eenvoudig in gebruik. Je hoeft geen ellenlange handleidingen door te nemen om ermee aan de slag te gaan. Ik vind dat het heel intuïtief werkt. De studenten hadden ook nauwelijks instructie nodig om vlot met de tool te werken.”

Ben je van plan de tool nog verder te gebruiken?

“Ik ga dit academiejaar voor die eerste opdracht op dezelfde manier tewerk gaan. Daarnaast wil ik de tool ook gebruiken bij de tweede opdracht in dat vak. Dat is een groepsopdracht. Maar ik ben nog aan het kijken hoe ik dat ga aanpakken en wat ik er precies mee wil bereiken.”

“Ik gebruik de tool trouwens ook in andere vakken. Daar heeft het een tweeledig doel. In de lerarenopleiding Nederlands gebruik ik het enerzijds om de studenten te helpen hun teksten te verbeteren. En anderzijds om hen kennis te laten maken met de tool zodat zij hem misschien later kunnen inzetten in hun eigen lessen. In het mastervak taalkennis laat ik zien hoe je Comproved kan inzetten voor onderzoek, bijvoorbeeld voor het meten van schrijfkwaliteit.”

Wat kan docenten overtuigen om met de tool aan de slag te gaan?

“Wat meespeelt, denk ik, is dat een analytische beoordelingsmethode zoals een criterialijst een soort van schijnvastheid biedt. Daar staan concrete punten op en dat kan handig zijn, ook voor studenten. Ze zien dan op welke onderdelen ze goed scoren en op welke minder. Dat geeft hen het gevoel dat ze er meer grip op hebben. Dat holistisch en vergelijkend beoordelen, daarentegen, is minder bekend. Maar ik merkte zelf door met Comproved te werken dat vergelijken veel makkelijker is dan iets op zichzelf te bekijken.”

“Als docenten, kennen we ook allemaal het sequentie-effect. Als je net drie slechte papers hebt gezien en dan een matige, dan ga je die matige waarschijnlijk een hoger cijfer geven dan dat hij werkelijk verdient. Met Comproved wordt dat sequentie-effect vermeden omdat alle werken meerdere keren vergeleken worden in verschillende paren en door verschillende beoordelaars. Zulke dingen kunnen docenten overtuigen om de tool te proberen.”

“Verder denk ik dat veel docenten al comparatief beoordelen zonder dat ze het doorhebben. Ze maken dan stapeltjes van taken, vergelijken ze met elkaar en rangschikken ze volgens kwaliteit. Je kan hen daarop aanspreken en hen laten zien dat dat de werkende principes achter Comproved zijn.”

Meer weten over comparatief beoordelen? lees er alles over in ons ebook.