15 sep Werken aan onderwijsverbetering met toetsdata
Roos Van Gasse, medeoprichter van Comproved, is onderzoeker en gastdocent aan de faculteit Opleidings- en Onderwijswetenschappen van de Universiteit Antwerpen. Daarnaast is ze ook teamleider Schoolfeedback bij het Steunpunt Centrale Toetsen in Onderwijs. We gingen met haar in gesprek over schoolfeedback en het gebruik van toetsdata voor onderwijsverbetering.
Van waar jouw passie voor het onderwijs?
“Mijn oorspronkelijke plan was om les te geven. Maar tijdens de lerarenopleiding had ik heel erg het gevoel dat ik meer wou weten over onderwijs. Ik ben dan opleidings- en onderwijswetenschappen gaan bijstuderen. Daar ben ik tijdens het schrijven van mijn masterproef geïnteresseerd geraakt in onderzoek en in het oriënteren van leerlingen.”
“Na mijn studies heb ik eerst aan de universiteit wat beleidsgericht onderzoek gedaan. Vervolgens ben ik bij D-PAC, het onderzoeksproject waar Comproved uit voortkomt, terechtgekomen. Daar deed ik onderzoek naar wat leerkrachten kunnen leren van de toetsprestaties van hun leerlingen om hun onderwijspraktijk te verbeteren.”
Waar ben je momenteel voornamelijk mee bezig?
“Op dit moment doe ik onderzoek voor het Steunpunt Centrale Toetsen in Onderwijs. Omdat de onderwijskwaliteit in Vlaanderen achteruitgaat, heeft de minister beslist dat er vanaf volgend schooljaar in het hele gewest centrale toetsen georganiseerd zullen worden om de kwaliteit van ons onderwijs beter in het oog te kunnen houden.”
“Om die toetsen vorm te geven is er een interuniversitair steunpunt opgericht. Ik ben aangesteld als teamleider van het luik rond schoolfeedback. We onderzoeken welke data uit de toetsresultaten we kunnen gebruiken voor schoolfeedback en we ontwerpen dashboards om die feedback terug te koppelen aan de scholen. Verder doen we aan gebruikersmonitoring en tot slot bekijken we hoe we scholen kunnen professionaliseren om met die feedback aan de slag te gaan.”
Zal comparatief beoordelen een rol spelen bij die centrale toetsen?
“Het idee is dat alles automatisch gescoord moet worden. Maar automatisch scoren van een competentie als schrijfvaardigheid is niemand ooit al goed gelukt. Met Comproved zijn we daarom pilots aan het draaien om heel veel menselijke beoordelingen te verzamelen en zo te zien of het algoritme kan leren om vergelijkingen te maken. Dus in die zin wordt comparatief beoordelen wel gebruikt. Maar ik ga ervan uit dat ze op termijn ook gewoon comparatief gaan willen beoordelen met mensen (lacht).”
Als leraar beschik je over heel veel data, maar het heeft geen zin om met alles iets te willen doen.
Hoe kan je als docent zelf aan de slag met toetsdata?
“Belangrijk is dat je actief naar feedback op zoek gaat. Als leraar beschik je over heel veel data, maar het heeft geen zin om met alles iets te willen doen. Om kwaliteitsvol met die data om te gaan, moet je vertrekken vanuit je doelstellingen. De evaluatie is dan een toetssteen om te zien of je je doelen bij je leerlingen bereikt hebt. En als dat niet het geval is, ga je op zoek naar oorzaken en oplossingen. Dat is het idee achter datagebruik voor onderwijsverbetering.”
Kan je een voorbeeld geven?
“Stel, een leraar in het 2de leerjaar leert zijn leerlingen de tafel van 7 aan. Om te kijken of zijn leerlingen de maaltafel geautomatiseerd hebben, neemt hij een toets af. Hij wil dus achterhalen of hij zijn doelstelling, namelijk ‘mijn leerlingen kennen de tafel van 7’, bereikt heeft.”
“Er is echter een leerling die fouten maakt. De leraar gaat dan op zoek naar de oorzaak van die fouten. Zitten er fouten in de automatisatie, heeft de leerling een slechte dag, of is hij niet gemotiveerd? De leraar kan extra data verzamelen door bijvoorbeeld naast de leerling in kwestie te gaan zitten en een babbeltje te doen of extra oefeningen te vragen.”
“Op die manier leert de leraar over zijn leerlingen en zijn klas. Hij komt misschien wel problemen tegen waar hij nog niet van op de hoogte was. Vervolgens gaat hij op zoek naar een oplossing. Hij kan bijvoorbeeld raad vragen aan collega’s of de literatuur raadplegen. Zo zet de leraar stappen in zijn eigen professionalisering.”
Kan je Comproved inzetten om data te verzamelen voor onderwijsverbetering?
“Ja, zeker. In het hoger onderwijs wordt Comproved bijvoorbeeld veel gebruikt voor peerassessments. Zo’n peerassessments, waarbij studenten elkaar beoordelen, zijn een handig middel om studenten te leren wat een bepaalde competentie inhoudt en om hen kwaliteitsbesef bij te brengen. Bovendien leveren ze heel wat nuttige informatie op.”
Welke informatie is dat precies?
“Bij een peerassessment in Comproved krijgen studenten de werken van hun medestudenten anoniem aangeboden in paren. Bij elk paar moeten ze aanduiden welk werk volgens hen het beste aan de te beoordelen competentie voldoet. Op basis van al die vergelijkingen die ze maken, genereert de comparing-tool een rangorde van de werken.”
“Die rangorde is een bron aan informatie. Zo kan je nagaan welke werken de studenten als goed beoordelen en welke niet. Hechten ze belang aan dezelfde aspecten als jij of juist helemaal niet? En in hoeverre doet de klas dat als een geheel? Misschien komen zij onderling tot een heel consistente rangorde, met een hoge betrouwbaarheid, maar verschilt die volledig van die van jou. Dan weet je dat je met de hele groep moet werken aan dat kwaliteitsbesef. Je zou dan de rangorde klassikaal kunnen bespreken en uitleggen waarom een bepaald werk wel of niet een goede representatie van de competentie is.”
Interessant! Is er nog andere informatie die je uit Comproved kan halen?
“Zeker! Nog interessante data die Comproved oplevert, zijn de misfits. Een misfit markeert een beoordelaar, in het geval van een peerassessment dus een student, die heel anders kiest dan zijn collega’s. Je kan dan nagaan of die misfits studenten zijn die nog niet helemaal mee zijn met de leerstof. Of het tegenovergestelde, dat de groep niet mee is en dat je enkele studenten hebt die al verder staan. Met die inzichten kan je ook weer aan de slag tijdens de les. Je zou de studenten in groepen kunnen laten werken en de sterkere studenten een bepaalde rol geven om zo hun peers op sleeptouw te nemen.”
Net omdat je met een beperkte input een schat aan informatie krijgt, is Comproved zo'n leuke tool.
We zijn op dreef, wat nog?
“(lacht) Je kan ook kijken naar de tijd die studenten aan hun vergelijkingen hebben gespendeerd. Heeft een misfit bijvoorbeeld veel minder lang over zijn vergelijkingen gedaan dan zijn medestudenten? Dat betekent niet meteen dat hij de leerstof niet goed begrijpt, maar dat hij mogelijks nonchalant te werk is gegaan.”
“Net omdat je met een beperkte input een schat aan informatie krijgt, is Comproved zo’n leuke tool. Neem nu klastoetsen: je steekt veel werk in het ontwikkelen, het afnemen, het verbeteren ervan en aan het einde van de rit heb je een cijfer. Bij Comproved steek je wat tijd in het ontwerpen van de taak en in het assessment, wat op dat moment trouwens ook een leermoment is, maar wat je ervoor terugkrijgt is enorm. Zo heb je informatie over de betrouwbaarheid, de vergelijkingen, de tijd per vergelijking, misfits, de positie in de rangorde, eventueel ten opzichte van benchmarks. Het is dus een relatief kleine investering die je moet maken in ruil voor al die data die je kan gebruiken voor het verbeteren van je onderwijspraktijk.”
Hoe zit het met summatieve evaluaties in Comproved?
“Bij een summatief assessment is de betrouwbaarheidsgraad van de rangorde van groot belang. Op summatieve toetsen worden immers grote beslissingen gebaseerd. Met andere beoordelingsmethoden heb je meestal geen inzicht in de kwaliteit van de toets en de beoordeling ervan. Uit onderzoek weten we dat er bij een beoordeling met een criterialijst tot 50% beoordelaarsverschillen zijn. Dat is veel onzekerheid voor een summatief oordeel. Het voordeel van Comproved is dat je met een bepaalde zekerheid iets kunt zeggen over een cijfer.”
“Gelukkig zijn veel leraren zich bewust van die onzekerheid. Ze weten dat een toets een momentopname is en dat ze het volledige beeld van een leerling in overweging moeten nemen om een eindoordeel te vellen. Maar toch stellen we vast dat punten nog steeds heel belangrijk zijn in summatieve beslissingen.”
Ben je geïnspireerd om ook aan de slag te gaan met toetsdata voor onderwijsverbetering? Benieuwd hoe Comproved je daarbij kan ondersteunen? Contacteer ons voor een vrijblijvend gesprek!
