Beoordelaarseffecten

Ben jij een doorgewinterde docent en jongleer je met toetsvormen en beoordelingsmethoden alsof het niets is, maar ben je nog op zoek naar wat inspiratie? Of ben je eerder een toevallige passant en hoor je het in Keulen donderen bij sommige van de vaktermen die je op deze website tegenkomt? In beide gevallen ben je aan het juiste adres! Met het ABC van toetsen en beoordelen bieden we een mooi overzicht van verschillende toets- en beoordelingsmethoden, verklaren we vakjargon en wetenschappelijke termen in mensentaal en vullen we aan met enkele literatuursuggesties voor wie graag verder leest. In deze blogpost hebben we het over beoordelaarseffecten.

Beoordelen is moeilijk, daar kan elke docent van meespreken. Zeker wanneer het om complexe vaardigheden gaat. Creativiteit, teamwerk, spreek- of schrijfvaardigheid, bijvoorbeeld, zijn moeilijk te toetsen aan de hand van invulvragen of meerkeuzevragen. Daarom wordt er voor het toetsen van zulke vaardigheden meestal gebruik gemaakt van open taken als essays, portfolio’s, presentaties, enz.

De grote variatie in output bij open taken maakt het beoordelen moeilijk en tijdrovend. Beoordelaars kunnen wel gebruik maken van een leidraad zoals een rubric, maar die kan nooit alle antwoordmogelijkheden van de studenten bevatten. Beoordelaars zijn dus deels op zichzelf aangewezen om een oordeel te vellen en dat maakt dat subjectiviteit in het beoordelingsproces sluipt. Doordat die subjectiviteit een rol speelt bij het beoordelen, ontstaan er verschillen tussen beoordelaars die ongewenste effecten kunnen hebben op de score van de student. De persoon van de beoordelaar zou immers geen invloed mogen hebben op de score, maar dat is haast onvermijdelijk. We bespreken hier kort enkele van die veelvoorkomende beoordelaarseffecten.

Contaminatie-effect

Dit effect treedt op wanneer de vrijheid in de beoordeling, onwillekeurig of willekeurig, wordt gebruikt voor andere doeleinden dan die van een onbevooroordeelde beoordeling. Dit is bijvoorbeeld het geval wanneer beoordelaars gemiddeld lagere scores geven om aan te tonen dat hun vak moeilijk is, of een bepaalde student een hogere score geven om hem of haar aan te moedigen.

Halo- en horneffect

Bij het halo- en horneffect laat de beoordelaar zich beïnvloeden door andere kenmerken van de student die meestal niets te maken hebben met de te beoordelen competentie. Aspecten als eerdere prestaties van de student, het handschrift, of het algemene beeld dat de docent heeft van de student, gaan dan een rol spelen. Het halo-effect treedt op wanneer de beoordelaar een mindere prestatie van een student die gewoonlijk goed presteert of waarvan hij een algemeen positief beeld heeft, hoger beoordeelt. De prestatie wordt dan overgewaardeerd. In het omgekeerde geval, wanneer de beoordelaar een goede prestatie van een student die gewoonlijk zwakker presteert of waarvan hij een algemeen negatiever beeld heeft, lager beoordeelt, spreken we van een horneffect. Hier wordt de prestatie ondergewaardeerd.

Normverschuiving

Dit effect treedt op wanneer de beoordelaar zich aanpast aan de geleverde prestaties van de studenten. Beoordelaars kunnen bijvoorbeeld minder streng worden als na een aantal beoordelingen blijkt dat de meeste studenten eenzelfde vraag fout beantwoorden.

Restriction of range

Restriction-of-range duidt op de persoonlijke neiging van een beoordelaar om niet de volledige waardenschaal te hanteren. Zo zal een milde beoordelaar meestal boven gemiddeld beoordelen en een strenge beoordelaar eerder onder gemiddeld. Verder zijn er beoordelaars die de neiging hebben om steeds in het midden te beoordelen. In dat laatste geval spreken we ook wel van central tendency.

Sequentie-effect

We spreken van een sequentie- of volgorde-effect wanneer de beoordelaar zijn beoordeling laat leiden door voorafgaande beoordelingen. Bijvoorbeeld, na een reeks zwakkere producten zal een beoordelaar een product van gemiddelde kwaliteit een hoger cijfer geven dan wanneer dat product zou volgen op enkele zeer goede producten.

Signifisch effect

Dit effect treedt op wanneer meerdere beoordelaars hetzelfde product heel anders beoordelen omdat ze verschillende criteria hanteren, criteria verschillend interpreteren, of aspecten anders laten doorwegen.

Omdat beoordelaars mensen zijn en geen computers, zijn beoordelaarseffecten haast onmogelijk volledig te vermijden. Je kan de kans op het optreden van zulke effecten echter wel proberen te verkleinen. In eerste instantie helpt het veel om je bewust te zijn van de mogelijke beoordelaarseffecten. Het lezen van dit artikel is dus al een stap in de goede richting.

Verder kan je gebruikmaken van comparatieve beoordelingsmethoden. Uit onderzoek blijkt immers dat comparatief beoordelen effectief leidt tot een hoge betrouwbaarheid en validiteit. Hoe comparatief beoordelen precies beoordelaarseffecten helpt voorkomen, lees je in een volgend artikel.

Meer lezen?

De Gruijter, D. N. M. (2008). Toetsing en toetsanalyse. Leiden: ICLON, Sectie Onderwijsontwikkeling Universiteit Leiden.

Van Berkel, H. (2017). Toetsen in het hoger onderwijs. A. Bax, & D. Joosten-ten Brinke (Eds.). Bohn Stafleu van Loghum. 287-289.

Van Gasse, R., Bouwer, R., Goossens, M., & De Maeyer, S. (2017). Competenties kwaliteitsvol beoordelen met D-PAC. Examens: Tijdschrift voor de Toetspraktijk, 1(1), 11-17.