Wat doe je bij een misfit in Comproved?

Beoordelen met Comproved levert veel nuttige informatie op. Vaak is die informatie vanzelfsprekend, zoals de plaats van een product op de rangorde of de tijd die een beoordelaar nodig had om een vergelijking te maken. Sommige aspecten van de comparing-tool zijn echter nogal technisch en vragen dus ook wat meer uitleg. In dit artikel hebben we het over de misfit.

Comparatief beoordelen berust op een gedeelde opvatting van wat goed werk is. In onderwijscontexten gaat het er dan vaak over of werken van studenten voldoen aan de kwaliteitscriteria. Aan de hand van deze opvatting over wat ‘een goed product’ is, maken assessoren dan een keuze tussen twee producten. Welk product is beter in het licht van een bepaalde competentie die ze willen meten? Op basis van die keuzes kunnen we een rangorde schatten die de consensus van de betrokken beoordelaars weergeeft. 

Om tot een rangorde te komen moet er een grote mate van onderlinge overeenkomst bij de assessoren zijn over wat ‘een goed product’ dan is. Nu zal elke assessor in meerdere of mindere mate van dit geschatte model (de rangorde) afwijken. Enige afwijking is ook geen probleem, maar een grote afwijking kan zorgen voor een misfit.

Misfit is niet mislukt

Het woord ‘misfit’ heeft wellicht een negatieve associatie, alsof iemand iets fout doet of er iets misgaat. Dat is niet per se het geval. Een misfit is een statistische term die een indicatie kan geven dat er een afwijking zit in een model (in dit geval de rangorde). De statistiek vertelt alleen niet het hele verhaal, want het is niet duidelijk wat die afwijking betekent en of dit wenselijk is of niet. Daarom zullen we de misfit verder moeten analyseren.

Typen misfit

We kunnen verschillende misfit statistieken berekenen. Berekenen we de (mis)fit van de assessor, dan berekenen we in welke mate de keuzes van de assessoren in lijn liggen met de geschatte rangorde. Ook kunnen we de maat van overeenstemming berekenen binnen de groep assessoren met betrekking tot een bepaald product. Dat noemen we de (mis)fit van het product. De comparing-tool markeert assessoren of producten die als een misfit beschouwd worden met een vlaggetje. We leggen uit wat je met deze informatie kan doen.

Assessor-misfit

De assessor-misfit is het beste uit te leggen aan de hand van een voorbeeld. Stel: een product bovenaan de rangorde wordt vergeleken met een product onderaan de rangorde. De assessoren zijn het tot nu toe eens over de kwaliteit van deze producten ten opzichte van elkaar. Wanneer vervolgens één van de assessoren beslist dat het product onderaan de rangorde beter is dan het product bovenaan de rangorde, is dit zeer onverwacht. Als een assessor vaker zo’n keuze maakt, zal deze assessor gemarkeerd worden als misfit. In een scenario waar twee producten worden vergeleken die beide ongeveer midden in de rangorde staan, zal er meer onenigheid zijn onder assessoren over welk product het beste is. Wanneer een assessor dan een beoordeling maakt die niet overeenstemt met de beslissing van anderen, zal dit niet als misfit gezien worden.

Wat kan je doen als een assessor gemarkeerd wordt als misfit?

Er kunnen verschillende redenen zijn waarom de tool een assessor als misfit markeert. Een misfit betekent niet meteen dat er een probleem is en er vergelijkingen verwijderd moeten worden. Volg het volgende stappenplan:

1. Ga eerst na of alle vergelijkingen al gemaakt zijn. Definitieve informatie over misfits wordt pas duidelijk als alle vergelijkingen zijn gemaakt. Vooraf al conclusies trekken heeft weinig zin.
2. Bekijk de tijd die is besteed aan de vergelijkingen. Misschien heeft een assessor zijn/haar keuzes zeer snel gemaakt, of veel sneller in vergelijking met de andere assessoren in het assessment. Dit kan mogelijk een indicatie zijn van onzorgvuldig werk, maar dat hoeft niet. Ga in zo’n geval in gesprek met de assessor om te achterhalen wat er aan de hand is. Blijkt dat de assessor onzorgvuldig heeft gehandeld? Neem dan contact met ons op om de vervolgstappen voor het assessment te bepalen. 
3. Bekijk de eventuele feedback of argumentatie die de assessor bij de vergelijkingen heeft ingegeven. Zijn deze argumenten valide of niet? Misschien heeft de assessor wel gegronde redenen voor de gemaakte keuzes en kunnen de andere assessoren nog iets bijleren. Als er meerdere misfits zijn, zou je kunnen nagaan of de assessoren niet uit twee groepen bestaan, bv expert vs. novice, of bepaalde ‘stromingen’. In deze gevallen kan je de misfit negeren en is het oordeel valide.
4. Blijkt de argumentatie niet in orde, bijvoorbeeld omdat de assessor (nog) niet genoeg expertise had om te kunnen beoordelen? Neem dan ook contact met ons op. We kijken mee met de specifieke situatie en adviseren je over de beste vervolgstap.

Product-misfit

Ook op niveau van het product kan een misfit berekend worden. Wanneer hier significant wordt afgeweken van het gemiddelde, wil dat zeggen dat er binnen de groep assessoren minder overeenstemming is over dat bepaalde product. Concreet zijn er dan assessoren die een bepaald product in een vergelijking als beter aanduiden terwijl andere assessoren dat product (of een gelijkaardig product) als minder goed zouden aanduiden in een gelijkaardige vergelijking. 

Wat kan je doen als een product gemarkeerd wordt als misfit?

Ook bij een product-misfit zegt een getal niet alles en is het goed om naar de achterliggende reden van de misfit te kijken. Er kunnen verschillende redenen zijn waarom assessoren het niet eens zijn over de plaats van het product in de rangorde. Volg het volgende stappenplan: 

1. Ga eerst na of alle vergelijkingen al gemaakt zijn. Ook hier geldt dat definitieve informatie over misfits pas duidelijk wordt als alle vergelijkingen zijn gemaakt. Vooraf al conclusies trekken heeft weinig zin.
2. Bekijk het product om te zien of het misleidende informatie bevat. Soms is de lay-out erg afwijkend, of voldoet de opdracht niet aan bepaalde eisen. In zo’n geval kan het zijn dat het product wel inhoudelijk in orde is en sommige assessoren dit product dus ook als de betere kiezen in een vergelijking, maar andere assessoren het product altijd als minder goed bestempelen omdat niet aan de eisen is voldaan.
3. Onderzoek de beweegredenen van de assessoren. Het komt bijvoorbeeld voor dat studenten in een tekst een boodschap overbrengen die ze niet letterlijk beschrijven. Sommige assessoren kunnen ervoor kiezen deze onderliggende boodschap mee te nemen in de vergelijking, waar anderen deze boodschap niet meenemen omdat deze niet letterlijk beschreven staat. 
4. Bespreek met je assessoren hoe je met de bevindingen in stap 2 en 3 omgaat. Mogelijk bereik je alsnog een consensus over de aanpak omdat assessoren elkaars argumenten horen. Neem in dit geval contact met ons op, dan verwijderen we de vergelijkingen van dat specifieke product en kunnen alleen deze vergelijkingen opnieuw worden gemaakt met de nieuwe consensus in het achterhoofd.

Kan je geen nieuwe consensus bereiken en zijn voor alle keuzes goede argumenten te geven? Dan staat het product op de goede plaats en is de huidige plaats in de rangorde de consensus tussen al die argumenten.

Conclusie

Misfit informatie in Comproved kan waardevolle informatie geven over je assessment die je bij een individuele beoordeling niet snel opmerkt. Bij het interpreteren van misfits blijft het belangrijk om zelf na te denken over wat de statistiek betekent in je eigen context. Een misfit hoeft dus ook niet altijd een probleem te zijn. Twijfel je over wat te doen met misfit informatie? We denken graag met je mee!