Misfit: de statistiek verklaard

misfit

Misfit: de statistiek verklaard

Beoordelen met Comproved levert veel nuttige informatie op. Vaak is die informatie vanzelfsprekend, zoals de plaats van een product op de rangorde of de tijd die een beoordelaar nodig had om een vergelijking te maken. Sommige aspecten van de comparing-tool zijn echter nogal technisch en vragen dus ook wat meer uitleg. In dit artikel hebben we het over de misfit.

Comparatief beoordelen berust op een gedeelde opvatting van wat goed is. In onderwijscontexten gaat het er dan vaak over of werken van studenten voldoen aan de kwaliteitscriteria. Aan de hand van deze opvatting over wat ‘een goed product’ is, maken assessoren dan een keuze tussen twee producten. Welk product is beter in het licht van een bepaalde competentie die ze willen meten? Het resultaat van die beoordelingen is een rangorde. Om tot die rangorde te komen moet er een grote mate van onderlinge overeenkomst bij de assessoren zijn over wat ‘een goed product’ dan wel is.

Nu zal elke assessor in meerdere of mindere mate van dit geschatte model (de rangorde) afwijken. Een misfit geeft zo’n afwijking van het model weer. Enerzijds kunnen we berekenen in welke mate de keuzes van de assessoren in lijn liggen met de geschatte rangorde. Dat noemen we de (mis)fit van de assessor. Anderzijds kunnen we de maat van overeenstemming berekenen binnen de groep assessoren met betrekking tot een bepaald product. Dat noemen we de (mis)fit van het product.

Assessor-misfit

De rangorde is een vertaling van de kans dat een hogergeplaatst product heeft om als beter gekozen te worden door assessoren in een vergelijking met het andere product uit die vergelijking. Ligt de kwaliteit van de producten ver uiteen, dan zullen waarschijnlijk alle assessoren hetzelfde product als beter kiezen. De kans dat ze eenzelfde beslissing nemen is dus hoog.

Indien een assessor herhaaldelijk een andere beslissing neemt dan men zou verwachten volgens het model, dan zakt de score van die assessor op de misfit-schaal. Wie significant meer afwijkt van het gemiddelde wordt gemarkeerd als misfit.

Wat kan je doen als een assessor gemarkeerd wordt als misfit?
  • Je kan kijken naar de tijd die de assessor gespendeerd heeft aan de vergelijkingen. Worden de keuzes zeer snel gemaakt, of veel sneller in vergelijking met de andere assessoren in het assessment, dan is dit mogelijks een indicatie van onzorgvuldig werk.
  • Je kan de feedback of argumentatie die de assessor bij de vergelijkingen heeft ingegeven bekijken. Zijn deze argumenten valide of niet? Misschien heeft de assessor wel gegronde redenen voor de keuzes die hij of zij maakte en kunnen de andere assessoren nog iets bijleren.
  • Als er meerdere misfits zijn, zou je kunnen nagaan of de assessoren niet uit twee groepen bestaan, bv expert vs. novice, of bepaalde ‘stromingen’.

Product-misfit

Ook op niveau van het product kan een misfit berekend worden. Wanneer hier significant wordt afgeweken van het gemiddelde, wil dat zeggen dat er binnen de groep assessoren minder overeenstemming is over dat bepaalde product.

Concreet zijn er dan assessoren die een bepaald product in een vergelijking als beter aanduiden terwijl andere assessoren dat product (of een gelijkaardig product) als minder goed zouden aanduiden in een gelijkaardige vergelijking.

Wat kan je doen als een product gemarkeerd wordt als misfit?
  • Je kan wederom kijken naar de argumentatie die wordt aangehaald door de verschillende assessoren bij het maken van de bewuste vergelijkingen.
  • Je kan het werk zelf nog eens goed analyseren om te kijken of het misschien misleidende informatie bevat. Bv. een erg afwijkende lay-out, veel jargon, …
  • Je kan de bevindingen uit 1 en 2 samen leggen en bespreken met de betrokken assessoren. Op die manier krijgen ze inzicht in elkaars beweegredenen wat zeer verhelderend kan werken. Indien nodig kan het cijfer dat het bewuste product gekregen heeft handmatig worden gecorrigeerd.
Share this