Video’s beoordelen op een eenvoudige manier

Verschillende soorten media zoals video, audio en afbeeldingen worden steeds vaker gebruikt om competenties te beoordelen. Omdat de prestaties van studenten onderling echter sterk kunnen verschillen, is het beoordelen van video’s en afbeeldingen een lastige taak. Een online comparing-tool maakt video’s beoordelen makkelijker. 

Comproved is zo’n tool die docenten helpt bij de beoordeling van video, audio en afbeeldingen. Studenten kunnen gemakkelijk hun werk in om het even welk mediatype (tekst, audio, beeld, video) uploaden in de comparing-tool. Vervolgens stelt de tool willekeurige paren van producten samen en legt die voor aan de beoordelaars. Het enige wat de beoordelaars moeten doen is, gebruikmakend van hun expertise, bij elk paar aangeven welk product het beste van de twee is. Deze beoordelingsmethode, die comparatief beoordelen genoemd wordt, is makkelijker omdat beoordelaars niet gedwongen worden om elk werk op een lange criterialijst te beoordelen. Meerdere beoordelaars krijgen elk werk meerdere keren te zien. Het resultaat van al deze beoordelingen is uiteindelijk een kwaliteitsschaal waarop het werk van de leerlingen gerangschikt wordt van mindere naar betere kwaliteit.

Beoordelen van thuis uit

Recent werd Comproved gebruikt in de bachelor Multimedia en Communicatietechnologie aan de KDG Hogeschool in Antwerpen. De studenten kregen de opdracht een begeleidende animatie te creëren voor een audiofragment van een hoorspel van Het Geluidshuis. Een groep van 9 assessoren beoordeelde de kwaliteit van de animaties. De groep assessoren was heel uiteenlopend en bestond uit: 3 mensen van Het Geluidshuis zelf, 2 ervaren animatoren, 2 alumni van de opleiding en 2 docenten.

Voor Ivan Wauters, coördinator van de cursus, was het werken met Comproved heel gemakkelijk en snel. “Ongeveer 2 uur nadat ik de inloggegevens naar de assessoren had gestuurd, kreeg ik een mailtje van een van hen met de mededeling: klaar!” De assessoren waardeerden het dat ze de evaluaties vanuit hun huis of kantoor konden doen. Sommige beoordelaars deden alle vergelijkingen in één sessie, terwijl anderen hun vergelijkingen over meerdere dagen spreidden. Geen van hen had problemen met het gebruik of het begrijpen van Comproved.

De enige moeilijkheid die de beoordelaars ondervonden was toen ze moesten kiezen tussen 2 video’s van gelijkaardige kwaliteit. Ivan stelde hen gerust dat het ok was om er maar één te kiezen. Het programma genereert immers dezelfde ability score voor video’s van gelijke kwaliteit. Ability scores geven aan hoe groot de kans is dat een bepaalde video het van andere video’s wint. Op basis van deze scores geeft de tool een rangorde waarbij de video’s worden gerangschikt van lagere naar hoge kwaliteit.

Een objectieve beoordelingsmethode

Ivan en zijn team kenden de animaties cijfers toe op basis van de volgorde en van de ability scores. Aangezien er verschillen waren tussen de ability scores, waren de uiteindelijke cijfers niet gelijk verdeeld over de rangorde. Zo kregen de 2 beste video’s 18/20 en 16/20. De leerkrachten waren tevreden met deze meer objectieve beoordelingsmethode. “Wanneer ik naar bepaalde video’s en hun cijfer kijk, merk ik dat ik een hoger of een lager cijfer zou hebben gegeven, gebaseerd op mijn persoonlijke smaak of relatie met de studenten”, legde Ivan uit. Hij ervaarde dat door externe mensen bij de beoordeling te betrekken, deze vooringenomenheid werd weggenomen.

Er waren slechts 2 studenten die een beetje teleurgesteld waren over het cijfer dat ze gekregen hadden. Maar na uitleg over de procedure van comparatief beoordelen, aanvaardden ze hun cijfer. Het feit dat 9 mensen hadden bijgedragen aan de beoordeling van de video’s, in plaats van slechts één docent, overtuigde hen ervan dat het cijfer eerlijk was.

Wil jij ook op een eenvoudige manier video’s beoordelen? Contacteer ons, we helpen je graag op weg!

Dit artikel is een bewerking van een blog die eerder verscheen op Media & Learning.