Hoe beoordeel je de kwaliteit van een interactieve installatie voor een theaterfestival? Van een kunstzinnige infomercial voor een culturele instelling? Of van een website voor een grote Nederlandse omroep? Zulke complexe opdrachten vragen vaak een meer holistische aanpak. Marion Tillema vertelt hoe zij aan Avans Hogeschool complexe beroepsproducten live beoordelen tijdens een expomoment. 

Bovenstaande voorbeelden zijn opdrachten die studenten van de opleiding Communication & Multimedia Design (Avans Hogeschool, ’s-Hertogenbosch) uitvoeren. Het zijn stuk voor stuk complexe constructen waarbij de kwaliteit van het werk wordt bepaald door een samenspel van dimensies, zoals:

• wordt de gebruiker geactiveerd, geïnformeerd of overtuigd?;
• is het creatief concept consistent zichtbaar in de vormgeving?;
• sluiten concept en uitwerking aan bij de kernwaarden van de opdrachtgever?;
• voldoet de uitwerking aan de technische standaarden?

De kwaliteit van het werk is niet de optelsom van de kwaliteit van deze dimensies. Daarom is beoordeling met rubrics hier niet passend. Holistisch beoordelen met Comproved biedt uitkomst. Maar hoe waarborgen we dan transparantie richting de student? Hoe kunnen we werken live beoordelen tijdens een expomoment? En hoe komen we uiteindelijk tot schoolcijfers? De werkwijze van onze opleiding wordt hieronder stapsgewijs omschreven.

Onderwijsfase: transparantie

Gedurende de zeven onderwijsweken van een lesblok (half semester) leren studenten over de gebruikersinteractie, techniek en vormgeving horend bij het ontwerpproduct dat centraal staat. Dit is ook de fase waarin we studenten een beeld moeten geven van de vereiste kwaliteit om te slagen. Voorheen gaven we de beschrijving van ‘voldoende’ in een rubric. Hierbij kunnen we ons afvragen hoe informatief die korte beschrijving werkelijk is voor studenten.
Door in de lessen voorbeeldwerken, bijvoorbeeld van voorgaande jaren, te bespreken met studenten is het mogelijk om de transparantie van de aanstaande beoordeling te verhogen. Bij zo’n bespreking kunnen we ingaan op het samenspel van dimensies om de totale kwaliteit te analyseren. Als we studentwerken van uiteenlopende kwaliteit gebruiken, kunnen studenten zelf een mentale schaal van ‘kwaliteit’ construeren en valkuilen vermijden.

Beoordelingsdag: demo door studenten

We hebben vaak te maken met opdrachten die één dag geëxposeerd staan. We beginnen de beoordelingsdag met een demosessie. Studenten lichten hun werk toe. Alle beoordelaars zijn aanwezig en kunnen de ontworpen producten bekijken en testen. Voor studenten is het prettig om zelf hun werk te kunnen toelichten. Deze werkwijze past bovendien bij de beroepspraktijk waarvoor we opleiden.

Beoordelingsdag: betrouwbaar beoordelen met Comproved

Minimaal vier beoordelaars beoordelen de werken door paarsgewijs te vergelijken met Comproved. Ze zijn allemaal tegelijk ingeroosterd om dit te doen, maar doen dit onafhankelijk van elkaar. Deze live beoordeling vindt plaats op de dag van de expo, zodat beoordelaars nog eens naar de werken kunnen kijken. We behaalden altijd een betrouwbaarheid boven .70, vaak richting .80.

Beoordelingsdag: van rangorde naar schoolcijfers

De studentwerken worden in Comproved, tijdens het vergelijken, meestal weergegeven door verwijzing met letters of gerepresenteerd door een icoon dat de studenten zelf ontwierpen. Behalve de studentwerken laden we in Comproved ook het woord ‘voldoende’ als één van de te beoordelen werken. De voldoende verschijnt daarmee geregeld in te vergelijken paren. Zo wordt de facto de vraag gesteld: is dit studentwerk beter of minder goed dan ‘voldoende’? Hierdoor is de ‘voldoende’ uiteindelijk één van de werken in de rangorde die Comproved toont na het beoordelen: een indicatie van de cesuur. Het beoordelaarsteam controleert nog wel of de plek van de cesuur recht doet aan wat studenten hebben geleerd en konden verwachten. Dit was steeds het geval.

We hebben nu de cesuur (schoolcijfer 5.5 op een schaal van 1-10) en slagen of zakken is dus betrouwbaar vastgesteld. Maar hoe bepalen we de precieze cijfers? Simpel: het beoordelaarsteam kent een cijfer toe aan een werk op ongeveer 2/3 van de rangorde. Er zijn nu twee schoolcijfers op de schaal vastgesteld, en de overige cijfers kunnen hieruit worden afgeleid.

Feedback

Tijdens fase 3 is er feedback genoteerd door alle beoordelaars. Nu wordt deze feedback samengebracht en consistent geformuleerd. Zo ontvangen studenten een genuanceerde, maar heldere terugkoppeling. Dit zorgt ervoor dat ze leerpunten kunnen vormen voor een volgend ontwerpproject.

Wil je ook live beoordelen met Comproved? Leg ons hier je assessment idee voor en we denken graag met je mee!