Studenten Productontwikkeling evalueren video’s met Comproved

Ivo Dewit is titularis van het vak product-service system design in de eerste master Productontwikkeling aan de Universiteit van Antwerpen. Tijdens de coronaperiode is hij uit noodzaak beginnen werken met Comproved. Sindsdien is hij verknocht aan de tool. Zijn studenten evalueren elkaars werk aan de hand van video’s in de tool. Wij waren nieuwsgierig en vroegen hem naar zijn ervaringen.

Hoe heb je Comproved leren kennen?

“Tijdens de coronaperiode was ik op zoek naar een toffe, interactieve manier om met mijn studenten, die ik toen niet meer live kon zien, te werken. Ik wou het gevoel van in de ontwerpstudio recreëren, maar dan in een online omgeving. Toen ik op Blackboard de verschillende tools verkende, botste ik op Comproved.”

“Toevallig hadden we iemand bij de faculteit die verantwoordelijk was voor kwaliteit en innovatie, die contacten had bij Comproved. Hij heeft me toen aangespoord om de tool eens te testen. Ik was meteen fan.”

Waarvoor gebruik je de tool?

“Ik gebruik het als peerassessmenttool. Wat ik er zo tof aan vind, is dat studenten een idee krijgen van wat anderen doen. Voorheen deden we wel peerevaluaties binnen de groepen, maar met Comproved evalueren de studenten ook tussen de verschillende groepen. Zo kunnen ze elkaars werk zien, goede en minder goede producten bekijken en inschatten waar ze zelf staan. Verder laat ik de studenten elkaar niet alleen feedback geven, maar ook feed up en feed forward. Daar kunnen ze vervolgens echt mee aan de slag.”

Was het gemakkelijk je collega’s te overtuigen om met de tool te werken?

“Ik ben titularis van het vak dus ik had het eigenlijk maar op te leggen aan mijn collega’s (lacht). Tegelijkertijd hielp het dat de tool evidence-based is en dat er toffe resultaten uitkomen. Voor de docenten vraagt het in het begin een inspanning om met de tool te leren werken, maar je krijgt er veel voor in ruil.”

“Wat een voordeel was tijdens de coronaperiode, was dat de docenten door de tool te gebruiken veel beter op de hoogte waren van het werk van de studenten. Dat maakte het gemakkelijker om de resultaten achteraf met hen te bespreken.”

Kan je wat meer vertellen over de opdracht die je met Comproved evalueert?

“In de eerste master Productontwikkeling moeten de studenten in groepjes van 4 à 5 een product-service system ontwerpen. Daarbij heb je een product, een interface in de vorm van een app of een online platform en een dienstverlening. Denk bijvoorbeeld aan de deelfietsen van Velo Antwerpen. Op 12 weken tijd moeten ze dus zoiets ontwerpen. Elke week gaan ze door een bepaald ontwerpproces met specifieke tools en methodes. Zo werken ze stapsgewijs aan een aantal deliverables.”

“Tijdens de coronaperiode moesten de studenten wekelijks elkaars deliverables in Comproved beoordelen. Zo leerden ze veel van elkaar. Nu hebben ze enkel halverwege het semester een midterm-evaluatie in Comproved. Elke groep moet dan een video van 5 minuten uploaden waarin ze hun project voorstellen. Vervolgens evalueren ze elkaars video’s en geven ze peerfeedback waar ze achteraf mee aan de slag kunnen om hun werk te verbeteren.”

Hoe introduceer je de tool bij de studenten?

“In het begin van het semester geef ik een introductie van het vak. Daarin leg ik onder andere het thema van het jaar uit en vormen we de groepen. Ik doe ook uit de doeken hoe het vak geëvalueerd zal worden. Aan de hand van enkele screenshots leg ik uit wat Comproved is, hoe ze vergelijkingen moeten maken en feedback moeten geven. Tot slot krijgen ze een aantal voorbeelden van eerdere jaren te zien.”

“Als het dan zover is om met Comproved aan de slag te gaan, begeleid ik de studenten ook nog wat zodat er zo min mogelijk fout loopt. Ik wijs hen er bijvoorbeeld nog eens op dat ze een Youtube-link naar hun video moeten embedden en geen mp4 uploaden want dat laatste laadt te traag. Of ik houd in het oog dat iedereen op tijd indient en help waar nodig.”

Hoe verloopt het geven van feedback?

“Goede feedback geven blijft moeilijk. We merken dat studenten vaak feedback geven op de meer oppervlakkige elementen zoals de geluidskwaliteit van een video of het taalgebruik. We geven dus richtlijnen mee om hen uit te dagen om wat diepgaandere feedback te formuleren. We vragen bijvoorbeeld om de video te bekijken vanuit het standpunt van de eindklant. Wat zouden zij van het ontwerp vinden en hoe het gecommuniceerd wordt? Welke suggesties of opmerkingen zouden zij hebben om het ontwerp te verbeteren?”

“Wij wijzen de studenten er ook op dat ze echt wel kritisch en streng mogen zijn voor elkaar in de peerfeedback. De studenten weten dat die midterm-evaluatie niet meetelt voor hun eindscore van het vak. De groepen die minder goed presteren krijgen dus de kans om zich te herpakken. In de meeste gevallen gebeurt dat dan ook.”

Hoe ervaren de studenten het werken met de tool?

“De Studenten vinden het heel fijn om meer feedback te ontvangen dan wanneer ze enkel docentfeedback krijgen. Ook vinden ze het inzichtelijk om hun plaats op de rangorde te kennen. Dat kan confronterend zijn, maar ze leren er veel van. Ik merk dat ze geactiveerd worden door de hogergeplaatste producten en de feedback te bekijken. Ze steken dan een tandje bij en zo wordt de lat weer wat hoger gelegd.”

“Ik heb eens de punten die wij met de collega’s geven en de punten die uit Comproved komen met elkaar vergeleken. Die liggen heel hard in lijn met elkaar, dus dat is statistisch vrij correct. Dat is fijn om te zien en de studenten zien ook dat dat klopt.”

Wat vind je de grootste voordelen van de tool?

“Het grootste voordeel vind ik dat de studenten veel leren van het peerassessment. Langs de docentenkant vind ik het fijn dat je achter de schermen veel extra informatie krijgt. Hoeveel tijd spenderen de studenten aan evalueren? Hoeveel feedback hebben ze gegeven? Hoeveel vergelijkingen hebben ze gemaakt?”

“Ik vind de rangorde ook handig om te raadplegen voorafgaand aan een feedbackgesprek met een studentengroep. Vroeger verdeelden we de groepen onder de docenten en was je enkel op de hoogte van de groepen die je evalueerde. Nu kunnen we alle filmpjes in Comproved bekijken, de plaats in de rangorde en de ontvangen feedback. Je bent dus veel beter op de hoogte.”

“Wat ik ook leuk vind aan de tool is dat je verschillende bestandstypen kan evalueren. Wij evalueren video’s, maar je zou de studenten bijvoorbeeld ook conceptschetsen kunnen laten uploaden. Dat is super easy. Wat vind je de beste schets? Waarom? Zo leren de studenten het plezier van evalueren ook kennen. Dat werkt beter dan werk klassikaal of in groep te bespreken.”

Heb je nog tips voor docenten die ook aan de slag willen met Comproved?

“Ik zou zeggen: gewoon doen! Met trial and error leer je wel werken met de tool. Het is ook geen ramp als er eens iets misloopt. Je studenten vergeven je dat. Ze zullen bovendien snel merken dat de return van een assessment in Comproved de moeite is.”

“Wat handig kan zijn, is eerst een testronde met collega’s organiseren om te ondervinden hoe alles werkt. Of je kan je studenten in de klas een testassessment laten doen waarin ze 3 voorbeelden uit een vorig jaar beoordelen en van feedback voorzien. Zo weet je snel waar er problemen opduiken en hoe je die kan oplossen.”

Ben je geïnspireerd door Ivo’s verhaal en wil je ook aan de slag met Comproved? Lees hier verder of contacteer ons en we helpen je op weg!