Comparing-tool maakt selectieprocedure makkelijker en betrouwbaarder

De Radboud Universiteit maakte voor de selectieprocedure van de Bachelor Psychologie gebruik van de Comproved comparing-tool. Benieuwd hoe dat precies in z’n werk ging? Lees snel verder!

De Admissions Office Social Sciences van de Radboud Universiteit moet jaarlijks een 1500-tal motivatiebrieven van kandidaatstudenten voor de Bachelor Psychologie beoordelen. Voorheen evalueerden de beoordelaars die brieven aan de hand van een rubriek. Daar kropen heel wat werkuren in. Bovendien zaten er geregeld grote verschillen tussen de beoordelingen wat zorgde voor een lage interbeoordelaarsbetrouwbaarheid. In een zoektocht naar een efficiëntere en betrouwbaardere methode om de brieven te beoordelen, kwam de Admissions Office bij Comproved terecht.

Selectieprocedure

Voor de selectieprocedure worden kandidaatstudenten beoordeeld op een online psychologietoets, de cijfers die ze behaalden tijdens hun vooropleiding en op een zogenaamde matchingopdracht. In de matchingopdracht moeten de kandidaten beargumenteren waarom zij voor Psychologie aan Radboud kiezen én wat zij de opleiding te bieden hebben. Het was die brief die met Comproved beoordeeld werd.

Beoordeling met comparing-tool

In totaal namen er 28 beoordelaars deel aan de beoordeling. Onder hen waren 13 docenten van de opleiding, 5 research masterstudenten en 10 stafleden van de afdeling Psychologie en het Admissions Office Social Sciences. De beoordelaars kregen de brieven in willekeurig samengestelde paren voorgeschoteld. Op basis van de holistische vraag ‘Wie selecteer je voor onze opleiding?’, moesten de beoordelaars bij elk paar de brief aanduiden van de student die volgens hen het beste bij de opleiding past. Zo werd elke brief meerdere keren beoordeeld, telkens in een ander paar en door meerdere beoordelaars. Elke beoordelaar moest 400 vergelijkingen maken. Met al die data genereerde de comparing-tool een rangorde die de brieven rangschikte van minst goed naar best.

Resultaten

• Betrouwbaarheid: De betrouwbaarheid van de rangorde bedroeg 0.61 wat een grote vooruitgang was ten opzichte van eerdere jaren.
• Cijfers: Een bijkomend voordeel van de rangorde zijn de unieke scores (in dit geval op 100) met veel cijfers achter de komma. Dit bespaarde de coördinatoren veel tijd in het beoordelen. Voorheen moesten ze immers een extra opdracht uit de toets bekijken wanneer studenten op dezelfde eindscore uitkwamen.
• Efficiëntie: Het totaal aantal bestede uren was groter dan bij de oude methode. Om de beoordeling efficiënter te maken, stelt de Admissions Office voor om te kijken naar de selectie van de groep beoordelaars. Er bestonden namelijk grote verschillen in de beschikbare tijd en de gemiddelde tijd die nodig was voor het nakijken. Daarnaast stelt een van de beoordelaars voor om de matchingopdracht duidelijker, meer onderscheidend en korter te maken voor een efficiënter nakijkproces.

Ervaringen beoordelaars

De beoordelaars vonden het een mooi systeem en een fijn beoordelingsconcept. Het werkte makkelijk, snel en intuïtief. Het idee dat hun beoordeling niet de enige is, maar dat meerdere mensen naar de brief kijken, werd als positief ervaren. Bij een aantal beoordelaars ontstond wel het gevoel dat de brieven niet genoeg aandacht gegeven kon worden, omdat de beoordeling zo snel gaat.

Verder is een groot deel van de opdrachten weinig onderscheidend, te zien aan de rangorde. Een van de beoordelaars suggereert daarom het volgende: “Wellicht kan het beoordelen vergemakkelijkt worden door de opdracht aan te passen. Ik merkte dat ik het stukje over ‘waarom kies je voor Radboud?’ vaak snel doorlas, omdat veel studenten daar dezelfde redenen gaven en het weinig bijdroeg aan het bepalen welke student ik meer geschikt voor de opleiding vond. In die zin was dat deel van de opdracht weinig onderscheidend, maar het kostte wel tijd om de opdracht te scannen op de relevante informatie (…) Als de opdracht nog iets meer op de kern gefocust kan worden (en misschien max. een halve pagina), dan wordt het beoordelen mogelijk nog makkelijker.”

Conclusie

Over het algemeen zijn de bevindingen met Comproved zeer positief. De Admissions Office is heel tevreden met de interbeoordelaarsbetrouwbaarheid. Ze bekijken hoe ze naar de toekomst toe de uren en taaklast beter kunnen verdelen. Met enkele aanpassingen van de opdracht moet het nakijkproces aanzienlijk efficiënter kunnen.

Denk jij dat de comparing-tool een selectieprocedure in jouw instelling ook betrouwbaarder en efficiënter kan maken? Aarzel niet om ons te contacteren voor een verkennend gesprek.