Een schaal ontwikkelen met D-PAC en daar vervolgens 2700 teksten mee beoordelen. Onderzoekers Nina Vandermeulen & Brenda van den Broek wonnen op 15 november met hun prachtige poster over dit onderzoek de D-PAC Inspiratie Award. Wat kunnen zij ons – als ervaringsdeskundigen – leren over comparatief beoordelen?

Waar hebben jullie D-PAC voor gebruikt en hoe hebben jullie dat aangepakt?

We hebben D-PAC gebruikt voor het opstellen van een betrouwbaar beoordelings- en feedbackinstrument. We hielden een nationale peiling naar de schrijfvaardigheid van vwo-leerlingen in Nederland en verzamelden zo 2700 syntheseteksten (teksten gebaseerd op verschillende bronnen). We hebben een deel daarvan (300 teksten) beoordeeld met D-PAC op vijf verschillende criteria:

1. volledigheid, correctheid en relevantie van de informatie
2. integratie van de bronnen
3. samenhang (cohesie en coherentie)
4. taal
5. algemeen/globaal oordeel

Vervolgens hebben we de vijf schalen die D-PAC opleverde onderverdeeld in vijf kwaliteitscategorieën (oplopend van zeer zwak tot zeer sterk) en zijn we op zoek gegaan naar een representatieve tekst voor elke categorie. Dat was steeds een tekst die zowel globaal als op de vier criteria apart ongeveer dezelfde score had.

Op deze manier hielden we een schaal over met vijf ankerteksten: één gemiddelde tekst en twee (veel) hoger en twee (veel) lager scorende teksten. Deze schaal met ankerteksten is gebruikt om de andere teksten uit onze nationale peiling te beoordelen. Daarnaast gaan we hem ook inzetten om feedback te geven aan leerlingen.

Waarom kozen jullie voor D-PAC?

Vooral vanwege de gebruiksvriendelijkheid, zowel voor ons als onderzoekers (geen gedoe met pakketjes opsturen, verwerking achteraf) als voor de beoordelaars (heel intuïtieve manier van beoordelen, twee teksten vergelijken naast elkaar op scherm werkt prettig).

We hadden op PhD-bijeenkomsten kennisgemaakt met Marije Lesterhuis, onderzoeker bij D-PAC, en leerden zo de tool kennen.

Wat werkte goed?

De vlotte samenwerking met het D-PAC team: na het aanleveren van de data had het D-PAC team heel snel de assessments opgezet. Alle beoordelaars hadden ook binnen de tijd hun beoordelingen afgerond, er was geen uitval. Dat wijst er volgens ons ook op dat het voor hen een prettige ervaring was. Het strookt ook met onze eigen ervaring (want we hebben zelf ook al beoordeeld met D-PAC): het werkt heel intuïtief, je bent als beoordelaar vrij zeker van je oordeel, dat geeft vertrouwen.

Wat was lastig?

Eigen aan beoordelen: de betrouwbaarheid. We hebben voor sommige assessments nog een extra beoordelaar moeten inroepen omdat onze betrouwbaarheid (net iets) te laag was voor onderzoeksdoeleinden. We waren overigens in eerste instantie voor het minimum aantal vergelijkingen gegaan en wisten dus dat het zou kunnen dat we beoordelaars zouden moeten toevoegen.

Het goede aan D-PAC is dat je heel makkelijk beoordelaars kan toevoegen om tot een betere betrouwbaarheid van je beoordeling te komen, behalve een extra beoordelaar zoeken heb je hier als onderzoeker verder geen werk aan.

Wat zou je een volgende keer anders doen?

Niks! We zouden het zo opnieuw doen!

Zijn jullie geïnspireerd geraakt door D-PAC en hoe dan?

Ja, zeker! Aangezien we nu een mooie betrouwbare schaal gemaakt hebben met D-PAC zijn we heel benieuwd naar de verdere ontwikkeling van het plaatsingsalgoritme. In de toekomst zouden we dit graag gebruiken: we stoppen onze schaal in D-PAC en nieuwe teksten kunnen dan in D-PAC beoordeeld worden door vergelijking met de schaal. Dit is niet enkel inzetbaar voor ons als onderzoekers maar zou ook in klassen kunnen worden ingezet: leerlingen zouden er dan er zelf mee aan de slag kunnen als leerproces.

Wat voor toekomst zien jullie voor D-PAC?

Wij hebben D-PAC gebruikt voor het beoordelen van teksten maar zoals de grote variatie aan projecten heeft aangetoond kan D-PAC op veel vlakken worden ingezet. Naast het puur beoordelen, kan D-PAC ook worden ingezet als feedback- en leerinstrument in scholen, bijvoorbeeld voor peer-assessment.

D-PAC levert betrouwbare beoordelingen op, het is heel eenvoudig in gebruik, werkt prettig en is in veel sectoren inzetbaar. Er is sowieso een grote markt voor dus met een beetje “chance” (lees: financiering) is er zeker een mooie toekomst weggelegd voor D-PAC.

Waar hebben jullie de D-PAC Award gelaten? Is het een wisselbeker die jullie ombeurten een dagje mee naar huis nemen? Of staat hij op een vaste plek?

Die staat te shinen op ons bureau, goed zichtbaar uiteraard.