Onderzoeksgroep

EduBROn

Expertise

Onderzoek naar de validiteit, betrouwbaarheid en moeilijkheid van comparatief beoordelen voor het beoordelen van complexe vaardigheden (inclusief peer assessment). Onderzoek naar leren uit vergelijken.

Een duik in de taakmoeilijkheid van comparatief beoordelen: het verband met beslissingskwaliteit en lage aligneerbaarheid. 01/04/2021 - 31/03/2022

Abstract

Comparatief beoordelen wordt in toenemende mate gebruikt om het werk van studenten te beoordelen in zowel het secundair als hoger onderwijs. Beoordelaars krijgen telkens twee werken voorgeschoteld en moeten aangeven welke van beide beter is. Onderzoek geeft aan dat comparatief beoordelen in sommige gevallen moeilijk is. Evidentie wijst eenduidig op de belemmerende rol van overeenkomstigheid (~similarity). Daarnaast blijkt ook dat de taakmoeilijkheid verschilt tussen beoordelaars. Inzicht met betrekking tot verschillende andere relevante aspecten van taakmoeilijkheid ontbreekt echter. Dit project focust op twee van deze aspecten: (1) de relatie tussen taakmoeilijkheid en de kwaliteit van de beslissingen die beoordelaars nemen en (2) de rol die moeilijk aligneerbare paren (~low alignability) hierin spelen. Om deze onderzoeksvragen te beantwoorden, zal gebruikt gemaakt worden van vier datasets waarvan drie reeds werden verzameld. Deze drie datasets focussen op de beoordeling van schrijven. De vierde dataset zal worden opgezet in een authentiek assessment rond presentatievaardigheden. Alle datasets bevatten naast de eigenlijke beoordelingen ook een verantwoording van de beslissing of feedback op de beoordeelde werken en informatie over de taakmoeilijkheid. De resultaten van dit project zullen meer inzicht bieden in de rol van lage aligneerbaarheid (~low alignability) in taakmoeilijkheid en een nieuwe onderzoekslijn initiëren door taakmoeilijkheid te linken aan beslissingskwaliteit.

Onderzoeker(s)

Onderzoeksgroep(en)