Neemt u schriftelijke examens af bij studenten? Dan wilt u uiteraard dat de resultaten van deze examens ‘waar’ zijn. De score van een student moet weergeven in welke mate hij/zij de leerdoelen van de betreffende cursus beheerst. Is dit dan niet altijd zo? Helaas niet; elk examen is immers een momentopname en de verkregen informatie kan ‘ruis’ bevatten: elementen die ertoe bijdragen dat een examenscore van bijvoorbeeld 12 op 20 een over- dan wel onderwaardering betreft. Voor een betrouwbaar examen geldt dat de resultaten van een bepaalde groep studenten overeen dienen te komen met de resultaten van dezelfde studenten op andere examens die over hetzelfde onderwerp gaan en van hetzelfde niveau zijn.
In deze tip geven we vooreerst een aantal criteria weer die van belang zijn voor de betrouwbaarheid van een schriftelijk examen. Vervolgens bespreken we enkele praktische richtlijnen om de betrouwbaarheid te bevorderen.
Volgende criteria beïnvloeden de betrouwbaarheid van een schriftelijk examen:
Duidelijkheid
In welke mate zijn de vragen zo duidelijk geformuleerd dat zij niet onbedoeld studenten in verwarring brengen of op het verkeerde been zetten? U mag uiteraard uitdagende vragen stellen of vragen die een complexe redenering vergen, maar in elke vraag zou een duidelijke opdracht geformuleerd moeten zijn, die niet meerduidig geïnterpreteerd kan worden door iemand met kennis van zaken. Is dit laatste toch het geval, dan mogen deze meerduidige interpretaties niet worden afgestraft.
Moeilijkheid
In welke mate zijn de vragen en het examen als geheel qua moeilijkheid afgestemd op het niveau van de studenten voor wie het examen bestemd is? Zowel een extreem moeilijk als een zeer gemakkelijk examen geeft te weinig informatie over het precieze kennen en kunnen van studenten.
Specificiteit
In welke mate zijn de vragen zo gesteld dat alleen diegenen die de leerdoelen voldoende beheersen, tot een goede oplossing in staat zijn?
Differentiatie
In welke mate maken de vragen en het examen als geheel onderscheid tussen studenten die de leerdoelen goed en minder goed beheersen?
Examenlengte
In welke mate is het aantal vragen waaruit het examen bestaat, voldoende om toevalstreffers uit te sluiten? Wanneer een student vier vragen over een bepaald leerdoel goed beantwoordt, kan men met meer zekerheid zeggen dat deze dat leerdoel goed beheerst, dan wanneer slechts één vraag over dit onderwerp is gesteld en goed beantwoord.
Objectiviteit
In welke mate zijn de criteria ter evaluatie van de antwoorden zo duidelijk vooraf vastgelegd dat de persoon van de beoordelaar, mits hij zich aan de evaluatiecriteria houdt, zo weinig mogelijk invloed heeft op de score van de student? Zeker als er meerdere beoordelaars betrokken zijn bij de correctie van een examen vormen duidelijke, vooraf vastgelegde criteria een must met het oog op inter-beoordelaarsbetrouwbaarheid.
Door rekening te houden met volgende richtlijnen bij het opstellen van een schriftelijk examen kunt u de betrouwbaarheid ervan verhogen:
Stel het examen in overleg met een collega op.
Deze vuistregel is van belang om zicht te krijgen op zowel de duidelijkheid (kan er geen misverstand bestaan rond het te geven antwoord?) als de moeilijkheid van de vraagstelling. U kunt de examenvragen samen met uw collega bedenken dan wel het examen zelfstandig opstellen en het achteraf laten maken door een collega en op basis van diens feedback bijstellen waar nodig. De laatste werkwijze heeft als voordeel dat u ook enig zicht krijgt op de tijd die nodig is om het examen op te lossen.
Formuleer de vragen specifiek en let er op dat de vragen in het examen onafhankelijk zijn van elkaar.
De bedoeling van deze vuistregel is voorkomen dat vragen op grond van algemene kennis en/of elementen uit andere vragen in het examen kunnen worden beantwoord. De specificiteit van het examen zou hierdoor kunnen worden aangetast. Als u het examen laat maken door iemand die de desbetreffende (of een aanverwante) opleiding niet gevolgd heeft, kunt u nagaan of de verschillende examenvragen alle voldoende specifiek zijn.
Streef naar een evenwicht tussen relatief eenvoudige en meer uitdagende vragen.
Zorg voor een verhouding tussen eenvoudigere en moeilijkere vragen van 60% - 40%. Op deze manier bekomt u een evenwichtig examen dat voldoende differentiatie toelaat tussen studenten die de leerdoelen goed en minder goed beheersen. U kunt zich baseren op de resultaten op de vragen in vroegere examens (van uzelf of een voorganger) om de moeilijkheid van vragen in te schatten.
Zorg ervoor dat het examen uit een voldoende aantal vragen bestaat.
Deze vuistregel wil de kans op toevalstreffers dan wel brute pech zoveel mogelijk uitsluiten. Zoek naar een optimum tussen afnametijd en examenlengte, maar zorg ervoor dat de kern van uw opleidingsonderdeel sowieso grondig wordt bevraagd. Tenzij het (ook) de bedoeling is snelheid van werken te meten, dient er voldoende tijd te zijn om alle vragen te beantwoorden.
Bij de correctie van een schriftelijk examen ten slotte zijn volgende vuistregels van belang met het oog op het bevorderen van de objectiviteit van de scoring:
Verbeter het examen uitgaande van vooraf opgestelde evaluatiecriteria.
Werk met een antwoordsleutel waarin de verschillende elementen van een juist antwoord zijn opgenomen. Bij essayvragen kan het zinvol zijn om deze aan te vullen met beoordelingsaspecten die in rekening worden genomen, zoals de mate waarin het antwoord goed gestructureerd is of constructief-kritisch. Belangrijk is dat telkens ook het relatieve gewicht van de verschillende antwoordonderdelen of beoordelingsaspecten wordt aangegeven. Daarnaast moet het gewicht van de vragen binnen de toets als geheel worden verduidelijkt.
Anonimiseer de examenformulieren.
In het geval u studenten bij naam kent, helpt het anonimiseren van de examenformulieren u om tot een objectieve scoring te komen. Bij een niet-anonieme verbetering is het vaak moeilijk om een eerdere indruk van studenten geen (positieve of negatieve) invloed te laten uitoefenen op uw scoring.
Verbeter examenformulieren vraag per vraag en verander regelmatig de volgorde van de formulieren.
Door vraag per vraag te verbeteren (in plaats van examen per examen) is het gemakkelijker om de vooraf opgestelde evaluatiecriteria voor de verschillende vragen consequent te hanteren. Bovendien laat dit toe om de volgorde waarin u examenformulieren verbetert regelmatig te veranderen: het formulier van student Y wordt dan niet altijd verbeterd na dat van student X, wat een objectieve scoring bevordert. Iedereen heeft immers de natuurlijke neiging om een uitwerking te overwaarderen als deze volgt na het lezen van een slechte uitwerking, en omgekeerd een antwoord van een student minder hoog in te schatten na het lezen van een sublieme respons.
Meer weten?
ExpertiseCentrum Hoger Onderwijs (2013). Vijftig onderwijstips. Antwerpen-Apeldoorn: Garant. (Voor personeelsleden UAntwerpen hier online raadpleegbaar):
- Tip 37: Inschatten van de benodigde toetstijd
- Tip 41: Een objectieve correctie van open toetsvragen
- Tip 42: Aandachtspunten bij criteria
- Tip 45: Mondelinge toetsen objectief beoordelen
ECHO-onderwijstips:
Bender, W. (2003). Toetsen in het hoger onderwijs. Assen: Van Gorcum.
Dochy, F., Heylen, L., & Van de Mosselaer, H. (2002). Assessment in onderwijs. Utrecht: Lemma BV.
Milius, J., Oost, H., & Holleman, W. (2001). Werken aan academische vorming. Utrecht: Zuidam en Uithof.
Stes, A. (2009). Toetsing: wat, waarom, wie, wanneer, welke vorm? In: Van Petegem, P. (Red.) (2009). Praktijkboek activerend hoger onderwijs (pp. 190-210). LannooCampus.
Van Berkel, H., & Bax, A. (2002). Toetsen in het Hoger Onderwijs. Houten/Diegem: Bohn Stafleu Van Loghum.
(ECHO-onderwijstip december 2018)