Tip 40: Hoe rekening houden met gokken van studenten bij meerkeuzetoetsen?

De laatste tijd was er in de media veel aandacht voor hoe docenten moeten omgaan met de gokkans bij meerkeuzetoetsen. Denk maar aan de volgende krantenkoppen:

“Giscorrectie benadeelt eerlijke studenten” (deredactie.be, 13-10-2013) 
“UGent voert giscorrectie definitief af” (deredactie.be, 1-07-2015)
“KU Leuven test alternatief voor giscorrectie” (deredactie.be, 22-06-2015)

Giscorrectie

Er blijkt dus veel kritiek op het systeem van giscorrectie dat door veel docenten al jaren gehanteerd wordt. Voor alle duidelijkheid, meerkeuzetoetsen corrigeren met giscorrectie betekent het volgende:

goed antwoord: + 1
geen antwoord: 0
fout antwoord: -1 / (aantal antwoordmogelijkheden - 1)

Bij een vierkeuzevraag worden dus -1/3 punten afgetrokken bij een foutief antwoord, bij een driekeuzevraag zijn dat er -1/2, en bij juist/foutvragen 1 punt. Voor juiste antwoorden wordt er 1 punt toegekend en bij opengelaten vragen 0 punten.

Bijvoorbeeld, een meerkeuze-examen bestaat uit 40 vierkeuzevragen. Om te slagen, moeten studenten een score van 20/40 behalen. Deze kan behaald worden door 20 vragen juist in te vullen en de overige vragen niet in te vullen [(20x1) + (20x0)]. Of, door 20 vragen juist te beantwoorden en 20 vragen te gokken [(20x1) + (5x1 voor de juist gegokte vragen) + (15x(-1/3) voor de fout gegokte vragen)].

De recente kritiek op dit systeem heeft voornamelijk te maken met het feit dat giscorrectie studenten benadeelt die weerhoudend zijn om te gokken. Dit willingness-to-gamble effect zorgt voor een gedeeltelijke vertekening van de resultaten: met name een overcorrectie bij studenten die niet goed durven gokken en een ondercorrectie bij studenten die gemakkelijker een gokje durven wagen. Giscorrectie zou dus studenten benadelen die weinig risico durven nemen en minder geneigd zijn om te gokken. Bij een zo objectief mogelijk examen zouden de persoonlijkheidskenmerken van studenten niet mogen meespelen.  

Hogere cesuur

Als alternatief wordt er gekozen voor het verhogen van de cesuur. Bij het systeem van cesuurverhoging wordt voor de gokkans gecorrigeerd door de slaaggrens aan te passen. Met andere woorden, men gaat niet meer op vraagniveau corrigeren (zoals bij giscorrectie), maar op toetsniveau. We maken dit concreet met een voorbeeld:

Bijvoorbeeld, een meerkeuze-examen bestaat uit 40 vierkeuzevragen. De theoretische gokkans met 4 antwoordmogelijkheden is 25% of 10 vragen. Studenten kunnen dus, zonder enige kennis, 10 van de 40 vragen correct beantwoorden door te gokken. Om te slagen moeten studenten 15 van de overige 30 vragen correct kunnen beantwoorden. Dit geeft een cesuur van 25/40 (10+15), of met andere woorden: studenten moeten 25 vragen correct kunnen beantwoorden om te slagen voor dit examen.  (voorbeeld van de Open Universiteit uit Sabbe & Lesage, 2012)

Het verschil?

Wat is nu het verschil tussen de twee systemen? Als we bovenstaande voorbeelden vergelijken, zien we dat als studenten de materie niet beheersen en alles gokken, ze theoretisch gezien bij beide systemen een 0 behalen. Het verschil ligt in de startaanname van de systemen. Het cesuursysteem moedigt de studenten als het ware aan om te gokken als ze het juiste antwoord niet weten. Je verliest namelijk evenveel punten bij een opengelaten vraag als bij een verkeerd gegokte vraag. Het giscorrectiesysteem zegt eerder: beantwoord de vraag enkel als je (tamelijk) zeker bent. Zo niet, laat je de vraag open. Anders ga je punten verliezen. Giscorrectie ontmoedigt met andere woorden het gokken.

Wat betreft duidelijkheid qua instructie, ervaren studenten het cesuursysteem doorgaans als duidelijker. Het is eenvoudig: ze zijn namelijk geslaagd vanaf een bepaalde grens (bv. vanaf 12/20). De instructies bij het giscorrectiesysteem kunnen complexer overkomen omwille van de andere scoring bij geen/juiste/foute antwoorden. Meer en meer opleidingen kiezen nu voor één systeem doorheen de opleiding en werken met voorbeeldexamens

Dus…?

In deze tip zetten we de systemen om met gokken om te gaan op een rijtje met hun respectievelijke voor-en nadelen. We doen geen uitspraken ten voordele van het giscorrectie- of cesuursysteem. Ondanks 50 jaar onderzoek is er namelijk nog onvoldoende bewijs voor een toereikende methode om met gokken in meerkeuzetoetsen om te gaan (Sabbe & Lesage, 2012).
Tekenend voor deze blijvende zoektocht is het nieuwe systeem dat de KU Leuven recent voorstelde. Zij waren het niet eens met de redenering van het cesuursysteem (zoals bv. gehanteerd aan de UGent) dat aanzet tot gokken, ook al weet de student het antwoord helemaal niet. Daarom ontwikkelden zij een systeem waarbij studenten voor de verschillende antwoordmogelijkheden aan moeten geven of ze ‘mogelijk’ of ‘onmogelijk’ zijn. Dit systeem gedraagt zich zoals dat van giscorrectie, maar benadeelt studenten die minder risico’s durven nemen niet. Het systeem is nog in de testfase.

Ter conclusie, in het hele debat over correcties voor gokken, mogen we een essentieel aspect van meerkeuzetoetsen niet uit het oog verliezen. Niet enkel gokken heeft een invloed op de betrouwbaarheid en validiteit van meerkeuzetoetsen. Niet-representatieve vragen, onduidelijke vragen, vragen die aanwijzingen bevatten voor het juiste antwoord, te weinig vragen, verkeerde antwoordsleutels, te gemakkelijke/moeilijke vragen t.o.v. het verwachte niveau etc. ondermijnen de betrouwbaarheid van het examen evenzeer (zie ook tips 38 en 40 in ECHO, 2013). Inspanningen om hieraan tegemoet te komen, zullen vaak een meer betrouwbaar en valide examen opleveren dan het al dan niet toepassen van correctiesystemen om gokken tegen te gaan (Sabbe & Lesage, 2012).        

Meer weten?

ExpertiseCentrum Hoger Onderwijs (2013). Vijftig onderwijstips. Antwerpen-Apeldoorn: Garant. (Voor personeelsleden UAntwerpen hier online raadpleegbaar):

  • tip 38: opstellen van meerkeuzevragen
  • tip 39: meer dan kennis toetsen met meerkeuzetoetsen
  • tip 40: psychometrische tests bij meerkeuzetoetsen
  • tip 44: omgaan met de gokkans bij de correctie van meerkeuzevragen

Van Petegem, P. (2009). Praktijkboek activerend hoger onderwijs. Tielt: LannooCampus. (Hoofdstuk 9: Toetsing)

Sabbe, E., & Lesage, E. (2012). Meerkeuzetoetsen: Praktische handleiding voor leerkrachten en docenten. Antwerpen-Apeldoorn: Garant.

 

(Onderwijstip oktober 2015)