i.s.m. dr. Jasmine Meysman, Faculteit Toegepaste Ingenieurswetenschappen, Universiteit Antwerpen
Inleiding
De afgelopen jaren is de aandacht voor blended leren en afstandsonderwijs sterk toegenomen, waardoor er ook nood is ontstaan aan andere vormen van toetsing. Openboekexamens, waarbij studenten tijdens een examen gebruik mogen maken van eigen leermateriaal of inhoudelijke hulpmiddelen, zijn dan een interessant te overwegen mogelijkheid.
In deze onderwijstip gaan we eerst dieper in op wanneer een openboekexamen zinvol is. Vervolgens formuleren we praktische tips voor het ontwerpen en beoordelen ervan, ook en in het bijzonder ten tijde van een ruime beschikbaarheid aan artificiële intelligentie-tools.
Wanneer zinvol?
Bij openboekexamens ligt de nadruk op het aantonen van inzicht, het kritisch verwerken, interpreteren en beoordelen van informatie en het formuleren van onderbouwde oordelen (KU Leuven, 2020). Openboekexamens vragen van studenten om kennis en vaardigheden toe te passen, al dan niet in levensechte scenario’s of op realistische cases. Zij laten toe om conceptueel begrip en hogere orde vaardigheden -zoals toepassen, analyseren, synthetiseren en evalueren- te toetsen via complexere opdrachten (Deneen, 2020). Het is dan ook belangrijk dat, wanneer je als docent kiest voor een openboekexamen, dergelijke eindcompetenties in je opleidingsonderdeel voorop staan (Parker et al., 2021; ECHO-onderwijstip ‘Meet wat u moet meten’, 2013).
Het uitvoeren van complexe taken waarbij binnen een (strikte) tijdslimiet informatie uit verschillende bronnen moet worden geïnterpreteerd en gesynthetiseerd, vormt een realistische, professionele uitdaging. In die zin zijn openboekexamens dus zeer geschikt om na te gaan of studenten in een gesimuleerde professionele context kunnen functioneren (Deneen, 2020).
Openboekexamens kunnen ook een oplossing bieden voor evalueren vanop afstand (Deneen, 2020). Wanneer studenten niet beperkt (moeten) worden in het gebruik van hulpmiddelen en eigen leermateriaal, doet strikte monitoring minder ter zake. Studenten hoeven dan ook niet noodzakelijk hun examen op de campus af te leggen; dit kan (ook) van thuis uit. Het examen wordt dan een ‘take-home examen’ genoemd. Take-home examens verschillen van gewone groepswerken of opdrachten doordat ze binnen een strikt en kort tijdsbestek moeten worden afgewerkt. Dit kan variëren van enkele uren tot enkele dagen (Deneen, 2020; Bengtsson, 2019).
Een toetsing op basis van een openboekexamen kan studenten een vals gevoel van veiligheid geven, waardoor ze minder tijd besteden aan hun studie voor het betreffende opleidingsonderdeel en bijgevolg een lagere retentie hebben van de leerstof. Door onvoldoende voorbereiding lopen ze het risico dat ze tijdens het examen meer tijd besteden aan het zoeken naar antwoorden dan aan het formuleren ervan (Green et al., 2016). Dit kan je deels oplossen door tijdens je onderwijs sterk in te zetten op het aanleren van hogere orde vaardigheden (Green et al., 2016).
Tips voor het ontwerp
Hou bij het ontwerpen van de examenvragen rekening met het feit dat het om een openboekexamen gaat: vermijd vragen waarbij het antwoord rechtstreeks terug te vinden is in de leerstof. Ontwikkel examenvragen waarbij studenten kunnen tonen dat ze kritisch inzicht verworven hebben in de materie, ze dit inzicht kunnen toepassen en kunnen reflecteren over de leerinhoud (Heriot Watt University, 2023).
Openboekexamens kunnen in principe zowel uit open (bv. essay-) als gesloten (bv. Multiple Choice, Multiple answer) vragen bestaan. De vragen kunnen gebaseerd zijn op bestaande cases of realistische scenario’s. Ook het laten interpreteren van data is een mogelijke optie (Bredon, 2003). Voorzie in elk geval voldoende achtergrondinformatie. Of laat - in het geval van een open web examen bijvoorbeeld - het een onderdeel van het examen zijn dat studenten zelfstandig op zoek moeten gaan naar bijkomende info. Hou hier dan wel rekening mee bij het bepalen van de tijdslimiet voor het afleggen van het examen.
Communiceer aan je studenten duidelijk jouw verwachtingen met betrekking tot het examen: overloop voorbeeldvragen tijdens je lessen, licht toe hoe studenten beoordeeld zullen worden en voorzie heldere instructies bij het examen zelf (Heriot Watt University, 2023).
Tips voor de beoordeling
Hoewel een openboekexamen niet noodzakelijk uit omvattende open vragen moet bestaan, is dit meestal wel het geval. Dit hangt samen met het feit dat er voornamelijk hogere orde vaardigheden getoetst worden (cf. supra). Het brengt met zich mee dat de beoordeling vaak relatief veel tijd in beslag neemt en niet zwart-wit is (Deneen, 2020; Bengtsson, 2019).
Twee zinvolle beoordelingsinstrumenten bij openboekexamens zijn checklists en rubrieken. Checklists geven een overzicht van alle onderwerpen, bewerkingen, concepten, … die een student in het antwoord op een vraag vermeld of gebruikt moet hebben. Wanneer een student een gevraagd element correct in het antwoord heeft opgenomen, wordt dit afgevinkt van de lijst en scoort de student een deelpunt op deze vraag (Srinivasalu, 2016). Rubrieken zijn tweedimensionale evaluatiegidsen waarbij sets met verwachtingen gebruikt worden om de student te beoordelen. Rubrieken laten toe om studenten genuanceerd te evalueren op verschillende competenties volgens verschillende kwaliteitsgradaties (Srinivasalu, 2016; ECHO-onderwijstip ‘Rubrieken als begeleidings- en beoordelingsinstrument’, 2017).
Vaak wordt er bij de beoordeling van openboekexamens gekozen voor een combinatie van een checklist en een rubriek. Zorg ervoor dat deze kwalitatief en logisch zijn opgebouwd en gealigneerd met de eindcompetenties van het opleidingsonderdeel. Met de checklist worden de inhoudelijke aspecten van de antwoorden geëvalueerd, terwijl de rubriek wordt gebruikt om de vooropgestelde hogere orde vaardigheden te scoren. Een algemene rubriek kan eventueel op voorhand naar de studenten gecommuniceerd worden.
Een van de grootste nadelen van een openboekexamen is het verhoogd risico op fraude: studenten plegen plagiaat (ECHO-onderwijstip ‘Plagiaat’, 2013), werken – in het geval van een take-home examen - onderling samen of schakelen derden in, eventueel gespecialiseerd in het afleggen van examens voor een bepaald vak. Enkele tips om fraude tegen te gaan (Bengtsson, 2019):
- Vraag studenten om in hun antwoorden rechtstreeks te verwijzen naar het lesmateriaal. Penaliseer het ontbreken van referenties en/of gebruik een plagiaatdetectorsoftware.
- Druk je examen af met een watermerk. Maak bij een online examen gebruik van een beveiligde browser die kopiëren, opslaan of afdrukken van examenvragen voorkomt. Ga eventuele cohortfraude na op basis van statistische indicatoren.
- Zorg voor een strakke tijdslimiet voor het indienen van het examen, zodat een student het zich niet kan veroorloven om tijd te spenderen aan iets anders dan het invullen van zijn examen.
- Voorzie een bijkomende mondelinge toelichting om te doorprikken of de student de leerstof wel daadwerkelijk beheerst.
- Ontwerp vragen zo dat ze een grondige kennis van het cursusmateriaal vereisen. Dit verhoogt de kost om de uitwerking van het examen uit te besteden aan anderen, wat studenten daartoe zal ontmoedigen.
- Laat studenten bepaalde programma’s en online bronnen gebruiken, maar blokkeer of beperk vrije internettoegang (bijvoorbeeld via gespecialiseerde software zoals Avidanet).
Implicaties van artificiële intelligentie-tools (AI-tools)?
We vroegen bij wijze van experiment aan ChatGPT welke troeven en/of uitdagingen AI-tools bieden in functie van openboekexamens. AI-tools kunnen openboekexamens (en bij uitbreiding het leerproces van studenten) faciliteren (ChatGPT, 2023):
- Via AI-tools kunnen studenten sneller eerste ideeën voor antwoorden genereren dan via handmatig door boeken en bronnen bladeren. De ‘gewonnen’ tijd kunnen studenten vervolgens gebruiken om tot diepgaande en goed gestructureerde antwoorden te komen op complexe vragen die een grondige, persoonlijke analyse en redenering vereisen.
- Door studenten toe te laten AI-tools te gebruiken tijdens hun openboekexamen, zet je hen ertoe aan om op een kritische wijze te navigeren door een veelheid aan informatie en hieruit relevante (deel)antwoorden te selecteren. Belangrijk is dan uiteraard dat vooraf (in het betreffende opleidingsonderdeel en/of de opleiding als geheel) de vaardigheden voor het kritisch kunnen beoordelen en gebruiken van informatie uit bronnen zoals ChatGPT werden aangeleerd. Studenten moeten getraind zijn in het onderscheiden van betrouwbare en relevante informatie van minder bruikbare bronnen.
- Het mogen inzetten van AI-tools bij een openboekexamen maakt studenten bewust van de mogelijkheden van dergelijke technologie en hoe ze deze kunnen gebruiken als hulpmiddel bij het oplossen van complexe problemen, in hun leerproces maar ook in hun latere professionele context.
De ruime beschikbaarheid van AI-tools kan echter ook een uitdaging betekenen bij openboekexamens (ChatGPT, 2023). Het risico bestaat dat studenten antwoorden rechtstreeks overnemen vanuit een AI-tool zonder de leerstof echt te begrijpen. Dit ondermijnt uiteraard het doel van het examen. Als beoordelaar is het niet altijd evident om te onderscheiden of een antwoord vorm heeft gekregen door de student zelf, vanuit dieper inzicht, of simpelweg gegenereerd is door een AI-tool. Dit kan leiden tot een subjectieve beoordeling en onjuiste resultaten.
Kortom, het is belangrijk om een evenwicht te vinden tussen het laten gebruiken van AI-tools als hulpmiddel bij openboekexamens enerzijds en het waarborgen van diepgaand begrip bij studenten en een eerlijke beoordeling anderzijds (ChatGPT,2023). Dit kan door je examenvragen zowel voldoende complex als specifiek te maken én door vooraf richtlijnen met de studenten te overlopen die verduidelijken of en hoe ze AI-tools kunnen/mogen inzetten bij het betreffende openboekexamen. Houd daarbij zeker ook rekening met de beleidslijnen en het algemeen kader met betrekking tot AI en wetenschappelijke integriteit zoals geldend binnen je instelling (voor UAntwerpen-personeel: Beleidslijnen UAntwerpen met betrekking tot AI en wetenschappelijke integriteit, beschikbaar na login).
Meer weten?
Hoe ga ik aan de slag: concrete tips voor het opstellen van openboekexamens
Heriot Watt University, “Assessments: Creating a take-home exam,” p. 4, [Online]
J. B. Williams, “Creating authentic assessments : A method for the authoring of open book open web examinations,” pp. 934–937, 1991
Beleidslijnen UAntwerpen met betrekking tot AI en wetenschappelijke integriteit (enkel voor UAntwerpen-personeel na login)
ECHO Onderwijstips
Rubrieken als begeleidings- en beoordelingsinstrument
Relevante literatuur
L. Bengtsson, “Take-home exams in higher education: A systematic review,” Educ. Sci., vol. 9, no. 4, 2019, doi: 10.3390/educsci9040267.
B. Bloom, M. Englehart, E. Furst, W. Hill, and D. Krathwohl, “Taxonomy of educational objectives: The classification of educational goals,” in Handbook I: Cognitive domain, New York, Toronto: Longmans, Green, 1956.
R. Brightwell, J.-H. Daniel, and A. Stewart, “Evaluation: is an open book examination easier?,” Biosci. Educ., vol. 3, no. 1, pp. 1–10, 2004, doi: 10.3108/beej.2004.03000004.
G. Bredon, “Take-Home Tests in Economics,” Econ. Anal. Policy, vol. 33, no. 1, pp. 52–60, 2003, doi: 10.1016/S0313-5926(03)50004-2.
A. Gharib, W. Phillips, and N. Mathew, “Cheat Sheet or Open-Book? A Comparison of the Effects of Exam Types on Performance, Retention, and Anxiety,” J. Psychol. Res., vol. 2, no. 8, pp. 469–478, 2012, doi: 10.17265/2159-5542/2012.08.004.
S. G. Green, C. J. Ferrante, and K. A. Heppard, “Using Open-Book Exams to Enhance Student Learning, Performance, and Motivation,” J. Eff. Teach., vol. 16, no. 1, pp. 19–35, 2016.
M. K. Ioannidou, “Testing and life-long learning: open-book and closed-book examination in a university course,” Stud. Educ. Eval., vol. 23, no. 2, pp. 131–139, 1997.
KU Leuven, “Onderwijslexicon Open boek examen / gesloten boek examen,” 2022.
L. Myyry and T. Joutsenvirta, “Open-book, open-web online examinations: Developing examination practices to support university students’ learning and self-efficacy,” Act. Learn. High. Educ., vol. 16, no. 2, pp. 119–132, 2015, doi: 10.1177/1469787415574053.
A. M. Parker, E. Watson, N. Dyck, and J. P. Carey, “Traditional versus Open-Book Exams in Remote Course Delivery: A narrative review of the literature,” in Proceedings 2021 Canadian Engineering Education Association (CEEA-ACEG21) Conference, 2021, pp. 1–7.
G. N. Srinivasalu, “Open book evaluation System to improve the cognitive and analytical skills of the students of B.ED. in social science,” J. Educ. Res. Ext., vol. 53, no. 4, pp. 46–51, 2016.
L. Suskie, “Assessing student learning: A common sense guide”, San Francisco, CA: Jossey-Bass, 2018.
J. B. Williams, “The place of the closed book , invigilated final examination in a knowledge economy,” Educ. Medio Int., vol. 43, no. 2, pp. 107–119, 2006, doi: 10.2139/ssrn.1606343.