Examination i högre utbildning

Utveckla examinationer och lärande

Examination och kunskapsavstämningar är en viktig del av lärandeprocessen och ett sätt för dig som lärare att utveckla din undervisning. En kunskapstaxonomi, som till exempel Benjamin Blooms reviderade taxonomi, kan vara till hjälp. Där ordnas kunskapen i hierarkiska nivåer. Utifrån nivåerna kan examinationer och lektioner skapas för att få önskad effekt. Blooms reviderade taxonomi har sex steg och handlar om teoretisk kunskap. Det lägsta, enklaste steget är att minnas och det högsta, mest komplexa är att skapa. Mer komplexa uppgifter och examinationer kan göra det svårare att plagiera eller fuska på annat sätt.

En annan användbar taxonomi är John Biggs och Kevin Collis SOLO-taxonomi. SOLO står för Structure of the Observed Learning Outcomes och taxonomin ska beskriva progression i studenternas kunskaper, från det enkla (pre-structural/prestrukturell) till det komplexa (extended abstraxt/utvidgad abstrakt).

Här är Blooms reviderade och SOLO-taxonomin bredvid varandra, för jämförelse.

Öppna frågor, konstruerade med aktiva verb från de högre nivåerna i taxonomierna, där studenterna ska koppla kursmaterial/litteratur till egna åsikter, erfarenheter, tankar och förklara och bevisa sin kunskap ger både ett djupare lärande och är svårare att plagiera eller fuska på annat sätt med.

För att studenten ska lyckas med examinationen är tydliga och kända bedömningsgrunder av yttersta vikt. Examinationen, precis som kursen i stort och de planerade läraktiviteterna, måste planeras så att den verkligen mäter de lärandemål som den ska testa och så att den blir lätt och rättssäker att bedöma. Läs gärna mer:

• Rättsäker examination från UKÄ 
• Bergqvist, J Att sätta praxis på pränt: en handbok i att skriva betygskriterier
• Laurillard, D. (2012). Teaching as a Design Science: Building Pedagogical Patterns for Learning and Technology. New York: Routledge.

Att använda quizar eller olika göra avstämningar under lektioner eller föreläsningar i form av frågor via digitala verktyg som medger realtidsvisualisering ger en god uppfattning om kunskapläget i en grupp. Utifrån svaren kan sedan undervisningen och materialet anpassas. Att arbeta på detta sätt blir även tidseffektivt för läraren. Quizar har även visat sig ha mycket god effekt på inlärning (se till exempel Case, J och Kennedy, D: Using Quizzes Effectively: Understanding the Effects of Quiz Timing on Student Motivation and Knowledge Retention.) Att tidigt under kursen låta studenterna göra ett test, till exempel i form av en självrättande quiz, på det kursen täcker ger studenterna en bra bild av vad de ska lära sig och läraren en större chans att planera sin undervisning. Quiz kan vara självrättande och även anonyma. En AI-tjänst kan vara till stor hjälp med att skapa quizfrågor. Bäst resultat får man om man kan ladda upp material som ska utgöra grund för quizfrågorna. Frågor som skapas på detta sätt ska alltid granskas så de är korrekta. 

Muntlig examination är ett rättssäkert och effektivt sätta att examinera upp till 60-70 studenter.  Du kan ställa uppföljande frågor och interagera, vilket gynnar studenten och lärandet. Det blir även kostnadseffektivt eftersom fler studenter klarar examinationen under ett och samma tillfälle.

Muntlig examination kan genomföras på en mängd olika sätt. Individuellt, i par eller grupp. Som presentationer, paneldebatter, simuleringar, rollspel eller i form av seminariediskussioner. AI kan användas för att skapa underlag, frågor, fallstudier eller texter som används i examinationen. Det muntliga inslaget kan föregås av en skriftlig inlämning eller salstentamen, eller så kan dessa inslag komma efter och följa upp den muntliga delen. I båda fallen blir det svårare att bara reproducera vad någon annan (eller en AI-tjänst) producerat. Att uppmuntra frågor och feedback från övriga studenter i samband med genomförandet kan vara en bra idé för att få en dynamisk kunskapskontroll. Feedback kan följas upp av revidering eller kommentarer.

Inledningsvis kan muntlig examination upplevas som väldigt tidskrävande, men ofta sparar man likvärdig tid på rättning av skriftliga examinationsuppgifter. För att underlätta kan det vara bra att göra tydliga underlag för bedömning som används under genomförandet, till exempel i form av matriser utifrån lärandemålen. Likaså ger tydliga och likvärdiga instruktioner till studenterna, till exempel skriftligt, oftast bättre resultat. Frågor, fall, eller uppdrag kan varieras mellan individer och grupper för ökad rättssäkerhet. Muntlig examination kan även genomföras digitalt. Överväg att spela in eller till exempel låta studenten komplettera med en skriftlig sammanställning av källor som hen får kommentera under examinationen. 

Projektbaserad examination kan också genomföras på många sätt och är utmärkt för att följa en process och använda formativ bedömning. Här kan AI till exempel vara en del genom att studenter ska använda AI-tjänster för att generera något (text, kod, bilder och så vidare) som i olika steg utvärderas och förbättras. Detta kan genomföras individuellt eller i grupp. AI kan användas i hela projektet eller i isolerade delar. Samarbete kring specifika problem och utveckling av lösningar, med dokumentation i form av individuella loggar med metareflektioner och koppling till kurslitteratur eller andra källor kan ge värdefull insikt i kunskapsnivån. 

Andra tips är att låta studenterna skriva bloggar/vloggar (videobloggar), wikis, skapa film, e-portfolio, open-book examinationer och att låta studenterna skapa tenta- eller quizfrågor.

Några övergripande tips för examinationer:

• Fokusera på lärandemål och kursplan när du skapar examinationen.
• Var specifik i instruktioner och krav. Förtydliga vad som förväntas i alla delar av examinationen - även inför den och vilka resurser som får användas i varje steg.
• Ha processen i centrum - arbeta med formativ bedömning under kursens gång i stället för, eller tillsammans med, en summativ bedömning i slutet av kursen, till exempel en salstenta eller en muntlig examination. Under processens gång, lär känna studentens egen röst, i både text och tal, så långt det är möjligt.
• Skapa komplexa examinationer med flera olika delar där du examinerar på olika sätt. Det skapar dessutom en tillgängligare examination där fler studenter kommer kunna visa sina kunskaper på bästa sätt.
• Skapa originella frågor som kräver originella svar - ta in kontext och gör examinationen viktig (till exempel genom verkliga mottagare).
  • Personliga reflektioner och trovärdiga beskrivningar av egna erfarenheter kopplat till litteratur och undervisning.
  • Koppla examinationer till dagsaktuella händelser eller sådant som hänt under kursen (studiebesök, seminarier, namngivna gästföreläsare etc.).
• Använd muntlig examination - som en delexamination eller som uppföljning av andra typer av examinationer. Se mer nedan.
• Kräv referenser (inklusive sidhänvisningar, oavsett referenssystem) och ställ krav på de referenser som ska finnas. Krav kan vara specifik kurslitteratur, specifik utgåva och liknande. 
• I vissa lägen är salstentamen det bästa valet. Det kan vara då det handlar om att redogöra för fakta eller baskunskaper eller att skriva en text som i sig är det som examineras.

Muntlig examination kan användas utan att ändra kursplanen om det används som komplettering för att nå godkänt resultat efter skriftlig salstentamina eller hemtentamina, eller som komplettering vid misstanke om fusk, samt regelmässigt som komplettering även när misstanke om fusk inte finns. I det senaste fallet görs ett slumpmässigt urval av ett antal studenter. Det är i samtliga fall viktigt att informera studenterna om att detta förfaringssätt finns och kommer användas.

AI och examinationer

Examination inom högre utbildning handlar ofta om att skriva texter, något som orsakat en oro utifrån utvecklingen med generativ AI. I detta sammanhang ät det viktigt att veta att så kallade detekteringstjänster som påstås kunna identifiera AI-skriven text inte är tillförlitliga. Läs, till exempel, mer i studien Testing of Detection Tools for AI-Generated Text. Studien täcker ett flertal verktyg och visar samma resultat som flera andra studier på samma område. Studierna visar att detektionsverktyg kan ge både falska positiva utslag och falska negativa utslag. Det går inte heller att fråga något AI-verktyg om det genererat texten, eftersom svaret inte är att lita på alls. 

I sammanhanget "AI och fusk" är det viktigt att tydligt kommunicera sin syn på vad som utgör akademisk hederlighet till studenterna.  Att prata om fusk och vad det är, är det viktigaste steget för att förhindra det. För att kunna göra det behöver man tänka igenom vilken kunskap studenten själv måste besitta och vilken kunskap till exempel ett AI-verktyg kan bistå med utan att studenten tappar något i sin utbildning. Troligen kommer vi alla arbeta med AI på ett helt annat sätt i framtiden. Utifrån detta är det en god idé att testa sina examinationer i någon AI-tjänst och se vilken typ av svar man får. Kvaliteteten på svaren är väldigt avhängig hur man promptar, vilket kan både invagga i falsk säkerhet och förskräcka. Utöver att planera examinationer med de högre nivåerna i taxonomierna ovan i åtanke och utifrån tipsen under "Övergripande tips för examinationer" är det värt att tänka på att fusk inte är något nytt som dök upp med generativ AI.  Det är lättare att rakt av använda AI för att generera text, eller plagiera från en källa,  om uppgiften är avsedd att redogöra för eller förklara något, än en text som kräver att studenten kopplar in kontext, specifik kurslitteratur och/eller annan litteratur med motiveringar kring varför just denna källa valts, egna erfarenheter och exempel och analyserar, värderar och utvecklar utifrån detta. Det är dock lätt att använda något generativt AI-verktyg för att generera delar eller hela texter som sedan förändras, till exempel med andra AI-verktyg eller genom egen bearbetning. Det går inte att utforma helt "fusksäkra" examinationer, men det är svårare att fuska på övervakad salstentamen, muntliga examinationer på campus och praktiska examinationer så som laborationer, VFU eller konstruktion av någon form av fysisk artefakt. Muntliga examinationer online eller online tentamen är också relativt svårt att fuska på, men inte alls omöjligt. Detsamma gäller examinerande seminarier och processkrivande där handledaren är med i skrivprocessen. Det är viktigt att komma ihåg att fusk innefattar många andra metoder än AI-genererad text och det är inget nytt. Det bästa sättet att undvika fusk är att ha en öppen och tydlig dialog med studenter om vad som utgör akademisk hederlighet respektive fusk. Ha en policy eller riktlinjer kring akademisk hederlighet där användandet av AI-tjänster är en del. Även att variera sina examinationsformer och vara noga med utformningen av dessa. Överväg även att justera i kursplanen med tanke på fusk med generativa AI-tjänster, till exempel så att examination kan kompletteras. 

Textgenerativ AI har svårare att producera texter som innehåller idiomatiska uttryck, talspråk, dialektala uttryck, stavfel och den typen av språkliga fel som personer med annat modersmål än svenska gör (exempel på sådana är prepositionsfel, semantiska fel eller fel i meningsbyggnad). Med detta sagt, så är det ändå viktigt att veta att utvecklingen av vad generativa AI-verktyg klarar av att producera går väldigt fort och det är stor skillnad på gratis- respektive betalvarianter av verktygen. 

Vill du ha stöd i hanteringen av generativ AI och examination?

Kontakta Pedagogisk utveckling på PUkontakt@miun.se eller www.miun.se/boka-pu