Om AI’s påverkan på examinationer: ”Det är bråttom”
Forskarna Felix Dobslaw och Peter Bergh har undersökt ChatGPT och dess påverkan på examinationer och landar i slutsatsen att det brådskar när det gäller att justera examinationsformerna.
– Det mest överraskande resultatet i vår studie var hur GPT-4 kämpar med frågor av problemlösande natur. Frågor stöpta i formen ”beskriv”, ”argumentera” etc, är språkmodellens paradgren, så att modellen skulle hantera tentafrågor av denna typ var föga förvånande. Men när en fråga berörde ett någorlunda komplext problem med en specifik lösning, då gick GPT-4 i flera fall bet, säger Felix Dobslaw.
Forskarna, som presenterade sina resultat nyligen på ECSEE (European Conference o Software Engineering Education), har tittat på huruvida den snabba tillgången på storskaliga språkmodeller, med fokus på ChatGPT (modell GPT-4), tvingar utbildningsinstitutioner världen över att omvärdera sina examinationssätt. De har också utforskat effekterna av att ersätta öppna bokprov på distans till muntliga tentor när det gäller arbetsbelastning i form av tidsåtgång och betygsfördelning.
– Vi konstaterar att GPT-4 kan ge tillfredsställande svar på öppna frågor, men att det kämpar med beräkningar och problemlösning. Samtidigt var flervalsfrågor mer utmanande för modellen än öppna frågor. När det gäller betygsfördelning och tidsåtgång kunde vi inte identifiera någon signifikant påverkan på grund av examensformatet, men GPT-4 klarade båda tentorna vi testade med toppbetyg på en av dem. Detta indikerar att vi behöver förändra formatet och implementeringen av våra tentor för att säkerställa rättvis bedömning, säger Peter Bergh.
Hur bråttom är det att göra justeringar?
– Vi menar att det är bråttom. Vi har nu sett hur AI-verktyg kan användas för att ge svar på tentafrågor, vilket innebär att vi snabbt behöver ompröva våra strategier för att säkerställa en rättvis bedömning. Då behöver vi hitta sätt att säkerställa att studenter inte kan dra otillbörlig fördel av dessa verktyg.
Trots de utmaningar som finns med att se över examinationsrutinerna menar forskarna att tekniken – och de förändrade krav den medför – rymmer möjligheter.
– Det kan innebära att vi utvecklar mer robusta metoder för bedömning som bättre reflekterar elevernas förståelse och kunskaper. Det kan också innebära att vi utforskar nya tekniker för att förbättra kvaliteten på undervisningen och lärandet.
Hur kommer ni själva att förändra examinationsrutinerna i de kurser ni ger?
– Vi har uppdaterat kursplanerna för att inkludera muntliga presentationer som ett komplement till inlämningsuppgifter. Salstentamen är naturligtvis att föredra för campusbaserade utbildningar, men inom vårt ämnesområde har vi stora grupper av distansstudenter. I det läget är vårt mest effektiva verktyg för att garantera rättvis och säker examination att, åtminstone delvis, lämna den digitala sfären och bli lite mer synkrona och analoga. Det innebär att vi införlivar mer traditionella metoder i vår examination, vilket innebär en viss förskjutning mot tidigare praxis, säger Felix Dobslaw.
Kontakt
