AI-stöd för kvalitetssäkring av kursplaner inom högre utbildning

Sammanfattning

Kursplaner är centrala dokument inom högre utbildning och granskningen av dessa är tidskrävande och manuell, vilket leder till att återkommande brister ofta identifieras sent i granskningsprocessen. I detta arbete undersöks hur AI-baserade metoder kan användas för att stödja kvalitetssäkring av kursplaner. En prototyp utvecklades där tre språkmodeller (EuroLLM, Llama och Qwen) analyserar kursplaner och ger återkoppling till användaren. Modellernas prestanda utvärderades med precision, recall och F1-värde mot en testdatamängd bestående av 17 kursplaner. Resultaten från utvärderingen visar att AI-baserade metoder för att upptäcka fel fungerar bättre med väldefinierade feltyper som identifieras med enkla regler jämfört med kontextuella bedömningar. Qwen uppnådde F1 0.94 för att identifiera användning av "skall'' istället för "ska'' och Llama uppnådde F1 1.00 för att kontrollera att behörighetskravet avslutas korrekt. Samtliga modeller misslyckades dock på feltyper där förståelse av sammanhanget krävs för att avgöra om ett fel finns. Arbetet visar att ett AI-baserat verktyg kan fungera som ett värdefullt komplement i granskningsprocessen, men att mänsklig granskning fortsatt är nödvändig.