Hur bra sammanfattar ChatGPT texter från högskoleprovet?

Sammanfattning

I takt med att AI-baserade verktyg som ChatGPT blir alltmer populära i akademiska sammanhang har studenter börjat använda dem för att sammanfatta akademiska texter i syfte att spara studietid. Detta väcker frågan om huruvida sådana automatiserade sammanfattningar kan ersätta läsningen av en originaltext utan att påverka läsförståelsen. Syftet med denna studie är att undersöka om läsförståelsen påverkas när studenter endast får tillgång till en AI-genererad sammanfattning istället för att läsa originaltexten. Studien bygger på tidigare forskning om AI:s inverkan på lärande och textförståelse. Vi genomförde ett experiment där 51 studenter fick läsa två texter från ett tidigare högskoleprov och sedan besvara flervalsfrågor kopplade till förståelse av texternas innehåll. Det skapades en sammanfattning av varje text genererad av ChatGPT version 4 (V2). Varje deltagare fick läsa en av texterna i sin originalversion och den andra i sammanfattad form. Deras resultat på läsförståelsefrågorna jämfördes och deltagarnas självskattade säkerhet på sina svar samlades in för att förbättra analys av deltagarnas upplevelse av texten. Resultaten visar att när deltagarna läste ChatGPT:s sammanfattning presterar de lägre på läsförståelsefrågorna än när de läste originaltexten. Skillnaden i korrekthet och självbedömd självsäkerhet mellan de två texterna visar också hur olika texter kan påverkas positivt eller negativt av genererad sammanfattning, då dess typ och komplexitet ledde till skilda mönster i resultatet. Dessutom rapporterade deltagarna en lägre grad av säkerhet i sina svar på frågorna kopplade till den AI-genererade sammanfattningen. Studien antyder att läsningen baserad på AI-genererade sammanfattningar kan negativt påverka studenternas läsförståelse. Resultaten från denna studie bidrar till större förståelse över hur AI-genererade sammanfattningar kan påverka läsförståelse, samt hur innehållet på en text kan påverka sammanfattningen.