Studie: Studenter fikk bedre karakterer etter ChatGPT. Hjalp særlig svake studenter

Hvordan har kunstig intelligens påvirket studenters læring og karakterer? Det har tre forskere ved The Hebrew University Business School undersøkt ved å følge 36.000 studenter på 6000 emner ved et «ledende israelsk universitet» fra 2018 til 2024.

Funnene er presentert i et «working paper», som betyr at artikkelen ikke er fagfellevurdert ennå.

Forskerne skiller mellom:

• «KI-kompatible kurs», altså kurs der studenter har anledning til å bruke KI, for eksempel på hjemmeeksamener der alle hjelpemidler er tilgjengelig.
• «KI-inkompatible kurs»: Kurs med fysisk tilsyn, eksamener og lab-arbeid, der man ikke kan bruke KI.

De har altså undersøkt studenter som startet både før og etter at KI ble allemannseie.

Ki-juks

Mener akademia ikke har peiling på KI-juks. — Store sjanser for justismord

Der KI var tillatt: Fikk bedre karakterer 

Forskerne fant at i KI-kompatible kurs fikk studentene bedre karakterer etter ChatGPTs inntog november 2022.

Det er riktignok ikke snakk om store karakterbyks. De svakeste studentene var de som fikk størst karakterforbedring, tilsvarende 2-3 poeng på en skala fra 0 til 100.

Det andre studieåret da ChatGPT var tilgjengelig hadde andelen studenter med den laveste ståkarkateren sunket med 50 prosent på de KI-kompatible kursene, sammenlignet med året før ChatGPT var tilgjengelig. Strykprosenten sank med en tredjedel.

Studentene som har rukket å bli erfarne KI-brukere, får et større løft i karakterene enn de ferskere KI-brukerne.

Forskerne tolker dette som at studentene har lært seg å bruke KI effektivt.

Der KI var forbudt: Fikk ikke bedre karakterer 

På KI-inkompatible kurs var det derimot ingen karakterforbedring eller nedgang i strykprosent.

Tallene viser at hele karakterfordelingen ble hevet og ble mer «sammenpresset». Færre strøk, færre fikk dårligste ståkarakter og litt flere fikk toppkarakterer. 

Når midtsjiktet blir tettere, svekkes også karakterenes verdi som signal til arbeidsgivere, påpeker forskerne. Det blir vanskeligere å bruke karakterene til å skille studentene fra hverandre.

kunstig intelligens

116 studenter felt for KI-fusk i fjor. Særlig én ting avslørte dem

Lærer studentene dårligere? 

Forskerne gjorde også interessante funn når det gjelder studentenes læring.

De sammenlignet studentene som startet i studieåret 2021-2022, altså før ChatGPT hadde gjort sitt inntog, med kullene etter, som hadde tilgang til KI.

De så en forskjell i studentenes prestasjoner i emner på høyere nivå, etter at de var ferdig med introduksjonsemenene.

Studentene som hadde KI tilgjengelig fra start i studieløpet presterte i snitt noe dårligere i disse mer avanserte emnene, sammenlignet med dem som gjorde introduksjonskursene uten tilgang til KI.

Dette kan ifølge forskerne tyde på at «KI kan erstatte utviklingen av mer grunnleggende ferdigheter».

Men det er usikkerhet knyttet til dette funnet. Bare én av de tre statistiske modellene de brukte for å måle dette, ga et resultat som var statistisk signifikant.

Kommer med fem anbefalinger

De tre forskerne, Naomi Hausman, Oren Rigbi og Sarit Weisburd oppsummerer funnene sine på nettsiden VoxEU.

Her skriver de:

«Generativ KI er allerede i ferd med å endre både hva studenter lærer og hvordan de lærer det. Våre funn viser at enkel tilgang til ChatGPT bedrer karakterene i fag, men gjør det vanskeligere å tolke hva karakterene egentlig sier om studentenes underliggende ferdigheter.»

De kommer med flere anbefalinger:

• Tenk nytt om vurderingsformer: Ha en kombinasjon av oppgaver under tilsyn, der man måler hva studentene faktisk kan, og hjemmeoppgaver som belønner riktig og kritisk bruk av KI.
• Gjør KI-kompetanse til en del av pensum: Generelle KI-forbud er lite effektivt, og kan dessuten forsterke sosiale skiller, sier forskerne.
• Utvid vurderingsgrunnlaget: Etter hvert som karakterer mister verdi, kan arbeidsgivere i større grad vektlegge strukturerte intervjuer, arbeidsprøver eller porteføljer som dokumenterer både grunnleggende kunnskap og AI-kompetanse.
• Følg med på ulikheter: Siden svake studenter ser ut til å tjene mest på KI, kan en godt utformet KI-politikk bidra til å redusere forskjeller. Men hvis det er slik at de grunnleggende ferdighetene blir svekket hvis man gjør seg avhengig av KI, er teknologiens effekt på utjevning uklar.
• Legg mer vekt på studentenes indre motivasjon: Studenter som bruker KI for mye risikerer å ikke lære godt nok, og kan bli dårlig forberedt til situasjoner der de må klare seg uten hjelp. Derfor bør utdanningen satse mer på å styrke studentenes indre motivasjon og ansvar for egen læring, mener forskerne.

Forskningsetikk

Forskerne utga seg for å være voldtektsoffer: — Avskyelig