Nei, denne metaanalysen viser ikke bedre læring med ChatGPT

Denne teksten er et debatt­inn­legg. Inn­holdet i teksten uttrykker forfatterens egen mening.

Metaanalysen om ChatGPT fra Weng & Fang (2025) har spredt seg som ild i tørt gress, og har de siste ukene vært omtalt i både Khrono, NRK og Aftenposten. Disse omtalene antyder at ChatGPT gir bedre læringsutbytte og har «stor positiv effekt» på studenters læring og høyere ordens tenking. 

Professor Morten Goodwin hevder at studien viser at «studenter som bruker ChatGPT lærer mer enn de som ikke gjør det», mens professor Atle Guttormsen slo fast i NRK at studien viser «en tydelig læringseffekt». 

Problemet? Studien måler ikke først og fremst læring, men såkalte «læringsresultater». 

kunstig intelligens

Analyse: ChatGPT har stor positiv effekt på studentenes resultater

I flere tilfeller betyr dette hvor god kode eller akademiske tekster studentene produserer i samarbeid med ChatGPT. Å kalle dette «bedre læring» blir som å si at folk blir gode i hoderegning når de får bruke kalkulator mens de regner.

Ser man nærmere på metaanalysen, oppdager man også flere vesentlige feil. Forfatterne har oppgitt feil antall deltakere, feilberegnet effektstørrelser og tilsynelatende brukt variabler som ikke ble målt eller oppgitt i originalstudiene. 

Feilene er betydelige nok til at den aldri burde passert fagfellene, og rettferdiggjør en grundig revisjon, eller til og med tilbaketrekking.

La oss ta noen eksempler.

rettssak

Mener ordene «karakter­design» og «bildebok­mediet» avslører KI-fusk

Metaanalysen hevder at den bygger på 51 kvasieksperimenter, hvorav flere ikke kontrollerer for selv de mest grunnleggende faktorer, som tid eller bruk av hjelpemidler. 

I én originalstudie (Hsu, 2024) øvde ChatGPT-gruppen 80 timer på medisinsk terminologi, mens kontrollgruppen øvde i bare 20 timer. Læringsresultatet ble målt uten tilsyn, via nett, med fri tilgang til alle hjelpemidler — inkludert ChatGPT.

Andre originalstudier ser heller ikke ut til å ha vært vurdert kritisk. Ji et al. (2023) delte 36 studenter i grupper på fem til seks personer, hvor gruppen ble vurdert med én felles karakter. Metaanalysen har derimot behandlet studien som om hver student fikk en individuell vurdering. Konsekvensen blir et unaturlig lavt standardavvik, som igjen kanskje forklarer den spektakulære effektstørrelsen (g = 4.009). 

Dette burde både forfatterne og fagfellene ha oppdaget. Effektstørrelser over 1 forekommer nemlig nesten aldri i utdanningsforskning (Kraft, 2023), men i denne metaanalysen forekommer det i hele 25 prosent av originalstudiene.

Weng og Fang (2025) har også oppgitt tall og variabler som ikke er å finne i originalstudiene, som svekker tilliten ytterligere. Bašić et al. (2023) undersøkte effekten av ChatGPT på akademisk skriving. Kontrollgruppen skrev oppgaven selv, mens eksperimentgruppen fikk hjelp av ChatGPT. Her presterte kontrollgruppen best, og effektstørrelsen var negativ (g ≈ -0.52). 

Studien er derimot oppført to ganger i metaanalysen, først korrekt, og deretter med feil deltakerantall og en sterk positiv effekt (g = 0.993).

kunstig intelligens

Professor tatt for å bruke ChatGPT. Student krevde pengene tilbake

Skal vi tro metaanalysens tabeller, har Weng og Fang også inkludert en annen metaanalyse som en enkeltstudie (Wang et al., 2024). Dette gir lite mening, og kan kanskje skyldes mindre alvorlige feil i kildehåndteringen. 

Etter en kort e-postkorrespondanse med førsteforfatter Weng, mottok vi en «korrigert» oversikt over studiene som egentlig ble brukt. Denne oversikten inneholder derimot plutselig en rekke studier som verken er omtalt i tabellene eller referanselisten til den opprinnelige metaanalysen.

Feilene er altså gjennomgående, og de korrigerte opplysningene vi mottok fra Weng skaper bare mer forvirring. 

Chen and Chang (2024) utførte for eksempel et eksperiment på 202 syvendeklassinger, men i metaanalysen er studien oppført som to separate eksperimenter på ulike utdanningsnivå, én på videregående og én på universitet. Originalstudiene til Hu i Educational Technology & Society (2024) og Almohesh (2024) er også kodet som studier på læringsprestasjon, men målte egentlig opplevd etisk mestringstro og følelse av autonomi.

Debatt ● Christer Thrane

Etter ChatGPT: Farvel til hjemmeeksamen

Det er også tvilsomt grunnlag for påstanden om at ChatGPT fremmer høyere ordens tenking. Studiene med flest antall deltakere og størst effekt (Lu et al., 2024; Selem et al., 2025) baserer seg på selvrapportering, trolig av typen: «Jeg er flink til å komme på kreative løsninger». 

Verken innholdet i testene eller validiteten til disse er dokumentert i originalstudiene, og her stemmer heller ikke effekt- og utvalgsstørrelsene med det som er oppgitt i metaanalysen.

Hva kan vi lære av dette da?

Det er bare å innrømme det. Kvalitetskontrollen har sviktet og bekreftelsestendensen har bidratt til den utstrakte delingen. I skrivende stund har artikkelen nådd lengre enn 99 prosent av lignende artikler (Altimetrics). 

Kanskje leser læreren eller rektoren til noen av dine nærmeste denne artikkelen akkurat nå, og blir overbevist nok til å innføre ChatGPT i læringsprosesser hvor det egentlig kanskje får negativ effekt.

Nå må vi passe på. En sensasjonell overskrift i et anerkjent tidsskrift om et brennaktuelt tema kan få stor gjennomslagskraft. 

Og selv om vi burde kunne stole på fagfellevurdering og akademisk etterrettelighet, ser vi at det ikke alltid holder. Videreformidlingen burde også ha blitt bremset av kritiske blikk, men det er ikke alltid så enkelt. Det krever både motivasjon, tid og spesialisert kunnskap.

Vi vet ikke om Weng og Fang har brukt kunstig intelligens ukritisk i utarbeidelsen av denne artikkelen, men vi vet at språkmodeller nå gjør det mulig å produsere forskningsartikler raskere og enklere enn noensinne, selv på mangelfullt eller uredelig grunnlag. 

eksamenstid

Dette er rådene til studenter og forelesere i den kunstige intelligensens tid

Og fordi språkmodellene produserer glitrende tekster, kan de blende selv de som lærer andre å tenke kritisk.

Ja, språkmodeller kan sannsynligvis hjelpe oss å lære bedre. De kan støtte målrettet øving, gi raskere tilbakemeldinger, nivåtilpassede forklaringer og senke terskelen for å stille spørsmål. Men de kan også ha negative effekter, som å forsterke misoppfatninger og bidra til kompetanseillusjoner. 

Hovedpoenget vårt er likevel følgende: Denne metaanalysen gir ikke grunnlag for påstandene som har blitt formidlet i media om at ChatGPT forbedrer læring.

Til orientering: Førsteforfatteren er gjort oppmerksom på de påviste manglene. I tråd med tidsskriftets retningslinjer har vi forberedt en kommentar, som kan sendes inn tidligst 14 dager etter at forfatterne ble informert.

Debatt ● Kenth-Arne Hansson

Hvor var KI-ekspertene før det smalt?