Studien hevdet at ChatGPT ga bedre læring. Nå er den trukket tilbake

I en forskningsartikkel som i mai i fjor ble publisert i Humanities and Social Sciences Communications, hevdet to kinesiske forskere at bruk av ChatGPT har stor positiv effekt på studenters læring.

Det var en metaanalyse som gjennomgikk 51 kvasieksperimenter om kunstig intelligens (KI) og ChatGPT.

«For best resultat bør ChatGPT integreres aktivt i undervisningen, gjerne over flere uker og med støtte i tydelige pedagogiske rammer», anbefalte forfatterne.

Artikkelen fikk mye oppmerksomhet og ble omtalt i flere norske medier som Khrono, NRK og Aftenposten. 

Den har blitt lest over 470.000 ganger og blitt sitert mer enn 250 ganger i annen forskning, ifølge Altmetric.

Sverige

Dette er det verste forskere kan gjøre, ifølge forskere

To UiT-ansatte kritiserte 

Men den har også blitt kritisert. To norske universitetsansatte, stipendiat Magnus Ingebrigtsen og universitetslektor Marko Lukic ved UiT Norges arktiske universitet, var tidlig ute med kritikk. 

De har fulgt saken tett, og deres kritikk var utslagsgivende for at tidsskriftet denne uka besluttet å trekke artikkelen tilbake.

Selve tilbaketrekkingsmeldingen fra forlaget er relativt kryptisk. Det står:

«Redaktøren har besluttet å trekke tilbake denne artikkelen på grunn av bekymringer knyttet til avvik i metaanalysen. Disse problemene undergraver til syvende og sist den tilliten redaktøren kan ha til analysens gyldighet og de konklusjonene som følger av den.»

Det står videre at forfatterne ikke har svart på henvendelser om tilbaketrekkingen.

Khrono har også forsøkt å få kontakt med forfatterne for å få deres kommentarer, men har ikke fått svar.

Kunstig intelligens

Avviste 500 konferanseartikler

Mener den ikke måler læringsresultater 

Noen uker etter at artikkelen ble publisert i fjor, skrev Ingebrigtsen og Lukic i en kronikk i Khrono at «Nei, denne metaanalysen viser ikke bedre læring med ChatGPT».

De skrev videre at metaanalysen ikke først og fremst målte læring, men «læringsresultater», altså kvaliteten på kode eller akademiske tekster produsert med hjelp av ChatGPT. 

I tillegg pekte de på flere alvorlige feil: feil deltakerantall, feilberegnede effektstørrelser, ukritisk bruk av svake originalstudier og tilfeller der variabler som ikke var målt i originalstudiene, likevel så ut til å være brukt i analysen.

«Feilene er betydelige nok til at den aldri burde passert fagfellene, og rettferdiggjør en grundig revisjon, eller til og med tilbaketrekking», skrev de. 

De to kontaktet forfatterne direkte, noe forlaget Springer Natures retningslinjer sier at det er det første kritikere må gjøre.

skjermbruk

Lars Delhi kaster ut alle som bruker skjermer under forelesningene

Dette svarte forskerne 

Magnus Ingebrigtsen forteller:

– De svarte oss ganske umiddelbart. De sendte oss ganske mye. Blant annet en fil som het data.xlsx, men som egentlig ikke inneholdt noe data, bare litteraturlisten. Så sendte de oss et plot som var i så dårlig oppløsning at man nesten ikke kunne lese av verdiene. Så svarte de på alle kulepunktene våre og innrømmet egentlig mange av feilene, men skyldte på formateringsfeil som hadde oppstått under typesetting-prosessen.

De to norske forskerne sendte så en såkalt «Matters Arising» til tidsskriftet, som er en vitenskapelig kommentar til artikkelen. 

Der ba de formelt om at artikkelen skulle trekkes tilbake på grunn av feil. De påpekte blant annet at den mest vektede enkeltstudien i metaanalysen faktisk var trukket tilbake før den omstridte ChatGPT-studien ble publisert. 

Den nest mest vektede studien målte ikke læringsprestasjon i det hele tatt, men selvtillit og teknologiaksept.

Ble til slutt trukket 

Redaktøren svarte at de skulle undersøke saken. Det gikk måneder uten at noe skjedde. 

I april sendte de norske forskerne saken til forlaget Springer Natures forskningsintegritetsgruppe. Bare fem dager senere kom beskjeden om at artikkelen var trukket tilbake. 

Redaktøren skrev også at det var deres «Matters Arising»-artikkel som hadde utløst granskingen.

– Det er fantastisk at den er trukket, men det har tatt altfor lang tid, sier Ingebrigtsen.

Kunstig intelligens

Bekymret for at KI-ansvar lempes over på de ansatte

Stort gjennomslag 

Han mener mye skade har skjedd de ti månedene artikkelen var ute.

Den har altså fått nesten en halv million visninger og flere hundre vitenskapelige siteringer.

Ifølge Ingebrigtsen har et EU-finansiert utdanningsprosjekt brukt studien som argument for at KI har stor positiv effekt på læring. 

Ingebrigtsen sier at edtech-selskaper (utdanningsteknologi) bruker den i sin markedsføring.

Norske utdanningsforskere har omtalt den.

– Og hvis du spør en eller annen språkmodell, ChatGPT, Gemini eller Claude, om det finnes gode studier som viser at ChatGPT skaper bedre læring, så siterer de denne. Så en konsekvens er at potensielt ganske mange henviser til denne studien, sier han.

– Hvorfor pushet dere sånn på for dette?

– Dette er jo mitt fagfelt. Jeg skriver doktoravhandling om hvordan vi lærer bedre og mer effektivt. Det irriterer meg at upresise og upålitelige funn som dette skal påvirke viktige beslutninger om skole og utdanning, sier han.

 – Jeg tror KI kan ha positive effekter på læring, men også betydelige negative effekter. Alt kommer an på hvordan vi tar det i bruk. Litteraturen er nå preget av «hype», og det publiseres svært mange artikler om KI og utdanning. Men mange av dem er metodisk svake og kommer likevel med sterkt positive konklusjoner.

kunstig intelligens

Eksperter frykter at KI gjør studentene dummere