Debatt ● Marija Slavkovik
Bør forskere optimalisere forskningsresultater for KI?
Verktøy som bygger på store språkmodeller bruker mange ord for å si veldig lite. Vi bør frykte at det som virkelig betyr noe forsvinner i en sky av KI-genererte fyllord.
Denne teksten er et debattinnlegg. Innholdet i teksten uttrykker forfatterens egen mening.
Da handelen flyttet på nett, ble SEO‑eksperter nødvendige. En SEO‑ekspert er en spesialist på søkemotoroptimalisering for produktsynlighet. Nå endrer kunstig intelligens digitale tjenester fra alle kanter. Som svar på dette kan vi nå forvente «generative engine optimization» (GEO).
Hvis KI bare prater i vei uten å si noe viktig, og vitenskap i bunn og grunn handler om å formidle det vi har oppdaget, står vi nå overfor samme utfordring som reklamebransjen:
Bør forskere også optimalisere forskningsresultatene sine for KI?
Det føles både trist og kynisk å snakke om forskning som et produkt som trenger reklame og synlighet. For det første finnes idealet om at sannheten taler for seg selv — klart og tydelig — og ikke trenger hjelp for å bli synlig. For det andre, har selve prosessen med å komme fram til forskningsresultater en egenverdi.
Men kanskje vi egentlig ikke har noe annet valg enn å omfavne GEO‑basert forskningsproduksjon. KI og forskning har allerede et anstrengt forhold av mange grunner. Her er tre aspekter ved dette problematiske forholdet.
1. KI-(mis)bruk i forskningsvurdering.
Forskningssøknadene våre minner kanskje mest om et produkt som skal selges. Vi gransker evalueringskomiteene og kriteriene nøye for å finne spor etter hva de forstår og kan legge vekt på i vurderingen. Vi vil jo gjerne kommunisere ideen vår på et språk leseren fatter. Men hva om vi ikke skriver for en leser, men for KI?
Forskningsrådet bruker allerede KI i enkelte evalueringer av søknader (FRIPRO). Og de er ikke alene blant forskningsfinansiørene. Hva kan vel gå galt?
Det finnes et lite eksperiment du kan prøve selv: Åpne Google bildesøk og søk etter «non red dress». Jeg vedder på at du får opp mange røde kjoler. Så, vil det å skrive «dette er ikke en søknad innen samfunnsvitenskap» være en like sikker måte å matche oss med samfunnsvitere?
Bruken av presise ord kan ha uforholdsmessig stor betydning for hvordan prosjektet vårt blir evaluert.
2. Misbruk av forskningsresultater av KI.
Forskningsartikler og bøker blir ukritisk sugd inn av utviklere av store språkmodeller. Alt du har skrevet og lagt ut på nettet blir tatt inn i chatbot-modellene for å gi dem evnen til å lage overbevisende vitenskapelige formuleringer. Materialet er utnyttet fordi utviklerne av KI-chatboter ikke betaler for det.
La oss fokusere på offentlig tilgjengelig forskning, selv om betalingsmurer ofte ikke er tilstrekkelig beskyttelse mot LLM-grådighet. Offentlig tilgjengelig forskning er offentlig finansiert og skapt av forskere. Betyr det automatisk at kommersielle KI-aktører har rett til å bruke den?
Det handler om omfanget av bruk — offentlig tilgjengelig for enkeltpersoner betyr ikke offentlig tilgjengelig i ubegrenset volum. Når jeg går på museum og kjøper en billett, vet museet hvor mange billetter det ønsker å selge og balanserer dermed antall besøkende mot sin kapasitet. Hva om hundre tusen mennesker kommer inn på én billett? Infrastrukturene svekkes og blir uholdbare.
Dette skaper to utfordringer for forskningspublikasjoner:
Forskningspublisering er avhengig av en informasjonsinfrastruktur. Et arkiv, et bibliotek eller en utgiver må nå bruke ressurser fra eksisterende inntekter for å beskytte samlingene sine mot bot‑angrep. Dette går på bekostning av kjernetjenestene deres.
Hva er poenget med å produsere kvalitetsartikler for gode tidsskrifter hvis disse tidsskriftene forsvinner, og alt uansett havner i én stor LLM? Kanskje vi allerede ser begynnelsen på dette. I flere år har forskere i teknologibransjen foretrukket åpne plattformer som arXiv.org for publisering. Vi siterer dem fordi arbeidsgiveren deres har blitt kvalitetsstempelet — ikke fagfellevurderingen.
Forskningspublisering er skrevet for eksperter innen samme fagområde. Hva skjer når «leseren» sluker tusenvis av artikler fra hundrevis av fagfelt? De artiklene som tilfeldigvis passer med måten store modeller trekker ut mønstre på, vil bli uforholdsmessig mer synlige i modellen. Fordi siteringstall for forskere er knyttet til kvalitetsvurdering, hva gjør dette med siteringstall, h-indekser og alt det der? Forskning som blir funnet av en KI-chatbot, blir sitert.
3. KI-misbruk av forskere.
Bruken av KI i forskningsprosessen sprer seg raskt. Foreløpig ser det ut til at KI hjelper oss å få gjort mer — men igjen i kvantitet, ikke i kvalitet. Men KI-misbruk av forskere har det stått en del om både i Khrono og Nature.
En positiv side er at forskere som må publisere på et språk som ikke er deres morsmål, får hjelp til å uttrykke seg tydeligere.
Den negative siden? For eksempel programkomiteene ved de største KI‑konferansene som forteller at folk nå tar artikkelen sin, skriver den om fem forskjellige ganger med KI og sender inn alle fem versjonene til konferanser, slik at fem ulike grupper av fagfeller får sjansen til å like og godkjenne den.
Fagfellevurdering er ikke lenger nok — vi trenger nå fagfellepoliti.
Vi befinner oss i et klassisk spillteoretisk scenario, nærmere bestemt et fangens dilemma. Hvis ingen av oss bruker KI til å produsere forskningsartikler, lever vi i den verden vi kjenner — vi går fri.
Fagfellevurdering er et system med feil, men det er kjente feil, og vi kan fortsette å forbedre det. Men gevinsten ved å bruke KI er personlig.
Hvis jeg bruker KI og mine kolleger ikke gjør det, får jeg en fordel. Jeg kan publisere flere artikler, og med de objektive målene vi bruker — mer lønn og prestisje til meg. Omvendt, hvis jeg ikke bruker KI og alle andre gjør det, vil jeg, uansett hvor dyktig jeg er som forsker og skribent, aldri produsere nok volum til å bli sett. Og ingen er verdsatt uten å bli sett.
Dermed sitter vi fast i et spill i likevekt hvor vi bruker stadig mer KI til å skrive artikler og stadig mer KI til å evaluere dem.
Så hva bør vi gjøre? Å se på dette som et individuelt valg er feil tilnærming.
I et spillteoretisk scenario er den beste løsningen for oss alle kanskje ikke oppnåelig når vi handler rasjonelt hver for oss, men kun når vi handler samlet. Koordinert handling krever tillit og makt til å utøve kontroll.
Vi har ingen av delene nå. Vi har en konstant tvil om den eksisterende fagfellevurderingsprosessen. Vi har synkende støtte for kvalitetssikret publisering og ingen beskyttelse for våre publikasjoner.
Men, det som både er et privilegium og en forbannelse for akademia, er at vi har mer autonomi enn noen annen sektor i samfunnet. Det gir oss også den andre veien ut av GEO-forskningskrisen — nemlig å forstå insentivene som gjør KI-misbruk attraktivt, og endre dem kollektivt.
Frem til da: GEO-optimer forskningsproduksjonen din.
Merk: Forfatteren har brukt M365 Copilot til språkvask. Khronos debattansvarlige måtte intervenere litt likevel.
