Debatt ● Arne Flåøyen
Vi må tenke nytt om forskningssøknader når KI blir en del av prosessen
De nasjonale forskningsfinansiørerne i Norden og NordForsk har en unik mulighet til å samarbeide om utprøving av nye metoder for evaluering av søknader i KI-tidsalderen.
Publisert
Denne teksten er et debattinnlegg. Innholdet i teksten uttrykker forfatterens egen mening.
Når forskningsfinansiører skal planlegge og gjennomføre evalueringer av forskningssøknader, er de opptatt av å ivareta to hensyn i arbeidet: å sikre effektivitet i evalueringsprosessene, og å sikre god kvalitet på prosessene slik at de beste prosjektene rangeres høyest og finansieres.
Offentlige finansiører av forskning skal drive effektivt og sikre at mest mulig av de pengene de forvalter går til forskningsmiljøene. Vi forsøker derfor å holde evalueringskostnadene lavest mulig uten at det skal gå på bekostning av kvaliteten i prosessene.
De interne evalueringskostnadene påvirkes i relativt liten grad av antall søknader som skal evalueres. Honoraret til ekspertene som evaluerer søknadene derimot, øker proporsjonalt med antallet søknader. Dersom tildelingsprosenten i utlysingen er lav, blir kostnadene høye beregnet per finansiert prosjekt.
Kvaliteten på prosessen påvirkes av hvilke metoder finansiørerne benytter ved rekruttering av eksperter, antallet eksperter som evaluerer hver søknad, og hvilke prosedyrer man følger for å sette tallkarakter og skrive tilbakemeldinger til søkerne.
Til syvende og sist er det kompetansen til ekspertene som evaluerer søknadene og hvor god jobb de gjør som avgjør hvor godt evalueringsresultatet blir.
Selv om evalueringsprosessene hos de fleste forskningsfinansiører har vært ganske like i mange år, pågår en kontinuerlig diskusjon om hvordan vi kan forbedre prosessene. Med stadig økende bruk av KI både i skriving og evaluering av forskningssøknader, har det oppstått et nytt og forsterket behov for å gjennomgå evalueringsprosessene.
Og for å tilpasse oss den nye bruken av KI, må vi være villige til å diskutere mer omfattende og grunnleggende endringer i prosessene enn vi hittil har gjort.
KI vil gjøre det enklere å skrive bakgrunn og «sminke» en uoriginal eller dårlig gjennomtenkt forskningsidé med fine formuleringer.
Vi må forberede oss på at KI vil bli hyppig brukt i søknadsskriving framover. KI vil gjøre det enklere å skrive bakgrunn og «sminke» en uoriginal eller dårlig gjennomtenkt forskningsidé med fine formuleringer. KI vil lett kunne overta skriving av arbeidsplaner, presentasjon av konsortiet og gi tilsynelatende overbevisende beskrivelse av kommunikasjonsplaner og forventet impact.
Vi kan forvente at søknadene kommer til å se likere ut, særlig i disse mer generiske delene av søknadene. Dermed vil kvaliteten på søknadene bli tilsynelatende likere, og det blir færre indikatorer som kan vektlegges ved rangering av søknader.
Som en konsekvens av at det blir enklere og mindre tidkrevende å skrive søknader, må vi forvente at det kommer flere søknader i hver utlysning. Det gjør at vi finansiører må rekruttere flere eksperter til å evaluere søknadene. Det er allerede i dag utfordrende å finne og rekruttere nok kompetente eksperter som er villige til å påta seg å evaluere forskningssøknader for oss. Det blir ikke enklere i tiden framover.
Når antallet søknader øker, vil tilslagsprosenten gå ned. Tilslagsprosenten er allerede altfor lav i mange utlysninger. En ytterligere nedgang i tilslagsprosenten vil svekke tilliten til systemet.
En ting er at det blir vanskeligere for ekspertene å skille mellom originalt innhold og KI-generert innhold i søknadene. Det vil også være fristende for ekspertene å ty til KI som hjelpemiddel i evalueringsarbeidet.
De skriftlige tilbakemeldingene til søker vil kunne bære preg av at de er KI-genererte med generiske, upresise og lite relevante formuleringer. Og sannsynligheten øker for at mindre gode forskningsideer blir rangert foran reelt sett bedre og mer originale forskningsideer. Også dette vil bidra til å svekke tilliten til systemet og oppslutningen om åpne konkurransebaserte arenaer for tildeling av forskningsmidler.
I vår dialog med nordiske forskningsfinansiørerer kommer det tydelig frem at alle forbereder seg på å skulle håndtere mange KI-genererte søknader.
Siden de nordiske finansiørerne stort sett følger de samme prosesser og metoder for utlysninger og evalueringer av søknader, har de mye å vinne på å samarbeide om å utvikle og utprøve nye og mer KI-tilpassede evalueringsmetoder.
Bruk av søkere som evaluatorer i utlysninger de selv deltar med søknader i, og innsendelse av korte videoer hvor forskerne presenterer sine forskningsideer, vil kunne være to mulige endringer man kan teste ut konsekvensene av. Vi i NordForsk stiller oss til rådighet for gjennomføring av slike tester.
NordForsk er en liten finansiør som opererer på tvers av Norden. Vi er i fleksible og kan enkelt endre våre prosedyrer og teste ut nye modeller for utlysninger og evalueringsprosesser.
Jeg vil oppfordre de nasjonale finansiørerne i Norden til å samarbeide om å etablere NordForsk som plattform for utvikling og utprøving av nye evalueringsmetoder, for å møte den nye virkeligheten vi opererer i.
De utfordringene som er beskrevet her, handler ikke bare om finansiørene, men angår hele forskningssystemet.
Forskere og universiteter må sørge for at KI benyttes på en ansvarlig måte. Oppdragsgivere og politiske beslutningstakere må forstå konsekvensene for tillit og kvalitet i forskningen. Og finansiørene må utvikle evalueringsprosesser som sikrer at den beste og mest originale forskningen fortsatt får gjennomslag.
