Er jeg toppforsker, bunnforsker eller begge deler?

Denne teksten er et debatt­inn­legg. Inn­holdet i teksten uttrykker forfatterens egen mening.

Jeg og flere andre har i de seneste årene fått middels gode karakter og avslag på søknader sendt til toppforskningssporet i Norges forskningsråd (FRIPRO), men intervjuer, toppkarakterer og tilslag på samme søknader i elitesporet i Forskningsrådet i EU (ERC). Hva kan være årsakene til de ulike vurderingene? Jeg tror at Norges forskningsråd (NFR) har noe å gå på i sine rutiner med å finne riktige og flere gode fagfeller og at de kan lære av ERC og be fagfellene om å gi mer konkrete og lengre tilbakemeldinger til søkerne. Særlig bør bruken av KI evalueres kritisk.

Finalen i Europamesterskapet (EM) for fremragende erfarne forskere er akkurat ferdigspilt. I år var konkurransen ekstra hard. Hele 2534 av Europas kreative og håpefulle forskere sendte inn søknad i 2024, en økning på 39 % sammenliknet med 2023.

Resultatene er nå klare. I alt vant 218 forskere med en suksessrate på 11,1 %. Fem av totalt 41 norske deltakere vant finalen med en suksessrate på 12,2 %. Fire av disse, inkludert meg, deltok også i finalen, men røk ut på straffekonk.

Forskningssøknader

Fremragende, sier ERC. For dårlig, mener Norges forskningsråd. — Føles som voksenkjeft

Jeg fikk toppkarakteren A på min søknad både før og etter intervjuet, akkurat som de fem norske vinnerne, og ble anbefalt ERC Advanced Grant av fagfellene og panelet, men nådde akkurat ikke opp i år fordi pengepotten ikke strakk til. Snakk om å falle rett utenfor. Så nært, men så fjernt var de 28 millionene jeg søkte om.

Jeg har også nylig deltatt i norgesmesterskapet (NM) for fremragende erfarne forskere med så å si samme søknad, i FRIPRO-programmet i Norges forskningsråd.

Her ble ikke søknaden vurdert som støtteverdig i det hele tatt. Jeg fikk tvert imot avslag på grått papir og karakteren 4 samlet sett og samme karakter på de fire enkelte vurderingskriteriene. Karakteren fire gis til en søknad som er betegnet som «god, men med flere mangler», som midt på treet med andre ord. Jeg kom aldri til finalen i NM hvor 12 millioner jeg søkte om sto på spill.

Forskningsmidler

Forskningsrådet sa nei to ganger. Nå får hun prestisje­stipend fra ERC

Karakterskalaen i FRIPRO går fra 1 til 7, der kun søknader med samlet karakter på 6 eller 7 blir vurdert for finansiering. Akkurat som i EM, kan selv dem som får toppkarakter 7 på alle kriterier, ende opp uten finansiering i NM. 9 av 47 søknader fikk finansiering i runden jeg var med på i NM. Dette gir en suksessrate på 19 %, en betydelig høyere tilslag rate enn for de norske deltakerne i EM (12,2 %).

Jeg er ikke alene om å oppleve liknede. Flere har fått karakter 4 og avslag både to og fire år på rad i NM, og deretter tilslag på samme søknad i EM. Jeg har funnet fire slike eksempler fra årene 2021 til 2023 på menn og kvinner som har fått ERC Starting og Consolidator stipend etter avslag i NFR. Jeg er trolig den første som «står frem» blant de «erfarne» forskerne (Advanced Grant) med denne erfaringen. Jeg tror dessverre at dette bare er toppen av isfjellet.

Eksempel: 

• Får prestisjestipend: – Jeg er mest redd akkurat nå, for det er ganske svært
  

• Lav tillit til Forsknings­rådets eksperter: — Ville ikke gitt så slett vurdering på en bachelor­oppgave

• Fekk botnkarakter av Forskings­rådet, men prestisje­stipend frå ERC

• Forskningsrådet sa nei to ganger. Nå får hun prestisje­stipend fra ERC

I FRIPRO er det nå løpende innleveringsfrist og med en karenstid på et år før du kan søke som prosjektleder igjen. For min del går den karenstiden ut 11 juli i år, men ettersom jeg og andre som fikk karakterer mellom 3,25 og 5,5 får en karantene på 1 år, kan jeg ikke søke på nytt igjen før 11 juli i 2026. Karantenen gis som «straff» til bunnforskere. Dem som får karakterer mellom 1 og 3 får hele 2 års karantene.

Det blir for mye jobb på Forskningsrådet om vi «bunnforskere» skulle finne på å søke igjen med våre dårlige søknader uten å revidere dem, det ville også bidra til at de mottar flere søknader og da går andelen som får finansiering ned. Det er neppe ønskelig nå som Forskningsrådet har fått opp andelen som vinner i FRIPRO gjennom løpende frist til 21 % i 2024, mens den kunne være så lav som 5-7% på det laveste tidligere med en fast årlig innleveringsfrist. 

• Hun var blant de få som fikk Fripro-midler: – Jeg fikk sjokk 

En slags trøstepremie er at jeg får anledning til å søke EU-penger igjen i august i år uten karantene.

Hva kan forklaringene på at min forskning først blir vurdert på toppnivå ERC og deretter på bunnivå i NFR være? Kan begge deler være riktig samtidig?

I det følgende vil jeg diskutere om vurderingskriteriene er forskjellige, om kunstig intelligens (KI) har noe med saken å gjøre, i hvilken grad subjektivitet spiller inn og om fagfelleprosessene og kvalitet på fagfellene er forskjellige i NFR og ERC.

Sende same søknad

I Noreg fekk ho stryk, i EU fekk ho 19 millionar i stjernestipend

Er vurderingskriteriene forskjellige? Nei, slik jeg ser det blir vi stort sett målt og veid på samme vis i både NFR og ERC. I FRIPRO er kriteriene disse: «Excellence – potential for advancing the state-of-the-art: Excellence – quality of R&D activities; Impact; Implementation», mens vurderingskriteriene i ERC er disse; «Ground-breaking nature, ambition, and feasibility; Ground-breaking nature and potential impact of the research project; Intellectual capacity and creativity of the PI».

Har kunstig intelligens (KI) noe med saken å gjøre? Kanskje, kanskje ikke. Jeg er ikke helt sikker på når NFR begynte å bruke KI til å gå gjennom søknadene for å finne rette panel og fagfeller, men dette skrøt de av at de hadde begynt med i en Nature-artikkel i april 2019. Flere har liknende erfaringer som meg i årene 2021-2023, men jeg har ikke funnet slike eksempler fra ERC ble opprettet i 2007 og frem til 2020. Sammenfall i tid mellom to fenomener betyr ikke kausalitet, men det er verdt å se nærmere på om bruk av KI er en av grunnene til at man kan ende opp med være bunnforsker i FRIPRO og toppforsker i ERC på 2020-tallet. ERC bruker så vidt meg bekjent ikke KI til denne oppgaven.

forskningsrådet

Lav tillit til Forsknings­rådets eksperter: — Ville ikke gitt så slett vurdering på en bachelor­oppgave

Fagfellegruppene i FRIPRO er gruppert i tre fagområder: humaniora og samfunnsvitenskap, medisin, biologi og helse og matematikk, naturvitenskap og teknologi. Selv er jeg samfunnsviter med søkelys på historiske pandemier i det meste av min forskning. Jeg sendte min tverrfaglige søknad til Hum-Sam-sporet ettersom 2/3 av søknaden min var på dette området, og hvor 1/3 var laboratorieforskning. I EM meldte jeg meg på og ble vurdert i HUMSAM-panelet SH7.

I mitt tilfelle fant NFR ved hjelp av kunstig intelligens (KI) frem til et panel bestående av to klinikere og en matematiker (fra medisin, biologi og helse og matematikk, naturvitenskap og teknologi-sporet). Riktignok hadde de tre fagfellene studert infeksjonssykdommer og COVID-19 pandemien, men ingen av dem hadde ekspertise på samfunnsvitenskapelig perspektiver i studier av historiske influensapandemier eller laboratorieforskning.

Kommentarene fra fagfellene i FRIPRO var få og generiske, de ønsket en klinisk studie og et team basert på klinikere og legekompetanse, men det var ikke det vi foreslo. Vårt prosjekt var et forsøk på å innlemme samfunnsvitenskapelig og historisk pandemiforskning med museforsøk i laboratorier.

Jeg håper ikke NFRs kunstige intelligens finner at de beste fagfellene for kliniske studier av infeksjonssykdommer er økonomer, antropologer eller historikere som har studert pandemier. En slik tilfeldighet og lotto i hvem NFR bruker som fagfeller i FRIPRO har også blitt trukket frem tidligere i denne debatten i årene 2021-2023 uten at bruk av KI har blitt trukket frem som problematisk.

eu-midler

Nådde du ikke helt opp i EU? Nå får de beste søkerne en ny sjanse

Kanskje nedbemanningen og omorganisering i NFR i 2023 også har noe med saken å gjøre? Staben i FRIPRO-avdelingen i NFR er redusert med 22 prosent og de forteller at de er veldig stresset, «løper» mer enn før og at det er innsparinger overalt. Kan det hende at dette har gjort at dem som sjekker om KI har funnet frem til rette fagfeller har gått over med harelabben?

Evalueringer er subjektive, spesielt hva som er regnet som fremragende forskning. Men noen kriterier er mer objektive skulle man tro, slik som forskergruppen og CV-ene, som er basert på publikasjonslisten, tidligere tildelinger etc. Men også her fikk jeg 4 på begge deler i FRIPRO, men var ‘Outstanding’, ‘Leading in the field’, ‘Highly accomplished’ ‘Excellent’ ‘Has strong capacity’ og ‘Well-known specialist’ blant de sju individuelle fagfellevurderingene i ERC.

Kanskje dem som ga meg toppscore og bunnscore begge har rett, at jeg både er toppforsker og bunnforsker? Jeg tviler. Jeg lurer på hvor mange med karakteren 4 i FRIPRO som har hatt et «godt» prosjekt, men som har gitt opp uten å søke igjen?

Har det noe å si at søknadsprosessene i ERC skjer i to steg og at man i intervjurunden kan møte opptil 15-17 panelister og også bli vurdert av 3-5 eksterne fagfeller som har lest din søknad, men som ikke deltar på intervjuet? Tilbakemeldingene på min ERC søknad var på 13 sider og her fikk jeg mange gode tilbakemeldinger fra sju fagfeller som alle synes min søknad var «Unusually ambitious».

I FRIPRO gjør de ikke intervjuer og man bedømmes av et panel med kun 3 fagfeller som kun skriver noen felles generiske linjer på noen få sider i tilbakemelding og mente min søknad var «god, men med flere mangler».

Debatt ● Svenn-Erik Mamelund

Nei er utsatt ja

Er ikke dette litt for tilfeldig? Er måten de gjør det på i ERC for ressurskrevende for NFR? Noen vil kanskje hevde det, og at midler da går til evaluering og at beløp som gis til forskningsmidler til vinnende søknader da må kuttes. Men om pengene sendes ut til miljøene hvor det er andre som er mer kvalifiserte, er vel neppe det noe bedre?

Er fagfellene i FRIPRO selv toppforskere? Det er mye mer status og prestisje å stille opp for ERC enn for NFR. Det kan derfor være grunn til å stille spørsmål om fagfellene som stiller opp for et nasjonalt forskningsråd er like gode som dem som stiller opp for EU og ERC?

Det kan kanskje virke litt surmaget å kritisere NFR når heller ikke ERC ville finansiere mitt prosjekt? Basert på min og andres liknende historier heller jeg uansett mot at NFR har noe å gå på i sine rutiner med å finne flere gode fagfeller og at de kan lære av ERC slik at de kan gi flere og mer detaljerte tilbakemeldinger. Bruken av KI bør evalueres kritisk.

Fagfellene i ERC sier i praksis at jeg har fremragende kvaliteter som forsker og at jeg har en ferdig slipt søknad som kun trenger litt polering for å lykkes neste gang.

Synd for meg at NFRs nye ordning med å gi dem som har toppvurderte søknader i EU en ny sjanse kun gjelder dem som har søkt Starting og Consolidator Grant, og ikke Advanced Grant. Kanskje burde NFR også utvide denne ordningen?

Så, hva er jeg? Toppforsker, bunnforsker eller begge deler? Jeg er usikker, men heller mot toppforsker.

Tap i både NM og EM i samme år er smertefullt, særlig i en oppdragsforskerverden som jeg er i på OsloMet (SVA), hvor et akkvisisisjonskrav gjør jeg at jeg kontinuerlig må hente åtte av ti kroner på markedet for å sikre forskertid til å gjøre pandemiforskning.

Jeg gir meg uansett ikke. Skal du (for) bli toppforsker gir du aldri opp, du reviderer og søker igjen og lever fortsatt etter mantraet at ‘nei er utsatt ja’.