Ny studie: Tilfeldigheter  og skjevheter påvirker hvem som får forsknings­støtte

Brussel (Khrono): Khrono har den siste tiden skrevet en rekke saker om forskere som opplever vilkårlige og det de beskriver som lite faglig begrunnede vurderinger av sine forskningssøknader til Forskningsrådet. 

UiO-professor Håvard Kauseruds Fripro-søknad ble vurdert vidt forskjellig i to søknadsrunder. 

OsloMet-professor Svenn-Erik Mamelunds søknad ble vurdert som fremragende av det europeiske forskningsrådet (ERC), men som under middels av Fripro. 

Begge de to endte med karantene etter forrige søknadsrunde.

Systematisk trend med vilkårlig behandling

Jan-Ole Hesselberg er slett ikke overrasket. Han er programsjef i Stiftelsen Dam og stipendiat, og forsker på finansiørenes rutiner for tildeling av forskningsmidler.

— Våre analyser og masse annen forskning viser at dette ikke bare er enkelthistorier, men en systematisk trend som både skyldes måten vi mennesker gjør vurderinger på, og dårlige rutiner for søknadsbehandling, sier han.

Ifølge Hesselbergs forskning scorer Norges forskningsråd lavt på likebehandling av søknader.

— Tilfeldigheter spiller en betydelig rolle for hvordan søknadene vurderes, sier han. 

Områdedirektør i Forskningsrådet Jesper Werdelin Simonsen advarer mot å tolke uenigheter i ekspertvurderingene som tilfeldigheter.

— Det blir ikke riktig å bruke enighet mellom eksperter som et kvalitetsmål på vurderingene våre, sier han.

Skjevheter i søknadsbehandlingen

Hesselberg og Stiftelsen Dam ga nylig ut rapporten Bedre søknadsbehandling, om hvordan man kan etterstrebe bedre rutiner for vurderingene.

— Hvem som vurderer søknaden har nesten like mye å si som kvaliteten på søknaden. Litt uenighet er uproblematisk, men vi kan ikke leve med at det er slik, uavhengig av hva årsaken til det er, sier Hesselberg.

Stiftelsen Dam-rapporten viser til flere eksempler på hvordan skjevheter i søknadsbehandlingen kan oppstå. Hesselberg nevner blant annet hvordan ekspertene som vurderer søknadene, kan ha en egen agenda.

Da Hesselberg var på en konferanse og presenterte sine funn, tok en kvinnelig godt merittert professor, som har vurdert søknader for Norges forskningsråd, ordet. Samtalen, som ble tatt opp på bånd, lød slik:

«Professoren: Min hemmelige misjon var å få inn flere kvinner (...) ved å få de andre med på at mine vurderinger var til å stole på. I delsøknadene jeg hadde sett meg ut, som jeg skulle prøve å få gjennom, så måtte jeg forte meg å ta ordet. 

Jeg måtte komme inn med oppsnakkingen før de andre. Jeg kunne ikke tåle mer enn én nedsnakking. Da var det for sent.

Jan-Ole: Problemet for finansiøren, sånn som oss, er at vi har klare retningslinjer og vedtekter for hva vi ønsker å bruke penger på, så hvis man får inn eksperter som har en annen agenda, er det et problem.

Professoren: Men jeg var opptatt av å motvirke en skjevhet.»

— Jeg ble helt sjokkert. Dette er en meget merittert professor som bevisst velger å kuppe prosessen på en så systematisk måte og dermed avviker fra det hun har fått beskjed om å gjøre, sier Hesselberg og legger til:

— Dette er et tydelig eksempel på en skjevhet, dersom professoren lykkes med det hun prøver på, så vil det føre til at kvinnelige søkere kommer bedre ut enn de mannlige.

OsloMet-professor Svenn-Erik Mamelund synes det er provoserende, men ikke overraskende, å høre om professoren som hadde som hovedagenda å sikre eget kjønn.

— Jeg mener at forskningskvalitet og ikke aktivisme og å sikre mangfold og andre hensyn må være kriteriene man blir målt på i forskningssøknader, sier han.

Khrono kjenner ikke identiteten til professoren.

Flere eksperter har egen agenda

Hesselberg tror ikke professoren er alene om å forsøke å påvirke søknadsbehandlingen.

— Også i våre søknadsbehandlinger i Stiftelsen Dam må vi ofte gjenta hva kriteriene er og understreke at de ikke skal diskutere noe som ikke er relevant, sier han.

Hesselberg forteller om flere eksempler der ekspertene som skal vurdere søknadene bevisst og ubevisst legger til grunn andre kriterier enn det som står i utlysningsteksten.

— Vi har opplevd at eksperter har trukket inn om en søker allerede har fått midler fra en annen aktør og dermed har fått nok. Eller at vi nylig har gitt til forskning på samme område, men til et annet universitet. 

Dette er kriterier som ikke nevnes i utlysningen og skal dermed være irrelevant ved søknadsbehandlingen.

Eksperter får ikke lenger lede vurderingsmøter

— Den beste søknaden skal få støtte. Det skal ikke telle hvilket nummer man er i søknadsbunken eller om andre har valgt å støtte det samme prosjektet.

Det var også noe av grunnen til at Stiftelsen Dam endret sine rutiner slik at det ikke lenger er en av ekspertene som leder møtene.

— Om du er ekspert kardiologi, er du ikke nødvendigvis skikkelig god i beslutningspsykologi og møteledelse. Det er det vi i administrasjonen som tar eierskap til. Det var for mye som ikke sto i retningslinjene som likevel ble vektlagt, sier Hesselberg.

Likevel mener han de ikke er i mål.

— Vi forsøker å lete etter årsakene og har tro på at grundigere opplæring av fagfeller vil være en av flere veier til målet, sier han.

Måler likebehandling

En måte å sjekke likebehandlingen av søknader på, er ifølge Hesselberg å sjekke den såkalt intraklassekorrelasjon (ICC), som måler hvor konsistent søknadsbehandlingen er, altså reliabilitet og samsvar (se faktaboks). 

— Skalaen sier noe om hvor mye søknadens kvalitet har betydning for søknadsutfallet. Den viser om det er likebehandling eller ikke, sier Hesselberg.

Hvis alle vurderer likt, er ICC nær 1. Hvis de er helt uenige, er den nær 0. ICC gir en pekepinn på hvor mye selve søknaden betyr for utfallet. 

Hesselberg har vurdert ulike forskningsfinansiørers poengsum på denne skalaen. Han har fått tilgang til alle de uavhengige vurderingene som er gjort av søknadene. 

Dette er en del av hans doktorgradsprosjekt. Analysen vil utdypes i en forskningsartikkel han jobber med.

Kritisk til Forskningsrådets karantenetid

Ifølge Hesselbergs analyser har Forskningsrådets søknadsbehandling en ICC på 0,50. 

— Det vil si at 50 prosent av vurderingene skyldes andre faktorer enn selve søknadens kvalitet, forklarer han.

Forskningsrådet har lavere poengsum enn både Kavlifondet og Kreftforeningen. 

Ettersom Forskningsrådet skårer såpass lavt på målet for likebehandling, er Hesselberg kritisk til at de har innført karantenetid.

— Når vi vet at tilfeldigheter spiller en betydelig rolle for hvordan søknadene vurderes, så blir den straffen ekstra ille, sier han.

— Ikke overrasket

Svenn-Erik Mamelund er ikke overrasket over at Forskningsrådet kommer dårlig ut. 

— Jeg synes ikke at det er overraskende at Forskningsrådet får blant de laveste score på likebehandling av søknader. Å se disse tallene er selvfølgelig provoserende og å bli satt i karantene i Fripro når ERC anbefalte å støtte min søknad er tungt, sier han.

OsloMet-professoren har tidligere tatt til orde for at Forskningsrådets søknader burde vurderes på samme måte som Det europeiske forskningsrådet (ERC). Han mener Hesselbergs forskning støtter dette argumentet.

I tillegg kan karantenetiden føre til at presset øker på andre forskningsfinansiører, påpeker Hesselberg.

— Vi har fått en økning på 25 prosent i våre søknader som kan ha sammenheng med dette. De flytter byrden på andre i forskningsnorge.

— Naturlig at bred portefølje gir lavere ICC

Områdedirektør i Forskningsrådet, Jesper Werdelin Simonsen, er uenig med Hesselberg i at ICC er et mål på likebehandling av søknader, men mener det kun sier noe om hvorvidt ekspertene har høy eller lav grad av enighet om vurderingene av en søknad.

— Dette er to ulike ting. Det vil være naturlig at for eksempel Kreftforeningen har høyere ICC enn oss, fordi de stort sett behandler søknader innenfor ett fagfelt, mens Forskningsrådet har en langt bredere portefølje, sier han i en e-post til Khrono.

Simonsen understreker at Forskningsrådet er svært opptatt av høy kvalitet på søknadsbehandlingen og åpenhet om sine prosesser. 

— Vi arbeider kontinuerlig med å forbedre kvaliteten. 

— Gode rutiner for å fange opp skjevbehandling

— Hva gjør Forskningsrådet for å unngå at det oppstår skjevheter bevisst eller ubevisst blant ekspertene i deres paneler som skal vurdere søknader?

— Vi bruker eksperter i panel i stedet for enkelteksperter. Vi har gode prosedyrer for å fange opp og korrigere feiloppfatninger og fordommer.

Simonsen legger til at ekspertene gjør individuelle uavhengige vurderinger før de kommer fram til en samlet vurdering i panelet. Forut for de individuelle vurderingene får eksperten tilsendt omfattende informasjon om hvordan oppgaven skal løses. 

— Gjennom paneldiskusjonen kontrolleres det at panelet har omforent tilnærming til hvordan man forstår vurderingskriteriene, karakterskalaen og utlysningen. Fagekspertene sjekker også hverandres vurderinger. Slik avdekkes skjevheter i de individuelle vurderingene, sier han.

Finansierer doktorgrad om søknadsbehandling

— Har forskningsrådet gjort egne analyser av likebehandlingen og skjevheter i søknadsbehandlingen, ICC-mål eller annet?

— Vi følger forskningen på dette feltet nøye for å sikre at våre prosedyrer holder internasjonal standard for forskningsfinansiører. For å holde oss helt i forskningsfronten på dette området har vi også finansiert en doktorgrad på søknadsbehandling hos en av våre ansatte. 

Simonsen legger til at de dessuten bidrar til analyser gjennom egne initiativ og samarbeid, og ved å levere data som grunnlag for andres analyser.

— Slik vi har gjort overfor Stiftelsen Dam og flere andre forskere, sier han.

— Uenigheter må ikke tolkes som tilfeldigheter

— Hva er deres kommentar til at tilfeldigheter spiller en betydelig rolle når forskningsrådet vurderer søknader?

— Uenigheter i ekspertvurderingene må ikke tolkes som tilfeldigheter. Bruk av faglig skjønn er en naturlig og viktig del av all fagfellebehandling. Fagfeller vil ha ulik kompetanse og erfaring, som påvirker deres faglige skjønn. 

Simonsen påpeker at Forskningsrådet bruker minimum tre fagfeller til å vurdere søknader som først gjør individuelle vurderinger av søknaden og deretter blir enige om en felles vurdering i et panel. 

— Er det rimelig å ha karantenetid slik dere har innført, dersom utfallet av vurderingene av søknadene er såpass tilfeldig?

— For å øke tilslagsraten for Fripro har vi hatt vi tett og god dialog med universiteter, høyskoler og forskningsinstitutter. Karantene er ett av grepene som blitt innført. Dette ligner også på hvordan ERC gjør det.

— Kan karantenetiden ha lagt søknadsbyrden over på andre finansiører?

— Vi følger utviklingen nøye. Vi har ikke noen indikasjoner på at det er en direkte sammenheng mellom innføringen av karantene og antall søknader hos andre forskningsfinansiører.

Forskningsmidler

Forskningsrådet ga topp- og bunn­karakter til samme søknad

Bør sjekke om tildelinger gjøres etter hensikten

Hesselberg mener ICC burde være en nøkkelindikator for all offentlig saksbehandling. 

— Det er fascinerende hvor lite det tenkes på i viktige beslutningsprosesser, både offentlig forvaltning og privat sektor.

Hesselberg mener Norge burde ha en egen forskningsenhet som forsker på domstoler og tilskuddsforvalterne, slik som i Storbritannia. De har en egen avdeling kalt Metascience Unit.

— Svært mange instanser tror de har likebehandling og unngår dermed å lete etter årsakene til skjevfordeling. De får dermed heller ikke rettet opp.

Forskningssøknader

Fremragende, sier ERC. For dårlig, mener Norges forskningsråd.