Debatt ● Jesper Werdelin Simonsen og Kristin Oxley
Uenighet blant fageksperter er en del av et velfungerende forskningssystem
All vurdering av forskningsidéer innebærer et element av subjektivitet.
Publisert
Sist oppdatert
Denne teksten er et debattinnlegg. Innholdet i teksten uttrykker forfatterens egen mening.
Flere artikler og debattinnlegg i Khrono har den senere tiden tematisert uenighet blant fageksperter i vurderinger av søknader om forskningsmidler. Spørsmålet som reises er om slik uenighet er et uttrykk for et system som ikke klarer å legge til rette for likebehandling.
Dette er et kjernespørsmål for Forskningsrådet og vi legger ned mye arbeid i å få til likebehandling.
Flere av sakene som problematiserer uenighet mellom fagekspertene legger til grunn at høy uenighet tilsier at det ikke er kvaliteten på søknaden som avgjør utfallet, men tilfeldigheter. En slik forståelse av uenighet forutsetter at man oppfatter søknadsvurdering som en oppgave med ett påviselig rett svar — i likhet med for eksempel en enkel matematikkoppgave.
Forståelsen som Forskningsrådet legger til grunn er imidlertid at det ikke finnes noe objektivt korrekt svar på vurderingsoppgaver av denne typen.
All vurdering av forskningsidéer innebærer et element av subjektivitet, og kvaliteten på en søknad er noe som vurderes av konkrete mennesker i en spesifikk situasjon. Hvilke fageksperter som vurderer søknaden og hvilken situasjon de befinner seg i, har åpenbar betydning for utfallet av vurderingsoppgaven. Det er imidlertid ikke det samme som at tilfeldighetene rår.
Forskningsrådet betrakter uenigheter mellom eksperter som skyldes ulike faglige ståsteder og vurderinger som en styrke for vurderingsprosessen, og en naturlig del av fagfellevurdering. Her er vi på linje med våre eksperter. Kristin Oxleys nylig gjennomførte doktorgradsprosjekt om søknadsbehandling viser at ekspertene er nærmest enstemmige i at det å bringe ulike fagspesifikke perspektiver inn i vurderingene av søknader, fører til bedre og mer robuste vurderinger.
Uenigheter som skyldes andre forhold, som for eksempel ulik forståelse av utlysning og vurderingskriterier eller ubevisst bias, er derimot problematisk. Slik uønsket uenighet er det et viktig mål å få ryddet av veien gjennom gode vurderingsprosesser. Derfor er det mer relevant å studere hvordan vurderingsprosessene bør legges opp for å bidra til likebehandling, heller enn å ensidig fokusere på hvor enige eller uenige ekspertene er.
Forskningsrådet betrakter uenigheter mellom eksperter som skyldes ulike faglige ståsteder og vurderinger som en styrke for vurderingsprosessen [...].
Ukritisk bruk av ekspertenighet som kvalitetsmål kan føre galt av sted, og tvert imot øke risikoen for at det oppstår uheldige skjevheter i søknadsbehandlingen.
Dette kan illustreres ved et enkelt eksempel: Forskning viser at det er større uenighet blant forskere på tvers av enn innad i fag. Det vil dermed sannsynligvis være større enighet innad i et panel bestående utelukkende av matematikere om kvaliteten på en tverrfaglig søknad som kombinerer historiske, sosiologiske og matematiske perspektiver, enn innad i et panel med representanter fra alle tre fagretninger. Imidlertid vil de fleste være enige om at vurderingene foretatt av det sammensatte panelet gir en mer robust vurdering av søknaden enn vurderingene foretatt av det rene matematikkpanelet.
Aksept for at faglig uenighet kan være en styrke i søknadsvurderingen, innebærer imidlertid også en aksept for at utfallet av søknadsbehandlingen i noen grad bestemmes av hvilke eksperter som vurderer søknaden. Slik må det nødvendigvis være når det dreier seg om en oppgave som ikke har ett korrekt svar.
Som en av våre panelmedlemmer uttalte det i intervjuene foretatt i forbindelse med doktorgradsprosjektet om søknadsbehandling; «I appreciate the conversations that we have because I think we're discussing what the state of the field is and where it could and should be going, what constitutes interesting and innovative».
Forskningsrådet legger mye arbeid i å finne gode eksperter som samlet sett gir en robust vurdering av søknaden. Kombinasjonen av erfaring (antall søknader vurdert) og antall andre eksperter en ekspert har vurdert søknader sammen med, gir økt pålitelighet i vurderingene. Forskningsrådet har derfor etablert ekspertdatabaser hvor vi benytter ekspertene flere ganger.
Før en ekspert får et oppdrag, vurderer de sin egen kompetanse for den enkelte søknad. Hver søknad skal vurderes av minst tre eksperter, som samlet skal dekke søknadens forskningsinnhold. Til slutt, når panelet møtes for å diskutere søknaden, vurderer de om deres samlede kompetanse dekker søknadens forskningsinnhold i tilstrekkelig grad. Dersom dette ikke er tilfelle, avtales et nytt møte, hvor minst en ekspert til er lagt til.
Samtidig som søknadsvurderingen skal ha høy kvalitet, er vi opptatt av at det skal være en forholdsmessighet i kostnadene knyttet til selve vurderingsprosessen og beløpene som deles ut. Eksempelvis har vi en mer omfattende søknadsbehandlingsprosess for å vurdere søknader om sentre for fremragende forskning med støttebeløp på inntil 160 mill. kroner per prosjekt, sammenlignet med enkeltstående forskerprosjekter, med støttebeløp i området 10—12 mill. kroner per prosjekt.
Utover ulike faglige perspektiver er det en rekke andre kilder til ekspert-uenighet som kan bidra til tilfeldigheter og uheldige skjevheter. Eksempler på dette er utilstrekkelig grundighet i vurderingene, ulik forståelse av utlysning, vurderingskriterier og/eller karakterskala, feiltolking av søknaden, ulike former for personlige preferanser og skjevheter etc.
Forskningsrådet bruker en rekke metoder for å minimere slike kilder til ekspert-uenighet:
- Vi gir omfattende og enhetlig informasjon til ekspertene i forkant av vurderingene
- Vi bruker vurderingspaneler fremfor enkelteksperter
- Vi arbeider for å øke innvilgelsesprosenten i våre støtteordninger
- Vi jobber målrettet for å minimere enkelte velkjente systematiske skjevheter
1. Omfattende informasjon til ekspertene i forkant av vurderingene
For å minimere ekspert-uenighet som bunner i ulik forståelse av søknadsbehandlingen og ubevisst bias knyttet for eksempel til kjønn, etnisitet, alder og kultur, gir Forskningsrådet ekspertene detaljert informasjon om formålet med utlysningene, panelets rolle i søknadsbehandlingsprosessen, hvert vurderingskriterium, karakterskalaen og ubevisst bias.
2. Paneler fremfor enkelteksperter
Etter at ekspertene har foretatt sine uavhengige individuelle vurderinger, kriterium for kriterium, samles de i et panel for å dele og diskutere disse og komme frem til en felles beslutning, kriterium for kriterium. Dette er i tråd med beslutningsprosedyren nobelprisvinner Kahneman og hans kolleger anbefaler for å minimere betydningen av tilfeldigheter i vurderingsbeslutninger.
Litteraturen på gruppebeslutninger peker videre på flere fordeler sammenlignet med enkeltpersoners beslutninger: Grupper kan trekke på en mer omfattende kunnskapsbase ettersom hvert gruppemedlem har unik kunnskap som gruppen kan sammenstille. I en gruppesammenheng kan medlemmene også bearbeide informasjonen de besitter grundigere gjennom diskusjon. Dermed er gruppen bedre posisjonert enn enkeltpersoner til å identifisere feil og kan identifisere og luke ut individuelle skjevheter.
I vurderingspaneler har paneldiskusjonen også en viktig funksjon i å sikre en enhetlig forståelse av rammene for vurderingsoppgaven i form a kriterier, karakterskala, etc.
I tillegg viser doktorgradsprosjektet om søknadsbehandling at utsiktene til paneldiskusjon også har positive effekter på de individuelle vurderingene som foretas i forkant av paneldiskusjonen. Paneldeltakernes tilbøyelighet til å foreta en grundig jobb med søknadsvurderingen avhenger blant annet av motivasjon. Denne bestemmes primært av deres oppfatning av viktigheten av vurderingsoppgaven.
Utsikten til paneldiskusjon får paneldeltakerne til å anse oppgaven som viktigere enn hvis ingen slik diskusjon er planlagt. Å vite at de må forsvare sine vurderinger overfor kolleger utgjør en sterk ansvarlighetsmekanisme som gjør at de tar oppgaven på større alvor og dermed legger mer arbeid i vurderingene.
3. Økte innvilgelsesprosenter
Jo lavere innvilgelsesprosentene er, jo mer sårbar blir søknadsbehandlingen for betydningen av tilfeldigheter i avgjørelsen om hvilke prosjekter som får støtte. Forskning på fagfellevurdering viser at det er relativ stor grad av enighet mellom eksperter med hensyn til å skille mellom hvilke søknader som er klart støtteverdige og hvilke som ikke er det. Det er derimot mindre grad av enighet når det gjelder å skille mellom de klart støtteverdige søknadene.
Med lave innvilgelsesprosenter øker altså sjansene for å avslå søkere som er like gode som de som innvilges. Forskningsrådet jobber følgelig systematisk for å forsøke å sikre akseptable innvilgelsesprosenter i våre ordninger. Eksempelvis har vi gjennom målrettede tiltak i FRIPRO klart å øke innvilgelsesprosenten fra 5 prosent i 2022 til ca. 20 prosent over det siste året.
4. Arbeid mot systematiske skjevheter
Enkelte typer av skjevheter krever spesielle tiltak. Peter Fredrik Fusdahl peker i sitt innlegg på en velkjent skjevhet knyttet til vurdering av søknader om forskningsstøtte; særlig nyskapende prosjekter har en konkurranseulempe.
Dette er en utfordring på tvers av forskningsfinansiører — også hos finansiører som har som uttrykt formål å støtte denne type forskning. En nylig publisert studie, gjennomført av blant annet Reinhilde Veuglers, som sitter i Forskningsrådets internasjonale utvalg, viser for eksempel at selv hos ERC, som har som formål å støtte forskning i den absolutte forskningsfronten, har de særlig nyskapende forskerne en konkurranseulempe. Dette er en utfordring som Forskningsrådet jobber med kontinuerlig og som vårt internasjonale utvalg har gitt oss gode råd om gjennom blant annet en egen policy brif på temaet.
Nylig lanserte vi det nye virkemiddelet Radikale forskningsidéer i tidlig karriere som utelukkende skal finansiere spesielt dristig forskning ved å gi forskere mulighet til å teste ut idéer som er for umodne til å nå opp i konkurransen om større forskningsmidler. I tillegg har vi over tid hatt flere tematiske satsinger på feltet. Siden 2021 har vi eksempelvis hatt en satsing på grensesprengende forskning og radikal innovasjon gjennom teknologikonvergens som i 2025 har et budsjett på 175 mill. kroner.
Vi har også besluttet å nedsette et internt prosjekt som skal vurdere hvordan vi best kan innrette våre søknadsbehandlingsmetoder generelt, samt utvikle en helhetlig portefølje spesielt, myntet på å støtte den særlig nyskapende forskningen.
Til tross for omfattende tiltak for å minimere uproduktive kilder til ekspert-uenighet og systematiske skjevheter i vår søknadsbehandling vil det også i fremtiden forekomme situasjoner hvor søkere som sender inn sin søknad til oss flere ganger, opplever ulikheter i vurderingene fra gang til gang.
Som eksempel: av 235 forskere som var prosjektleder for en søknad til FRIPRO både i 2022 og under løpende søknadsmottak og -behandling i 2024-nå, gikk 49 prosent opp i karakter og 43 prosent ned. For de aller fleste var vel å merke endringene små, og under 10 prosent gikk ned mer enn en hel karakter.
Det er ikke mulig å vite hvilken — om noen — av de to vurderingene som ga et mest korrekt bilde av søknaden. Søknaden kan være noe endret, forskningsfeltet kan ha utviklet seg på 2—3 år, og ekspertene kan ha ulike vurderinger av hva som er bra og dårlig.
Mennesker er ikke maskiner, og uavhengig av hvordan vi rigger systemet vil variasjon forekomme.
Enda større ulikheter kan forventes hvis man sammenligner vurderinger foretatt i Forskningsrådet med vurderinger foretatt hos andre finansiører som ERC, fordi det her ikke bare er ulike eksperter, men også ulike søknadsbeløp og søknadsbehandlingsrutiner som ligger til grunn for vurderingene som er gjort.
Mennesker er ikke maskiner, og uavhengig av hvordan vi rigger systemet vil variasjon forekomme. Dette er heller ikke et problem som kun gjelder fagfellevurderinger. Nobelprisvinner Kahneman og hans kolleger finner i sin forskning på ekspert-uenighet innenfor en lang rekke felt at «professionals often make decisions that deviate significantly from those of their peers, from their own prior decisions, and from rules that they themselves claim to follow.»
Fremfor å diskutere enkelteksempler på variasjon i ekspertvurderinger og ekspert-uenighet mer generelt som symptomer på et ødelagt system, trenger vi en diskusjon som anerkjenner nyansene i ekspert-uenighet og bidrar til å videreutvikle et velfungerende forskningssystem for fremtiden.
