En løsbar forskningskrise

Denne teksten er et debatt­inn­legg. Inn­holdet i teksten uttrykker forfatterens egen mening.

Enorme summer gis til studier som er dårlig designet, aldri blir publisert, eller selektivt rapporterer resultater på måter som gjør dem ubrukelige. Resultatet er at forskning vi trodde var til å stole på, ikke holder vann. I alt fra kreftbiologi til forskning på kunstig intelligens har studier vist at en bekymringsverdig lav andel av sentrale funn lar seg replikere.

Vi som finansierer forskning, har lenge vært en del av problemet. Vi har lent oss på dårlige måter å vurdere kvaliteten på forskning på — som hvilket tidsskrift en artikkel er publisert i. 

publisering

«Alle» er enige om at nullfunn bør publiseres. Men de færreste gjør det

Men som forskning ettertrykkelig har vist oss: «Publisert» betyr ikke «sant».

I artikkelen «A framework for assessing the trustworthiness of scientific research findings» påpeker forskergruppen, som ledes av Brian Nosek, at fagfellevurdering har betydelige mangler og ikke er designet for å gi en fullstendig vurdering av troverdighet. Vi har skapt et dysfunksjonelt marked hvor forskere belønnes for publikasjoner og siteringer, heller enn å produsere solid kunnskap.

De foreslår i stedet et rammeverk der blikket flyttes fra omdømme til atferd. Troverdighet er ikke et personlighetstrekk; det er en kvalitet man gjør seg fortjent til gjennom konkrete handlinger.

Forfatterne mener vi bør se etter om forskningen er:

1. Ansvarlig: Er etiske godkjenninger på plass og interessekonflikter beskrevet?
2. Evaluerbar: Er arbeidet transparent? Kan vi se data, kode og protokoll? Som forfatterne påpeker: Åpenhet lar oss sjekke om påstandene stemmer overens med bevisene.
3. Evaluert: Har arbeidet blitt utsatt for kritikk, fagfellevurdering eller replikasjon?
4. Velfundert: Er forskningsspørsmålet forankret i eksisterende teori og kontekst?
5. Kontrollert for bias: Har forskerne tatt grep for å unngå å lure seg selv, som for eksempel blinding eller preregistrering?
6. Feilreduserende: Var utvalgsstørrelsen stor nok til å skille signal fra støy?
7. Godt kalibrert: Samsvarer konklusjonene med bevisene, eller er det «spin»? Troverdig forskning påpeker usikkerheten som alltid er til stede.

publisering

Stiftelse krever at forskere deler gammel forskning før de får nye penger

En spesifikk innovasjon som trekkes frem i artikkelen, og som vi i Stiftelsen Dam allerede satser tungt på, er registrerte rapporter (Registered Reports).

Dette publiseringsformatet endrer fundamentalt på hvordan kvalitet vurderes. I en registrert rapport blir studien evaluert før resultatene er klare. Beslutningen om å publisere baseres på viktigheten av forskningsspørsmålet og kvaliteten på metoden, ikke på hvor «spennende» resultatene til slutt blir.

Forfatterne påpeker at ved å flytte evalueringen til dette stadiet oppnår vi to kritiske ting: Det øker grundigheten i forskningen, og det sikrer at «nullfunn» eller negative resultater — som ofte blir liggende i skuffen i dagens system — faktisk blir publisert. 

Vi mener dette er en avgjørende del av løsningen på problemet med bortkastet forskning. 

Den 9. februar vedtok derfor vårt styre å styrke satsingen på denne publiseringsformen med et eget program kun for prosjekter som bruker den. Det er et tydelig signal på at vi vil finansiere solide metoder, og ikke bli forført av spennende historier.

Forskningsinstitutter

— Konkurransen blir en slagmark, advarer Nina-direktør

«Troverdig er ikke synonymt med korrekt eller sant» skriver forfatterne. Vitenskap er vanskelig. Feil skjer. Troverdige funn er de hvor prosessen er så gjennomsiktig at vi faktisk kan lære av resultatene, selv om studien feilet.

Artikkelen understreker at forskningsorganisasjoner spiller en kritisk rolle.

Flere viktige reforminitiativer er allerede i gang. Coalition for Advancing Research Assessment (CoARA) samler universiteter og forskningsinstitusjoner rundt et nødvendig oppgjør med tellekanter, tidsskriftrangeringer og andre misvisende kvalitetsmål.

Epstein-dokumentene

Edvard Moser krever at midler skal være uforpliktende

Men selv om CoARA hjelper oss å endre hvordan vi vurderer forskning, gjenstår et like viktig spørsmål: Hva skal vi egentlig vurdere?

Her representerer rammeverket til Nosek og kolleger et avgjørende fremskritt.

Vi kan ikke fortsette å godta «stol på meg» som en vitenskapelig metode. Fremtidens forskningsfinansiering må bygges på prinsippet «vis meg».

Rammeverket fra Nosek et al. gir oss de målbare indikatorene vi trenger for å sikre at milliardene vi investerer resulterer i kunnskap vi kan stole på, og vi håper forsknings- og høyere utdanningsminister Sigrun Aasland lytter. 

Det er på tide at vi slutter å finansiere illusjonen av kvalitet, og begynner å finansiere atferden som faktisk skaper den.

Debatt ● Magnar Bjørås

Et heiarop til forskere