«Alle» er enige om at nullfunn bør publiseres. Men de færreste gjør det

Nesten alle forskere mener det er viktig å dele såkalte nullfunn, ifølge en undersøkelse fra forlaget Springer Nature som kom tidligere i år. Over 11.000 forskere har deltatt.

Et nullfunn, også kalt negativt resultat, er et funn som ikke bekrefter forskernes ønskede hypotese. 

For eksempel at en ny medisin ikke gir større effekt enn placebo. Eller at et tiltak for å bedre leseferdighetene blant elever ikke ga bedre lesing. 

Det er et stort problem at slike negative resultater ikke publiseres. 

— Det er umulig å få et riktig bilde av kunnskapsgrunnlaget eller få riktige svar hvis vi ikke har all informasjonen på bordet, sier Jan-Ole Hesselberg. 

Han er programsjef i Stiftelsen Dam, som blant annet deler ut penger til helseforskning, og er en pådriver for deling av negative resultater.

Undersøkelsen fra Springer Nature er en av tidenes største undersøkelser om forskeres holdninger til nullfunn. Litt over halvparten av forskerne hadde hatt prosjekter som endte med utelukkende eller hovedsakelig nullfunn.

publisering

Disse 500 forskerne publiserer mest i Norge

Så mange har publisert nullfunn 

Undersøkelsen sier videre at: 

• Hele 98 prosent sier seg enige i at det er viktig å dele nullfunn på en eller annen måte. Å publisere dem i et fagfellevurdert tidsskrift ble vurdert som den beste måten.
• Bare 30 prosent av forskerne som hadde deltatt i forskningsprosjekter med bare eller hovedsakelig nullfunn, hadde forsøkt å publisere dem i et vitenskapelig tidsskrift.

I tillegg til de som prøvde å sende til tidsskrift, hadde 32 prosent delt funnene med andre i sitt nettverk, for eksempel i samtaler eller på e-post. 32 prosent hadde delt dem på konferanser, seks prosent hadde delt dem i et arkiv og seks prosent i form av en preprint-artikkel. 

I alt hadde litt over halvparten av forskerne i undersøkelsen vært med i forskningsprosjekter med hovedsakelig eller bare nullfunn. 

Av de som har hatt nullfunn, sier 25 prosent at de aldri har forsøkt å dele slike resultater på noen måte.

Kaster bort milliarder 

At negative resultater ikke gjøres kjent, gjør at forskersamfunnet kaster bort milliarder på dobbeltarbeid. 

For når forskere ikke får vite at andre forskere tidligere har fått avkreftet hypotesen du vil teste, kan du risikere å gjøre den samme jobben som noen har gjort før deg. Det er også en systematikk i hvilke resultater som ikke blir delt, sier Jan-Ole Hesselberg. 

— Det er resultater som ikke fremmer kommersielle interesser eller forskerkarrierer. Det er resultater som for legemidler ofte viser bivirkninger, at et tiltak ikke fungerer eller rett og slett er kjedelige. De vekker ikke oppsikt, sier han. 

I 2018 anslo konsulentselskapet PwC, i en rapport laget for Europakommisjonen, at det i Europa har blitt sløst bort opptil 26 milliarder euro årlig på grunn av dobbeltarbeid — som følge av manglende kjennskap til eller tilgang på eksisterende forskningsdata og nullfunn.

En amerikansk studie fra 2023 fant at kun 40 prosent av de kliniske barnestudiene finansiert av det amerikanske forskningsrådet NIH hadde blitt publisert fire år etter at de var gjennomført. Forskning for rundt 362 millioner dollar, som er mer enn 3,6 milliarder kroner etter dagens kurs, hadde ikke blitt publisert. 

Stiftelsen Dam har også undersøkt forholdene i Norden. De gjennomgikk kliniske studier i årene 2016 til 2019 og fant blant annet at resultatene fra 29 prosent av de norske studiene ikke hadde publisert noen resultater. Norge var dårligst i Norden til å dele resultater. 

PUBLISERING

Har forsket på 12.000 norske pasienter uten å publisere resultatene

Bryter loven 

Det er også et lovkrav i Norge, gjennom en EU-forordning, at alle resultater fra kliniske studier skal offentliggjøres senest 12 måneder etter at studiene er ferdige. Det trenger ikke være i form av en vitenskapelig artikkel. I helseforskning kan du for eksempel dele de oppsummerte resultatene samme sted som du registrerte studien. 

Hesselberg sier man får et skjevt bilde hvis man ikke rapporterer de negative resultatene. 

— Hvis du skal vite hvor de beste fiskevannene i Norge er, spør du ikke bare «hvor har du fått den største fisken?». Du vil også vite hvor mange ganger man har kastet ut snøret. Du kan ha stått ved et fiskevann i åtte år og kastet ut snøret ti tusen ganger før du fikk den fisken.

Han fortsetter: 

— Så når man gjør store kunnskapsoppsummeringer og systematiske oversikter, som i helseforskningen er gullstandarden, får man bare høre om de store fiskene. Da får vi et skjevt bilde og man trekker feil konklusjoner. Da tror vi at behandlinger fungerer bedre enn de gjør og at de har mindre bivirkninger enn de har. 

Derfor publiserer de ikke nullfunn 

Så hvorfor forteller ikke forskere om at de ikke fikk bekreftet hypotesen sin? Respondentene i Springer Nature-undersøkelsen ble spurt om hvilke motforestillinger de hadde mot å publisere nullfunn i et tidsskrift. 

Den vanligste innvendingen er rett og slett at forskerne tror det var lite sannsynlig at tidsskriftet ville publisere dem. 69 prosent av respondentene oppgir det. 

Rundt halvparten sier at de ikke vet hvilke tidsskrifter de kan sende nullfunn til.

Det er også noen som sier at de synes det ville vært flaut å publisere noe slikt, som frykter at det får negative konsekvenser for karrieren eller som oppgir at institusjonen deres rett og slett ikke tillater publisering av negative resultater. 

Her ser du hvordan de svarer. Flere svar var mulig.

Kilde: The state of null results: Insights from 11,000 researchers on negative or inconclusive results

Samfunnsvitenskapelige forskere er flinkest til å dele nullfunn; tre av fire som hadde hatt nullfunn, hadde forsøkt å dele resultatene. 

I den andre enden av skalaen er ingeniørfag, hvor 36 prosent aldri hadde forsøkt å dele. 

publisering

Forskere får 150.000 kroner for å publisere resultatene uansett hva de viser

Kina på bunn 

Forskere fra Australasia delte oftest sine nullfunn, der 79 prosent av de som hadde generert slike funn, hadde delt dem. 

Kinesiske forskere delte nullfunnene sjeldnest, 35 prosent av respondentene fra Kina hadde aldri hadde delt eller forsøkt å dele sine nullfunn.

Men er tidsskriftene så lunkne til å ta inn nullresultater som forskerne tror? 

Ifølge undersøkelsen oppga 58 prosent at den forrige artikkelen de sendte inn med negative resultater, ble antatt av tidsskriftet. 

Derimot mener over 93 prosent av de som fikk en nullfunn-artikkel avvist, at refusjonen delvis skyldtes at resultatene var negative. 

Artikkel med nullfunn ble mye sitert 

Undersøkelsen viser også at flertallet av forskerne som faktisk har publisert negative resultater, har opplevd at det kom noe godt ut av det. I undersøkelsen sier en biolog i Sveits:

«Artikkelen vår med negative resultater ble mye sitert og viste at også andre hadde forsøkt samme type eksperimenter og fått negative resultater. Det gjorde det mulig for dem å vise til vår publikasjon for å advare mot å bruke tid på lite fruktbare metoder.»

72 prosent sa at de hadde opplevd minst én positiv konsekvens av å publisere nullfunn. Vanligst var det at forskere opplevde at publiseringen bidro til at de kunne utvikle nye hypoteser og metoder. 

Hesselberg er ikke overrasket.

— Det bør jo være hundre prosent åpenbart. Det er jo slik vitenskapen skal fungere, det er derfor vi gjør det. 

En kanadisk forsker forteller for eksempel at ved å dele dataene kom forskningsgruppen i kontakt med en annen forskningsgruppe som hadde fått lignende resultater. De begynte å samarbeide og fikk publisert tre artikler sammen. «Noen kontaktet meg for å si at det var bra vi publiserte studien, fordi de hadde planlagt en lignende studie, men avlyste den på grunn av nullresultatene», forteller en finsk forsker i ingeniørfag.

Redd for hva kollegene vil tenke 

20 prosent opplevde imidlertid at å publisere negative funn fikk negative konsekvenser. Mest utbredt var det at forskerne følte at fagfeller vurderte dem negativt, at de ble flaue eller følte seg mislykket, at det hadde negativ påvirkning på karrieren, og at forskernes siteringstall ble negativt påvirket.

 Her er svarene: 

Hvis man hadde laget det vitenskapelige publiseringssystemet på nytt i dag, ville man gjort det annerledes, sier Hesselberg.

I stedet for å sende inn artikler etter at forskningen er gjennomført, burde forskere sendt inn planene før de setter i gang, mener han. Da kunne tidsskriftene vurdert metoden på forhånd og forpliktet seg til å publisere resultatene — uansett om hypotesen stemmer eller ikke.

publisering

Mange mener det er krise for publisering. Her er fire spådommer om framtiden

Det finnes rundt 300 tidsskrifter som tilbyr denne publiseringsformen i dag, og det blir stadig flere, forteller Hesselberg.