Siste fra forsiden:
LES VIDERE ETTER ANNONSEN
FÅ NYHETER PÅ MOBILEN
Last ned Khrono-appen!
kunstig intelligens
Forskerne diktet opp en sykdom. KI trodde den var ekte
Forskerne hevdet at blått lys fra skjermer blant annet kunne gi såre og kløende øyne. Den falske forskningen ble videreformidlet av KI-verktøy og ble sitert i annen forskning.
Publisert
Bare navnet på den oppdiktede sykdommen burde kanskje fått varsellampene til å blinke: Bixonimania er, ifølge forskerne ved Göteborgs universitet, en tilstand eller sykdom forårsaket av blått lys fra skjermer.
Blått skjermlys kunne, ifølge to «forskningsartikler», kobles til såre og kløende øyne, hovne øyelokk, en rødlig eller rosa farge på øyelokkene og mørkere hud rundt øynene.
Artiklene ble publisert på en preprint-nettside i april 2024.
Det er Natures nyhetsmagasin som skriver om dette.
Forskerne gjorde dette for å teste om KI-chatboter ville plukke opp falsk medisinsk informasjon fra nettet og videreformidle den som om den var ekte helseinformasjon.
Det burde være enkelt å avsløre.
Referanser til Star Trek og The Simpsons
Til Nature sier en av forskerne, Osmanovic Thunström, at de valgte navnet bixonimania fordi det «høres latterlig ut». Ingen øyetilstand har «mani» i ordet, det er et psykiatrisk begrep, påpeker hun.
Videre var navnet på hovedforfatteren og universitetet hennes oppdiktet.
Forskerne takket Maria Bohm ved Starfleet Academy for å ha bidratt med kunnskap og laboratorium om bord på USS Enterprise, en tydelig referanse til TV-serien Star Trek.
Begge artiklene oppga at de var finansiert av Professor Sideshow Bob Foundation for arbeid med «advanced trickery». Sideshow Bob er en karakter i TV-serien The Simpsons.
Arbeidet inngikk i et større samarbeid fra University of Fellowship of the Ring.
Og om det fortsatt skulle være noen tvil: Tidlig i artiklene sto det at «hele denne artikkelen er oppdiktet», og at «femti oppdiktede personer» mellom 20 og 50 år var rekruttert.
De to artiklene ble lastet opp på preprints.org, en nettside for preprints, altså artikler som ikke er fagfellevurdert ennå.
KI-verktøy tok det for god fisk
Etter kort tid begynte KI-verktøy som Copilot, Gemini, ChatGPT og Perplexity å sitere artiklene. De omtalte bixonimania som en ekte sykdom.
«Bixonimania er en tilstand som skyldes overdreven eksponering for blått lys», konstaterte Gemini i april 2024, og ga råd om å oppsøke øyelege.
Perplexity kunne fastslå at 90 000 personer er rammet.
ChatGPT vurderte om beskrevne symptomer kunne være bixonimania.
Den falske forskningen spredte seg også til annen forskning. Ifølge Nature har artiklene om bixonimania blitt sitert i flere studier. Minst én har blitt trukket tilbake fordi den lente seg på falsk forskning.
Språkmodeller som ChatGPT er langt mer tilbøyelige til å spre feilinformasjon hvis teksten den baserer seg på ser ut som en ekte forskningsartikkel.
Begge artiklene ble trukket i april i år med begrunnelsen at de «inneholder fabrikkert og uekte materiale, og derfor ikke kan regnes som gyldig vitenskapelig forskning».
De var altså publisert i to år.
Derfor gjorde de det
Til Nature sier forsker Osmanovic Thunström ved Göteborgs universitet at de gjorde dette for å vise hvor lett KI-chatboter kan bli lurt av falsk forskning.
Hun sier også at hun ville undersøke dette på en måte som gjorde minst mulig skade. Derfor valgte hun en ufarlig og ganske åpenbart oppdiktet sykdom.
Hun forhørte seg med en etisk rådgiver ved universitetet før de plantet de falske artiklene.
Rådgiveren, David Sundemo, sier til Nature:
— Jeg synes det er svært verdifullt arbeid, men også kontroversielt på noen måter, spesielt når det gjelder å spre falsk informasjon. Sett fra mitt ståsted er det verdt kostnaden ved å plante falsk informasjon.
Elisabeth Bik, en mikrobiolog og «vitenskapelig detektiv» som avslører falsk forskning, er bekymret for at falsk informasjon blir videreformidlet av KI-verktøy.
Ettersom flere KI-selskaper ruller ut KI-tjenester rettet mot medisin og helse, øker skadepotensialet, sier hun.
Det er over to år siden de falske artiklene ble plantet, og KI-verktøyene har blitt betraktelig bedre siden den gang.
Når Khrono i dag søker opp «bixonimania», sier ChatGPT, Gemini, Perplexity og Claude at dette er en oppdiktet sykdom.
Det fastslår også Wikipedia-siden om bixonimania.