Konferansen avslørte KI-bruk med ny metode. Avviste 500 artikler

ICML (International Conference on Machine Learning) er en av verdens største og mest prestisjefylte forskningskonferanser innen maskinlæring og kunstig intelligens (KI). 

Kanskje ikke så overraskende er en del KI-forskere også ivrige på å få KI-hjelp til å skrive og vurdere artikler. 

ICML, som i juli skal arrangeres i Seoul i Sør-Korea, krever at alle som sender inn en artikkel til konferansen, også skal være fagfelle på en annen innsendt artikkel. 

Forbud mot KI -bruk 

Når det gjelder KI-bruk, har konferansen i år innført to hovedspor. 

Forfattere og fagfeller kan velge om de vil følge et strengt eller litt mindre strengt KI-regime.

Det ene sporet tillater begrenset bruk av store språkmodeller (LLM-er), mens det andre forbyr slik bruk helt. 

For å være fagfelle i sistnevnte må man erklære at man ikke bruker LLM-er i vurderingsarbeidet. 

I et blogginnlegg gjør ICML rede for saken. Nyhetsmagasinet til Nature har også omtalt den.

Skjulte instruksjoner

Etter at artiklene hadde blitt fagfellevurdert, sjekket arrangørene dem for KI-spor. Til dette brukte de en relativt ny metode, beskrevet i en forskningsartikkel som ble publisert i fjor høst. 

Før artiklene ble sendt til fagfellevurdering, la arrangøren inn skjulte beskjeder i artiklene. Disse instruksjonene kan ikke oppdages av det blotte øye når man leser PDF-versjonen av artikkelen, men vil bli fanget opp av KI-verktøy. 

Arrangøren beskriver ikke nøyaktig hvordan beskjedene ble skjult. En måte å gjøre det på kan være å bruke så liten font at mennesker ikke vil oppdage det. Hvit tekst på hvit bakgrunn er en annen metode. 

ICML hadde opprettet en database med 170.000 ulike fraser. Hver artikkel ble utstyrt med en instruksjon til fagfellen om å inkludere to av disse frasene, som ble tilfeldig trukket, i vurderingen. 

Dette oppdaget de: 

I 795 fagfellevurderinger ble frasene gjentatt.

Altså ble fagfeller, som hadde erklært at de ikke på noen måte hadde brukt KI i vurderingene, tatt med buksene nede i 795 tilfeller. 

Disse vurderingene ble skrevet av 506 unike fagfeller. 

Konferansen har også en regel om at hvis du blir tatt for ureglementert KI-bruk, blir også din egen artikkel avvist.

Som en konsekvens av dette ble 496 artikler avvist. Dette tilsvarer rundt to prosent av de innsendte artiklene til konferansen.

I blogginnlegget understreker arrangøren at de ikke har gjort noen kvalitetsvurdering av vurderingene. 

De påstår heller ikke noe om fagfellenes intensjoner. 

— Dette er rett og slett en konstatering av at fagfellen brukte LLM på et tidspunkt under arbeidet med vurderingen, som dessverre er et brudd på retningslinjene de forpliktet seg til å følge, skriver de.

De skriver også at metoden trolig bare fanger opp den mest åpenbare KI-bruken, og at den er lett å omgå. 

I mesteparten av vurderingsperioden var det dessuten gjort kjent for fagfellene at arrangøren ville bruke denne metoden.

Den japanske storavisen Nikkei har også avslørt at forskere har brukt skjulte beskjeder i artiklene sine, i den hensikt at fagfeller som bruker KI skal gi positive vurderinger. 

Sverige

Dette er det verste forskere kan gjøre, ifølge forskere