Politihøgskolen brukte falske KI-tall: — Jeg legger meg flat

Når du underviser, trenger du også tid til å planlegge undervisningen. Det er etterarbeid som tar tid, og underviserne bruker tid på å snakke med studenter. 

På Politihøgskolen (PHS) har det vært uenighet mellom ledelse og representanter for de ansatte om hvordan dette skal beregnes. 

Fram til nylig har antall timer ansatte får til forberedelser og etterarbeid på bachelornivå variert mellom emner.

Men ledelsen ønsket å innføre en mer standardisert norm, blant annet at hver undervisningstime på bachelornivå og etter- og videreutdanningene skal telle som tre timer. 

Saken ble diskutert på et IDF-møte mellom ledelsen og representanter fra de ansatte 28. januar i år.

I den anledning ønsket ledelsen å finne ut hvordan dette ble gjort ved andre universiteter og høgskoler. 

Da bar det galt av sted. Rektor Nina Skarpenes kaller det «en dyrekjøpt læring».

La fram dette notatet 

Vedlagt saken var notat på mindre enn én side. Dette oppsummerte angivelig praksisen ved andre sju institusjoner.

En tabell viste blant annet at fire institusjoner hadde en standard norm for alle emner, mens kun NTNU ikke hadde det. 

Her er dokumentet:

I dokumentet opplyses det også om at «Oversikten er generert av Copilot», som er KI-verktøyet til Microsoft.

Men stemmer det som står der? 

Styremedlem prøvde å sjekke tallene 

Ansatterepresentant Birgitte Ellefsen i Politihøgskolens styre reagerte. I et notat til styret påpekte hun at det ikke var oppgitt noen kilder som gikk an å søke opp.

Denne type informasjonen ligger også sjelden på åpne nettsider. Derfor er det «grunn til å tro at Copilot har hallusinert for å kompensere for manglende info», skrev hun.

Hun trodde altså at KI-verktøyet hadde funnet opp informasjonen. 

Til Khrono forteller hun at hun sjekket opplysninger i dokumentet med ansatte fra tre av de oppgitte institusjonene, og disse sa at opplysningene ikke stemte. 

Kunstig intelligens

Eksplosjon av falske referanser i forskningsartikler

Her er chatteloggen fra KI-verktøyet 

Khrono har fått innsyn i hvordan dokumentet ble til. 

Det er en lang chattelogg hos Copilot, tilsvarende 24 A4-sider i en PDF-fil. 

Den ansatte ved Politihøgskolen starter med å spørre om «hva som er vanlig praksis i UH-sektoren å bruke som faktor for undervisning» på masternivå, og ber deretter verktøyet om en sammenligningstabell og om eksempler fra flere institusjoner. 

Her er starten på chatten: 

Mange instruksjoner senere har Copilot laget et dokument «som oppsummerer praksis for planleggingsfaktor i UH-sektoren»:

Politihøgskolen ba også om kilder. Men Copilot oppga ikke lenker, men skrev blant annet at det er «hentet fra offentlige dokumenter og normeringspraksis»: 

KI-verktøyet gjettet

Chatteloggen viser imidlertid at Copilot faktisk ga beskjed om at den bare klarte å finne tall for NTNU. 

For de andre seks institusjonene var det den kom med bare antakelser og anslag, men disse ble altså med i det endelige dokumentet. 

KI-verktøyet skrev at for seks av institusjonene var det ingen «åpenbare dokumenterte multiplikatorer, men sektorspesifikk praksis antyder tilsvarende bruk av multiplikatorer i området 2,5—3,5× for undervisning».

Det betyr at Copilot ikke fant noe fast tall for hvor mye en undervisningstime totalt sett skal regnes som i arbeidstid, men kom med anslag ut fra hva som er vanlig i sektoren. 

Rektor: — Skikkelig leit 

Stemmer noe av det som står i dette dokumentet? spør Khrono rektor Nina Skarpenes.

 Hun begynner med å si at vedlegget var ett av flere tallgrunnlag for saken. 

— Det ble også lagt fram dette notatet, som var KI-generert, og vi oppdaget at det bygget på data som ikke var korrekte. Jeg må si at dette er skikkelig leit. Dette er noe jeg som rektor burde ha kontrollsjekket at vi gjorde på en skikkelig måte. Det gjorde jeg ikke, og her må jeg bare legge meg flat og si at det er en læring. 

Skarpenes sier at det på IDF-møtet ble informert om at vedlegget kunne inneholde feil. 

Det står imidlertid ikke noe om dette i referatet fra møtet. Derimot står det at vedlegget var med å danne grunnlaget for forslaget som ledelsen la fram. 

«Det er innhentet praksis for planleggingsfaktor fra andre institusjoner i UH-sektoren. På bakgrunn av dette, og sammen med blant annet tidligere utregninger for bacheloremnene ved PHS, legges det fram et justert forslag til faktor for undervisning for årsplaner 2025/2026(...)» står i referatet.

— Jeg mener å huske at det ble sagt. Men enten husker jeg feil, eller så ble det ikke tatt med i referatet, sier Skarpenes. 

KI-skolen, del 2

Slik «snakker» du med kunstig intelligens

Rektor: — Hadde ikke avgjørende betydning

Skarpenes mener uansett at det feilaktige vedlegget ikke var avgjørende for utfallet av saken. 

— Jeg mener vedlegget i seg selv ikke har hatt avgjørende betydning for resultatet, fordi prosessen har vært lang, og vi har behandlet arbeidet i IDF i flere runder. Vedlegget utgjør en liten del av totalen i denne saken. Dette er først og fremst et resultat av drøftinger og samarbeid med organisasjonene. 

Hun viser til at den løsningen som ledelsen til slutt landet på, var «bedre» enn de opprinnelig hadde foreslått. 

De foreslo først at én undervisningstime på både bachelor- og masternivå skulle regnes som totalt tre timer, men oppjusterte etter møtet til fire timer på masternivå.

— Pleier dere å lage denne type bakgrunnsnotater ved hjelp av KI?

— Nei, vi gjør ikke det. Dette har vært en dyrekjøpt læring for oss. Her har vi ikke vært modne nok i bruken av KI, sier hun.

Rektoren sier at Politihøgskolen ikke har egne retningslinjer for bruk av KI i saksbehandlingen, men at de skal støtte seg for Veiledning for KI i offentlig sektor fra Digitaliseringsdirektoratet, og at de er i sluttfasen i arbeidet med en KI-strategi.

KI

Forsker ble misbrukt i KI-skandale. Nå skal han hjelpe kommunen å rydde opp