Debatt ● Espen Smith-Meyer

Automatisert sensur er galskap

Malthe-Sørenssen-utvalgets foreløpige anbefalinger åpner døra for språkmodellenes inntog på sensurværelset. Den bør resolutt slenges igjen.

— Hva har Sam Altman å gjøre med eksamenskarakteren til en norsk historiestudent? spør forfatteren. Det er ikke Sam Altman på som er bildet, men Anders Malthe-Sørenssen, leder av utvalget om kunstig intelligens i høyere utdanning og professor ved UiO.
Publisert

Denne teksten er et debatt­inn­legg. Inn­holdet i teksten uttrykker forfatterens egen mening.

Anbefalingen om å gjøre forsøk der dagens språkmodeller blir med inn i sensuren som beslutningsstøtte er uforståelig. Altså, hva har Sam Altman å gjøre med eksamenskarakteren til en norsk historiestudent?

Én ting er forskningsprosjekter som lar språkmodeller gjøre vurderinger av eksamensbesvarelser og sammenligner med sensuren studentene har fått av sine sensorer. I sikre og trygge personvernmessige og opphavsrettslige omgivelser. Slikt kan gi kunnskap om hvordan dagens språkmodeller ville løst en normal norsk sensur.

Noe helt annet er å anbefale forsøk der språkmodeller er delvis involvert i selve sensuren. 

Dagens tilgjengelige språkmodeller er alle utviklet, og styrt, av et lite miljø i en dal i USA, et USA i demokratisk krise. Språkmodellene fra OpenAI og de andre er helt lukkede i sin funksjon og sitt treningsgrunnlag. 

Det vi vet, er at modellene «hallusinerer» (egentlig gjør det de er laget til å gjøre, predikere sannsynlige setninger basert på treningsdatagrunnlaget sitt) og gjenformidler stereotypier og fordommer. Skal dette inn og påvirke eksamenssensuren til norske studenter?

Der dagens lovverk beskytter mot slike forsøk, anbefaler utvalget å aktivt endre loven for å tillate forsøk med automatisert sensur. Det tas forbehold om at bedre kunnskapsgrunnlag er en forutsetning, men Malthe-Sørenssen sier Khrono 16.12.25 at «dette er fremtiden». Kunnskapsgrunnlaget skal blant annet komme fra prosjekter som kan «(…)identifisere hvilke faktorer som bidrar til at KI(sic!)-systemene er bedre til å sensurere» (fra utvalgets foreløpige rapport s. 39, min utheving). 

Altså er det tydelig hvilken vei utvalget selv mener dette skal gå, og det er langt fra betryggende for prosessen. Anbefalingen om å endre loven for å la språkmodellene vurdere norske studenter bør lovgivere se rett bort ifra.

Men la oss, som et tankeeksperiment, forestille oss en fremtid med en tilstrekkelig åpen språkmodell med tilstrekkelig åpent treningsdatagrunnlag, trent på kilder etter avtale med kildenes forfattere i et digitalt økosystem som beskytter studenters personvern og opphavsrett til eget eksamensarbeid. Selv om dette skulle være lovlig, skal høyskoler og universiteter virkelig overlate sensuren, en kjerneoppgave, til en maskin? 

Malthe-Sørenssen uttaler til Khrono 16.12.25 at faglærere fortsatt har en viktig rolle i å designe gode eksamensoppgaver. I rapporten pekes imidlertid også på en framtid der språkmodellene effektiviserer utviklingen av nettopp eksamensoppgaver og sensorveiledninger. Hvor ender vi egentlig opp? 

Skal dagens faglærere i fremtiden danse rundt en stor maskin som gjør jobben for dem?

Rapporten hviler dessuten på et pussig premiss som ikke diskuteres nærmere: At språkmodellene blir like gode eller bedre enn de fleste undervisere til blant annet å vurdere besvarelser og gi tilbakemeldinger. Hvem avgjør dette? Når er språkmodellen bedre faglig enn en jevn professor, og hva vil det egentlig innebære? 

Mange fagområder, forhåpentligvis alle, har faglige uenigheter. Hvordan skal en mester-språkmodell forholde seg til disse? Hvem har rett, og hvor mye vekt skal tillegges hva? Og hva skjer dersom alle studenter i hele landet blir vurdert på det samme grunnlaget, om ikke en faglig forflatning? 

Ansatte på universiteter og høyskoler skal være kunnskapsledende på sine fagområder. Skal de, og med dem institusjonene, frivillig gi fra seg direkte innflytelse over hva som regnes som tilstrekkelig faglig nivå for å bestå, til en maskin? 

Om ikke annet vil premisset da oppfylle seg selv: Hvis faglærerne slutter med egen sensur, vil de raskt bli dårligere og dårligere på å sensurere. Og samtidig gjøre oss alle mer og mer avhengig av maskinen.

Hva så med begrunnelser, der regelverket visstnok skal gi større rom for automatisering? Er det greit å bruke litt språkmodell her?

Nei, det er det ikke. Utvalgets skille mellom sensur og begrunnelser gir ikke mening.

Det holder å lese ordet: ‘Begrunnelse’. Det skal være en begrunnelse for et sensurvedtak. Tarjei Røssvoll peker på det forvaltningsrettslig problematiske i forslaget om automatisering av begrunnelser. Og vi trenger ikke lovverk for å se det åpenbare: Når sensuren gjøres av et menneske, må åpenbart det samme mennesket selv begrunne sitt vedtak. 

Du kan ikke bestemme deg for å slå opp med kjæresten, og så be en tilfeldig person på gata om å overbringe nyheten og forklare hvorfor.

Selv mener jeg språkmodellene skal holdes langt unna sensuren og derav også begrunnelsene, men det er oppsiktsvekkende at rapportens anbefalinger åpner for alle typer involvering i arbeid med begrunnelser, inkludert at språkmodellene skriver førsteutkast og sensor omgjøres til korrekturleser. Rapporten peker jo ellers på den banale innsikten at vi blir dårligere på det vi ikke trener på. 

Universiteter og høyskoler tar nå dette inn i studentenes opplæring rundt språkmodeller, med det tydelige råd om å skrive egne utkast og heller la modellene komme med innspill. Skal vi da la faglærerne gjør det motsatte? Selv professorer er ikke supermennesker som ikke kan miste evner hvis de ikke vedlikeholdes.

Signalene fra den foreløpige rapporten fra Malthe-Sørenssen-utvalget er i det hele tatt svært uheldige når det kommer til språkmodeller og sensur. 

Vi har nettopp vært gjennom en eksamensperiode, og det kan ikke være tvil om at det finnes studenter som har fått sensur og begrunnelser helt eller delvis ved hjelp av språkmodeller. Og da snakker vi språkmodeller uten noe innsyn i hvordan de er bygget opp og styrt, med usikre rettslige hjemler og med varierende bruk av kildebegrensninger og ikke minst prompts. Med andre ord fullstendig uansvarlig bruk. 

På min egen institusjon har uklare signaler, sammen med pågående forsøk på UiA om å overlate begrunnelser til språkmodeller for å frigjøre tid til viktigere oppgaver(!), hindret en avklaring rundt bruken av tilgjengelige språkmodeller i sensur. 

Utvalget burde prompte signalisere at språkmodeller ikke skal brukes i normalt sensurarbeid i dag!

Språkmodeller er ikke en allvitende kraft som samtidig er tilgjengelig for oss alle, lik en annen gud. Språkmodellene er heller ikke store superhjerner. 

I møte med den antatt uslåelige Enigma-maskinen sier Alan Turing (Benedict Cumberbatch) i filmen Imitation game at «Maybe only a machine can beat another machine». I møte med verdens selvsikre språkmodeller må vi se at det er motsatt: Bare mennesker skal vurdere andre menneskers eksamenstekster. 

Selv om ‘kompleksiteten og de intuitive elementene ved slike vurderinger gjør variasjon mellom sensorer uunngåelig’ — eller kanskje nettopp derfor.

Powered by Labrador CMS