Debatt ● Kjersti Lea, Helene Eide og Marius Ole Johansen
Frafallsstatistikk som villedende veiledning
Bak frafallstallene skjuler det seg et ubehagelig faktum: Vi vet ikke hva vi måler. Vi må etablere en felles definisjon som skiller mellom ulike typer frafall: permanent og midlertidig, frivillig og ufrivillig.
Publisert
Denne teksten er et debattinnlegg. Innholdet i teksten uttrykker forfatterens egen mening.
Frafall har blitt et av de mest brukte kvalitetsmålene i europeisk utdanningspolitikk, ikke minst i høyere utdanning. For eksempel fastslo styret ved vårt eget universitet, Universitetet i Bergen, senest for en måned siden at «effekter (…) av ulike typer frafall og studievalg (…) må analyseres nærmere».
Dette er viktig fordi frafallstallene brukes for eksempel til å styre finansiering og strategiske prioriteringer lokalt og nasjonalt. Dessuten har de betydning for institusjonens omdømme.
Men bak tallene skjuler det seg et ubehagelig faktum: Vi vet ikke hva vi måler.
Hvor mange studenter slutter på studier før de har fullført dem? Spørsmålet virker enkelt. Det føres oversikter over den slags ved alle høyere utdanningsinstitusjoner, så det er vel bare å se på statistikken?
Vi forsøkte det. Det viste seg at svaret er alt annet enn enkelt, og at det i høy grad avhenger av hvem man spør. For til tross for at frafall brukes som styringsverktøy, finnes det ingen felles definisjon av frafall.
Derfor er det uklart hva teller som frafall. Teller en student som bytter studieprogram som frafalt på det første programmet? Hva med en student som tar permisjon? Eller en som bruker mer enn normert tid på å fullføre? Svaret varierer fra institusjon til institusjon og fra måleverktøy til måleverktøy.
Resultatet er at vi bygger politikk på tall som ikke er solide, men elastiske.
La oss illustrere dette med et eksempel. Vi har sett på flere program på Universitetet i Bergen og henter vårt eksempel derfra, men holder det for sannsynlig at det finnes tilsvarende tilfeller på andre institusjoner.
Et av programmene vi har sett på er bachelorprogrammet i pedagogikk. På kullet som begynte i 2015 oppgis frafallet til henholdsvis 39 prosent, 55 prosent og 26 prosent, avhengig av hvilken kilde vi ser på. Hvor nær ligger tallene de faktiske forhold, og hvordan kan man ende med så sprikende tall?
Den første kilden i vårt eksempel kommer fra systemet DBH, som er åpent tilgjengelig for alle og som administreres av HK-dir. Tallene her er basert på hvor mange studenter som fullfører innen en viss tid, det vil si normert tid med et visst slingringsmonn (inntil 50 prosent mer enn normert tid) på et studium de har fått og tatt imot plass på.
Svaret varierer fra institusjon til institusjon og fra måleverktøy til måleverktøy.
Dette måles ut fra hvorvidt studenten har registrert seg og betalt semesteravgift, men man sjekker ikke hvorvidt studenten har dukket opp til undervisning eller på andre måter vært aktiv på studiet. Vi vet for eksempel at enkelte registrerer seg for å få tilgang til studentvelferdsgoder og at det hos andre har dukket opp forhold som gjør det vanskelig å gjennomføre planene de hadde lagt. Men systemet fanger ikke opp at en del av dem som har betalt semesteravgift ikke er reelle studenter, og teller dem som frafalte når de ikke tar eksamen.
Tallene i DBH reflekterer altså institusjonens administrative kodingssystemer, ikke studentenes faktiske aktivitet.
Den andre kilden er universitetets analyseplattform Tableau, som også brukes i universitetets interne strategidokumenter. Også Tableau henter data fra FS, men definerer frafall annerledes enn DBH gjør. I Tableau beregnes frafall ut fra antall studenter i kohorten ved oppstart minus antallet som enten har fullført eller som fremdeles er registrert som aktive studenter.
Dette virker fornuftig, inntil man ser nøyere etter og oppdager at for eksempel studenter som er på utveksling ikke regnes som aktive i denne modellen. Det samme gjelder studenter i rettighetspermisjon. Dermed blir frafallsprosenten kunstig høy.
Dessuten får vi en fluktuerende frafallsstatistikk som kan gå opp og så ned igjen fra ett semester til et annet. Dette er problematisk når vi vet at tallene fra Tableau har direkte betydning for lokal planlegging og ressursfordeling, og at de brukes i institusjonens strategidokumenter. Siden beregningene er forskjellige fra dem som brukes i rapporter til HK-dir, blir det også forskjell på tallene i den nasjonale og den lokale statistikken.
Den tredje kilden i vår analyse er rådataene i FS. De viser hva som faktisk har skjedd, for eksempel om en student har byttet program, vært på utveksling eller brukt lang tid, men likevel fullført. Når vi går manuelt gjennom informasjonen i FS, er frafallsprosenten 26 prosent.
Eksempelet viser at tallene innenfor hvert system gir inntrykk av å være presise, men at de skjuler kompleksitet.
Dette gir i seg selv grunn til å spørre hva vi egentlig diskuterer når vi diskuterer frafall og hvor meningsfull diskusjonen i grunnen er når tallene som rapporteres er så upresise. I tillegg bør vurderingene ta hensyn til at det er mange forskjellige grunner til at en student velger å forlate et program: økonomiske utfordringer, helseproblemer, feilvalg — eller hen kan ha fått et bedre faglig tilbud et annet sted.
Å redusere dette mangfoldet til én kategori gir et forenklet bilde som kan lede til feilslått politikk.
Dessuten er frafall ikke alltid negativt. For noen studenter er det å velge å gjøre noe annet et uttrykk for handlekraft og tilpasningsevne. Når statistikken ikke skiller mellom «mislykket» frafall og strategiske omvalg, mister vi muligheten til å forstå studentenes faktiske handlingsrom.
Når statistikken ikke skiller mellom «mislykket» frafall og strategiske omvalg, mister vi muligheten til å forstå studentenes faktiske handlingsrom.
Den definisjonselastisiteten vårt eksempel viser er ikke bare et teknisk problem. Den er i høy grad også et politisk problem.
Når indikatorene er uklare, kan institusjoner fremstå som «vellykkede» eller «mislykkede» avhengig av hvordan man teller. Det gir rom for strategisk statistikkbruk, men det gir liten plass til reell kvalitetsutvikling, ikke minst fordi det er uklart hvilke definisjoner som ligger bak statistikken som leveres til det enkelte fakultet og program.
Slik blir tilsynelatende objektive, men i realiteten villedende tall veiledende for beslutninger om finansiering, dimensjonering og tiltak uten at beslutningstakerne vet hva de egentlig adresserer.
Hvis vi vil ha reelle tall og hvis vi mener alvor med kvalitetsarbeid, må vi etablere en felles definisjon som skiller mellom ulike typer frafall: permanent og midlertidig, frivillig og ufrivillig.
Men vi må også gå lenger. Tallene må suppleres med kvalitative data og studentstemmer.
For frafall er ikke bare et statistisk avvik; det er et sosialt og pedagogisk fenomen. Bak hvert tall finnes en historie, og den historien må vi forstå før vi setter inn tiltak. Først da kan vi utvikle tiltak som treffer årsakene og som er nyttige for studentene, og først da kan vi redusere reelt, ufrivillig og permanent frafall.
Så lenge vi opererer med definisjonselastisitet, vil frafallsstatistikken fortsette å skjule mer enn den avslører.
