– Forskere i uheldig dobbeltrolle

Fem Nav-kontorer har fra 2013 til 2016 deltatt i et forsøksprosjekt der kontorene selv har tatt over arbeidsrettet oppfølging som før ble satt ut til eksterne tiltaksarrangører.

Forsøket har fått stor oppmerksomhet, og Nav-direktør Sigrun Vågeng har brukt det som argument for at Nav bør gjøre mer av oppfølgingsjobben selv.

I et intervju i Velferd i fjor viste Vågeng til Nav Heimdal, som er et av de fem forsøkskontorene.

– Nav Heimdal er et supert eksempel. Der ser vi at vi ved hjelp av vår egen kompetanse klarer å få flere i arbeid enn om man satte ut jobben, sa Nav-sjefen til Velferd.

Også flere ledende politikere har tillagt forsøksprosjektet stor vekt. Da Velferd intervjuet tidligere arbeids- og sosialminister Robert Eriksson i høst, fortalte han at prosjektet fikk ham til å skifte syn og bli tilhenger av å la Nav ta mer av oppgaven med å få folk ut i jobb.

• Les også: Ville legge ned suksessprosjekt

Metodiske svakheter

Forsøket Vågeng og Eriksson viser til – «Kjerneoppgaver i Nav» (KIN) – har imidlertid en rekke metodiske svakheter, og resultatene kan ikke generaliseres til å gjelde alle Nav-kontorer, mener samfunnsøkonom og forsker Kristine Grimsrud.

«Om KIN er rimeligere og mer effektivt enn dagens løsning kan en derfor ikke si noe om», fastslår Grimsrud i et notat der hun reiser en rekke alvorlige innvendinger mot utformingen og gjennomføringen av forsøket.

– Slik prosjektet er lagt opp, ville det vært overraskende om ikke forsøkskontorene hadde fått bedre resultater enn kontrollkontorene, sier Grimsrud til Velferd.

Notatet der hun analyserer forsøket, ble skrevet i fjor på oppdrag fra bransjeforeningen Arbeid & Inkludering (tidligere Attføringsbedriftene i NHO).

• Les også: Brukerne av tiltakene blir ikke hørt

Kritiske merknader

Dette er noen av de kritiske merknadene Grimsrud har til «Kjerneoppgaver i Nav»:

• For få forsøkskontorer: Antall forsøks- og kontrollkontorer er til sammen ti. Det er for lite til å kunne utføre statistiske tester som er generaliserbare for alle Nav-kontorer.
• Forsøkskontorene er ikke tilfeldig valgt: Det var Nav som valgte ut forsøkskontorene og de fem kontrollkontorene de skulle sammenlignes med. Dermed kan man ikke utelukke at forsøkskontorene i utgangspunktet var bedre egnet enn kontrollkontorene til å oppnå gode resultater.
• Brukerne som har deltatt i prosjektet, er ikke tilfeldig valgt:Ved forsøkskontorene har det vært mulig å sile ut hvilke brukere som skal delta, noe som ikke har vært mulig ved kontrollkontorene. Dette vil kunne bidra til bedre resultater ved forsøkskontorene.
• Oppmerksomhet gir resultater:Forskere ved Arbeidsforskningsinstituttet (AFI) har fulgt forsøkskontorene tett, og prosjektet har fått mye medieomtale. Oppmerksomheten fra forskere og medier kan i seg selv ha bidratt til at forsøkskontorene gjør det bedre enn kontrollkontorene.

– Forskerne later til å være oppmerksomme på noen av begrensningene, men tar ikke hensyn til dem hverken i analysen eller konklusjonen, sier Grimsrud.

Forskere i dobbeltrolle

I tillegg til innvendingene ovenfor er Kristine Grimsrud kritisk til rollen – eller rollene – forskerne fra Arbeidsforskningsinstituttet har hatt i prosjektet.

Forskerne har selv vært aktive aktører i forsøket og har blant annet intervjuet ansatte ved forsøkskontorene i flere omganger.

I en evalueringsrapport forteller AFI-forskerne om en nitidig oppfølging av de lokale forsøkskontorene. De påpeker at intervjuene med de Nav-ansatte blant annet har hatt til hensikt å bidra til bedre resultater ved forsøkskontorene.

«Et mål er at intervjuene i seg selv skal bidra til bredere refleksjon rundt eget arbeid, og i det også ha et element av motivasjon i seg», skriver forskerne i en evalueringsrapport. De rapporterer om en «voldsom entusiasme» for prosjektet blant de Nav-ansatte.

• Les også: – Anbud gir enfold, ikke mangfold

Manglende distanse

Grimsrud mener forskernes aktive deltakelse i forsøket er uheldig og at det har medført en manglende distanse til prosjektet.

«Det blir en sammenblanding av rollene når forskere lærer opp de ansatte samtidig som de selv skal vurdere om de gjorde en effektiv jobb i ettertid», konstaterer hun i sitt notat.

Grimsrud påpeker overfor Velferd at forskernes deltakelse i forsøket har betydning for resultatene.

– Hva om man hadde satt inn forskere som var motstandere av prosjektet og ville trenere det. Hva ville skjedd da? spør hun.

Forskerne svarer

Forskerne ved Arbeidsforskningsinstituttet er enig i deler av kritikken Grimsrud retter mot på forsøksprosjektet.

«Generelt vil vi si at Grimsrud har gjort et grundig arbeid og vi deler de fleste av hennes kritiske merknader», skriver instituttdirektør Arild Steen og forskerne Øystein Spjelkavik og Erik Mamelund i et brev de sendte til Arbeids- og velferdsdirektoratet etter at de ble kjent med Grimsruds notat.

Spjelkavik har ledet AFI-prosjektet knyttet til «Kjerneoppgaver i Nav», mens Erik Mamelund har ledet arbeidet med effektevalueringen av prosjektet. Instituttdirektør Steen har bidratt med innspill i arbeidet med evalueringen.

I brevet til Arbeids- og velferdsdirektoratet skriver AFI-forskerne at de i sine rapporter har redegjort for, og tatt hensyn til, poengene Grimsrud tar opp.

• Les også: – Lokal kunnskap og erfaring går tapt

– Ubalansert kritikk

Selv om de er enige i noen av innvendingene mot prosjektet, mener AFI-forskerne at Grimsruds kritikk er ubalansert. De savner en vurdering i hennes notat av hvilken lærdom man kan trekke av forsøksprosjektet.

Til innvendingen om at man ikke kan trekke generaliserbare konklusjoner for hele Nav av forsøket, svarer forskerne at de ikke har hevdet at dette kan gjøres. Dermed er kritikken forfeilet, mener de.

«I vårt analysetilbud har vi forholdt oss til oppdragsgivers valg når det gjelder antall og kriterier for hvilke forsøkskontor og kontrollkontor som skulle inngå forsøket. AFI har ikke i noen av delrapportene hevdet at resultatene er generaliserbare til hele populasjonen av alle NAV-kontor», skriver forskerne i brevet til Arbeids- og velferdsdirektoratet.

Positive resultater

Forskerne mener «Kjerneoppgaver i Nav» har gitt en rekke positive resultater, som ikke er omtalt i Grimsruds notat.

«Vi har vist at forsøkskontorene tar inn flere brukere til samme pris, altså gjør de den samme jobben til en rimeligere pris», skriver de i brevet til direktoratet.

Forskerne forklarer de positive resultatene med spesialisering av den arbeidsrettede brukeroppfølgingen ved forsøkskontorene. Likevel «betyr ikke det at vi med vitenskapelig sikkerhet kan si at vi vil finne akkurat de samme resultatene dersom vi undersøkte samtlige Nav-kontor», skriver prosjektleder Øystein Spjelkavik i en e-post.

At Sigrun Vågeng og politikere har brukt resultatene fra prosjektet som argument for å innføre tilsvarende arbeidsmetoder i hele Nav, mener AFI-forskerne er rimelig.

«Så langt vil vi si at måten arbeids- og velferdsdirektøren og noen av politikerne har tolket resultatene på, virker som en rimelig operasjonell oppfølging av vår evaluering», skriver Spjelkavik i e-posten til Velferd.