– Ledelses­forskningen har ­havnet i en blindgate

Spørreskjemaer er et verktøy som er mye brukt innenfor forskning på ledelse, motivasjon og adferd på arbeidsplassen. I skjemaene - du har sikkert vært borti dem - listes det gjerne opp en rekke påstander som respondenten skal ta stilling til ved å krysse av for et tall eller et utsagn på en skala.

På en skala fra 1 til 5 kan en leder for eksempel bli bedt om å rangere påstander som: «Jeg vurderer de moralske og etiske konsekvensene av beslutninger» og «Jeg snakker positivt om fremtiden». En medarbeider kan, på en skala fra 1 til 5, bli bedt om å vurdere utsagn som: «Hvor godt forstår lederen de problemene og behovene du har på jobben?»  

Andre påstander kan være:

• Noen ganger blir jeg så opptatt av jobben min at jeg glemmer tiden.
• Sjefen min ser meg og utvikler meg.
• Vi har en god arbeidsgruppe.
• Jeg tenker ikke mye på å søke jobb.

– Svarene er gitt på forhånd

Et forskerteam bestående av fire forskere fra organisasjonspsykologi og informatikk har nå gått spørreskjemaene nærmere etter i sømmene. Jan Ketil Arnulf fra BI har sammen med Kai Rune Larsen (Leeds School of Business), Øyvind Lund Martinsen (BI) og Chih How Bong (University Malaysia Sarawak) brukt tekstalgoritmer til å undersøke hvordan språk og meningsinnhold i spørreskjemaene påvirker utfallet av undersøkelsene. Funnene de gjør viser ifølge Arnulf at flere av de mest brukte spørreskjemaene innenfor ledelsesforskning bringer lite eller ingenting nytt til torgs.

– Det vanlige er at forskerne regner på sammenhenger mellom de ulike svarene som gis i spørreundersøkelser. Er du fornøyd med lederen din? Hva svarer du da på andre spørsmål om trivsel, motivasjon og arbeidsinnsats? Forskerne har som utgangspunkt at spørsmålene er relativt uavhengige av hverandre, og viser til at de oppdager sammenhenger når de analyserer svarene. Men i virkeligheten gjør man ikke det. Sammenhengene mellom spørsmålene er i utgangspunktet så sterke at det følger av det ene spørsmålet hva man vil svare på det neste. Svarene er gitt på forhånd. Hvis det var torsdag i går, hva er da poenget med å spørre om sannsynligheten for at det er lørdag i morgen?

Jan Ketil Arnulf, førsteamanuensis ved Institutt for ledelse og organisasjon ved Handelshøyskolen BI, mener at forskerne må bli flinkere til lå finne smetoder som kan avdekke hva slags ledelse det er som faktisk fører til noe.

Kjente spørreskjemaer

Forskerne har testet fire kjente spørreskjemaer:

• Multifactor Leadership Questionaire (MLQ) – et mye brukt instrument for å måle transformasjonsledelse - ledelse som handler om å inspirere, utfordre og vise omtanke.
• Leader-Member Exchange (LMX) - et verktøy for å måle ledelse som en toveisrelasjon mellom ledere og medarbeidere.
• Ohio State University Leadership theory inventory (LBDQ) - et metode for å måle lederadferd.
• NEO-FFI. Et verktøy for å måle personlighetstrekk der folk rapporterer om egen adferd innenfor fem faktorer: Åpenhet, planmessighet, ekstroversjon, medmenneskelighet og nevrotisisme

Forskerkvartetten har også analysert spørreskjemaer fra andre områder innenfor organisasjon og ledelse, herunder indre motivasjon, arbeidsinnsats, intensjon om å slutte i jobben og jobbtilfredshet. Undersøkelsene som har vært gjenstand for tekstanalyse har vært gjennomført i grupper av ulik størrelse, fra noen hundre respondenter til 1600 respondenter.

Meningsinnhold forklarte rundt 80 prosent

Med tekstalgoritmene som verktøy, viste det seg at forskerne i stor grad var i stand til å forutse de faktiske innsamlede svarene fra spørreundersøkelsene på forhånd. I en kronikk hos psykologisk.no har forskerkvartetten gjort rede for at meningsinnholdet i spørsmålene, semantikken, kunne forklare fra 79 til 86 prosent samvariasjonen mellom ulike deler av spørreskjemaet i MLQ-metoden. For LMX og LBDQ finner de at semantikk forklarer mellom 47 og 87 prosent av samvariasjonen.

– Når vi kontrollerer spørreskjemaet i MLQ-metoden for de språklige sammenhengene er det nesten ingenting igjen, sier Arnulf.

Blant samtlige spørreskjemaer som forskerne testet, var det femfaktormodellen (NEO-FFI) som kom best ut. Det var det eneste tilfellet hvor de fant at semantikk ikke forklarte en vesentlig del av samvariasjonen i svarene.

Spørsmål som handler om det samme

– Hva er galt med spørsmålene i spørreskjemaene?

– Det er ikke noe galt med spørsmålene. Feilen ligger i forskningsmetoden. Når vi legger spørsmålene fra spørreskjemaene inn i datamaskinen og kjører tekstanalyser, ser vi hvor like mange av spørsmålene er i meningsinnhold. Ved sterk samvariasjon mellom svarene på to spørsmål i et spørreskjema, har vi regnet på sannsynligheten for at disse spørsmålene betyr det samme, og det viser seg at meningsinnholdet ofte er det samme.

– Har du et eksempel?

– Hvis du svarer at du liker jobben din, svarer du sannsynligvis også at du liker det du gjør, at du liker sjefen din og at du liker gruppen du jobber sammen med, sier Jan Ketil Arnulf, som mener at det ikke er overraskende hvis folk svarer positivt på alle disse spørsmålene.

Han mener at denne typen funn ikke avdekker noen nye sammenhenger og forskningsfunn. Dette fordi folk som svarer rett og slett oppfatter at disse spørsmålene handler om det samme. 

– Det de som svarer gjør i alle disse spørsmålene, er å dele en mening om at de liker jobben sin.

Lar datamaskinen tippe

– Vi har latt datamaskinen tippe utfallet av undersøkelser gjort med spørreskjemaer, for så å sammenligne gjetningen med de virkelige svarene. Vi ser da at vi ned til to desimaler kan tippe hva samvariasjonene for ulike spørsmål vil bli, forklarer Arnulf.

Forskerteamet har blant annet sett på samvariasjonen - korrelasjonen - mellom spørsmålet «Sjefen min nekter å forklare sine beslutninger» og «Generelt sett liker jeg ikke jobben min».

I den virkelige spørreundersøkelsen fant de en samvariasjon mellom disse svarene på 0,34, det vil si en moderat sammenheng. Datamaskinen tippet 0,36.

– Må tenke annerledes

– På verdensbasis er det store forsker- og konsulentmiljøer som bruker disse spørreskjemaene som dere nå har plukket fra hverandre. Impliserer funnene at dere mener at det disse forskerne og konsulentene holder på med ikke har noe for seg?

– Det vi sier, er at veldig mye av de vi tidligere har trodd om spørreskjemaer ikke er riktig. Vi må begynne å tenke annerledes, og kanskje bør vi også begynne å forske mer på andre ting. Med ledelsesforskning i form av spørreskjemaer avdekkes nesten ingenting som vi ikke visste fra før. Jeg tenker at vi må bli flinkere til å finne metoder som kan avdekke hva slags faktisk ledelse det er som fører til noe. Hva blir det faktiske utfallet når man leder på en bestemt måte? Her er det et stort potensial. Det finnes mange tall der ute. Selv har jeg eksempelvis forsøkt meg på å koble kartlegging av adferd i team opp mot regnskapsdata.

Arnulf tror for øvrig at problemet de mener å ha avdekket neppe begrenser seg til organisasjonspsykologiske temaer som ledelse og motivasjon. Han mener at alle sosialvitenskaplige disipliner som beskriver virkeligheten gjennom spørreskjemaer kan rammes av samme problem.

Blandet mottagelse

– Hvordan er funnene dere har gjort blitt tatt imot i fagmiljøene innenfor ledelse?

– Mange liker ikke dette her, og noen mener funnene er en misforståelse, men ingen har så langt klart å bevise hva det er vi eventuelt har gjort feil. Folk med sans for språkforskning synes dette er artig. Andre, som har en avslappet holdning til feltet, har sagt at dette har de egentlig tenkt hele tiden. Noe av det verste for fagmiljøene er kanskje at vi slår beina under det som kalles konfirmatorisk faktoranalyse, en metode som har vært brukt i statistiske analyser for å sikre at man ikke automatisk spør om det ene ved å spørre om noe annet. Forskerne har trodd at statistiske teknikker har holdt greie på dette, men det ser ikke ut til at de har gjort. 

To andre forskere - NHH professor Willy Brochs-Haukedal og Cato Bjørkli fra Universitetet i Oslo - kommenterer funnene slik: 

Kjenner seg igjen i funnene

– Ikke helsvart