Når en algoritme er like ­forutinntatt som «folk flest»

Maude Lavanchy er professor og forsker ved den internasjonale handelshøyskolen IMD i Lausanne i Sveits. 

SYNSPUNKT: Amazon besluttet nylig å koble ut det eksperimentelle rekrutteringsverktøyet som benyttet kunstig intelligens (AI) etter at de oppdaget at det diskriminerte kvinner.

Selskapet hadde laget verktøyet for å kunne tråle nettet og finne potensielle kandidater, som ble klassifisert med fra en til fem stjerner. Men algoritmen lærte å nedgradere kvinners CV-er systematisk til tekniske jobber som f.eks. programutvikler.

Til tross for at Amazon ligger helt i teten innen AI-teknologi, klarte ikke selskapet å gjøre algoritmen kjønnsnøytral.

Men feilen er en påminnelse om at AI utvikler forutinntatte meninger ut fra en rekke kilder. Den vanlige oppfatningen er at algoritmer skal lages uten de forutinntatte meningene eller fordommene som farger menneskers beslutninger, men sannheten er at en algoritme helt utilsiktet kan lære seg å bli forutinntatt på basis av en mengde kilder.

Alt fra dataene som brukes til å lære den opp til menneskene som bruker den, og til og med tilsynelatende uvedkommende faktorer, kan bidra til å gjøre AI forutinntatt.

AI-algoritmene læres opp til å finne mønster i store datasett for å hjelpe til med å forutsi hva utfallet vil bli. I Amazons tilfelle brukte algoritmen alle CV-er som var blitt sendt til selskapet i en periode på ti år for å lære hvordan den skulle finne de beste kandidatene.

Med den lave kvinneandelen i selskapet, slik det er i de fleste teknologiselskaper, oppdaget algoritmen raskt mannlig dominans og trodde det var en suksessfaktor.

Siden algoritmen brukte resultatene av sine egne prediksjoner for å forbedre nøyaktigheten, kjørte den seg fast i et mønster med diskriminering av kvinnelige kandidater. Og ettersom dataene som ble brukt til å lære den opp på ett eller annet tidspunkt var laget av mennesker, betyr det at algoritmen også arvet uheldige menneskelige egenskaper, som forutinntatthet og diskriminering, noe som har vært et mangeårig problem i rekruttering.

Noen algoritmer er også utviklet for å forutsi og levere det brukerne ønsker å se. Dette er særlig vanlig på sosiale medier eller i nettmarkedsføring, der brukerne får se innhold eller annonser som en algoritme tror de vil respondere på. Lignende mønster er også rapportert fra rekrutteringsbransjen.

En rekrutterer fortalte at når han brukte et faglig sosialt nettverk til å finne kandidater, lærte den kunstige intelligensen å gi ham de resultatene som lignet mest på profilene han først viste interesse for. Som følge av dette ble hele grupper av potensielle kandidater systematisk fjernet fra hele rekrutteringsprosessen.

Men forutinntatthet kan også oppstå av uvedkommende årsaker. En nylig studie på hvordan en algoritme viste annonser for realfagsstillinger, viste at det var mer sannsynlig at annonsen ble vist for menn, ikke fordi det var mer sannsynlig at menn ville klikke på den, men fordi markedsføring til kvinner er dyrere. Ettersom selskapene har en høyere pris på annonser rettet mot kvinner (kvinner står for 70 % til 80 % av alle forbrukerkjøp), valgte algoritmen å vise annonsene oftere til menn enn til kvinner fordi den var laget for å optimalisere leveransen av annonsene og holde kostnadene nede.

Men hvis en algoritme bare gjenspeiler mønster i dataene vi fôrer den med, hva brukerne liker og de økonomiske handlingsmønstrene som forekommer i markedet, er det ikke da urettferdig å gi den skylden for å videreføre våre verste egenskaper?

Vi forventer automatisk at en algoritme skal ta beslutninger uten å diskriminere, selv om dette sjelden er tilfelle med mennesker. Selv om en algoritme er forutinntatt, kan den være en forbedring i forhold til status quo.

For å få full nytte av å bruke AI, er det viktig å undersøke hva som ville skje hvis vi lot AI ta beslutninger uten menneskelig inngripen. En studie fra 2018 undersøkte dette scenarioet på løslatelser mot kausjon, ved å bruke en algoritme som var lært opp med historiske kriminaldata for å forutsi sannsynligheten for at kriminelle skulle begå nye lovbrudd.

I en fremskrivning med hjelp av algoritmen klarte forfatterne å redusere kriminaliteten med 25 %, med redusert forekomst av diskriminering hos de innsatte.

Men gevinstene som kom frem i denne undersøkelsen ville bare inntreffe hvis algoritmen faktisk tok alle beslutninger. Dette ville ikke være sannsynlig i den virkelige verden, fordi dommerne sannsynligvis ville ha mulighet til å velge om de skulle følge algoritmens anbefalinger eller ikke.

Selv om algoritmen er godt laget, er den overflødig hvis folk ikke velger å stole på den.

Mange av oss bruker allerede algoritmer i mange daglige beslutninger, for eksempel hva vi skal se på Netflix eller kjøpe fra Amazon. Men forskning viser at folk raskere mister tilliten til algoritmer enn til mennesker når de ser at de gjør feil, selv når algoritmen samlet sett gjør det bedre.

Hvis GPS-en foreslår at du skal ta en alternativ rute for å unngå trafikk, og denne ender med å ta lengre tid enn antatt, slutter du sannsynligvis å stole på GPS-en i fremtiden. Men hvis det var du som bestemte at du skulle kjøre den alternative ruten, er det lite sannsynlig at du slutter å stole på dine egne vurderinger.

En oppfølgingsstudie som gjaldt å overvinne motstand mot algoritmer viste til og med at det var mer sannsynlig at folk ville bruke en algoritme og godta feil i den hvis de fikk mulighet til å endre algoritmen selv, selv om dette betydde at den ikke ville fungere perfekt.

Mennesker mister kanskje raskt tilliten til feilaktige algoritmer, men mange av oss har gjerne større tillit til maskiner hvis de har menneskelige trekk.

Ifølge forskning på selvkjørende biler var det mer sannsynlig at folk ville stole på bilen og at de trodde den ville prestere bedre hvis bilens utvidede system hadde et navn, et spesifisert kjønn og en menneskelig stemme. Men dersom maskinene blir svært like mennesker, men ikke helt, synes folk ofte at de er skumle, noe som også kan påvirke hvor stor tillit de har til dem.

Selv om vi ikke nødvendigvis liker bildet algoritmene gjenspeiler av samfunnet, ser det ut til at vi fremdeles ønsker å leve med dem og få dem til å se ut og handle som oss.

Og hvis det er tilfelle, er det jo naturlig at også algoritmer kan gjøre feil?