Synspunkt | Camilla Tepfers: Hemmer kunstig intelligens sosial bærekraft?

Camilla AC Tepfers er gründer og partner i inFuture.

Lyst til å sende oss et innlegg? Mailadressen er synspunkt@dagensperspektiv.no

SYNSPUNKT: Christine Meyer, leder for Kvinnehelseutvalget, skrev nylig i Dagens Næringsliv om hvordan kunstig intelligens (KI) kan forsterke kjønnsblindheten i norsk helseforskning. Likestilling mellom kjønnene er FNs bærekraftsmål nummer 5. Det er et mål som vanskelig kan realiseres, hvis KI ikke påvirker begge halvdeler av befolkningen, både kvinner og menn, på samme måte.

Hovedproblemet er gjerne ikke den direkte diskrimineringen. Den vi alle ville kjenne igjen. Den som strider mot lover, retningslinjer eller i det minste våre omforente verdier.

Indirekte diskriminering

Det er den indirekte diskrimineringen. Den ingen som egentlig hadde ment at skulle snike seg inn i algoritmene, men som gjør det likevel, rett og slett fordi kunstig intelligens trenes på store datamengder om hvordan verden faktisk er.

Ta Amazons feilede forsøk på å bruke KI til rekruttering av IT-hoder. Algoritmen ble trent på informasjon om tusenvis av Amazon-ansatte, for å avdekke fellestrekk ved dem som presterte best.

Når 80 prosent av de digitalansatte var menn, må vi nesten tilgi algoritmen for å anta at det å være mann i seg selv er et suksesskriterium. Amazon hadde nok ikke til hensikt å utelukke kvinnelige ingeniører fra sin rekrutteringspraksis, men de var likevel ikke i stand til å se svakheten med treningsdataene da prosjektet ble igangsatt.

Når maskinene trenes i å se mønstre i store datamengder, men datasammensetningen er skjev, så blir resultatet naturlig nok også skjevt.

Ett eksempel på det er Goldman Sachs kredittvurderingsalgoritme. Statistisk sett hadde man der kommet frem til at en assosiasjon til gruppen «kvinner» er forbundet med lavere kredittverdighet. Dermed fikk kvinner lavere kredittrammer enn menn, i kraft av sitt kjønn, ikke sin økonomi. Det hele ble avslørt da Apple Card ble lansert, og Goldman Sachs skulle gjøre kredittvurderingen.

Steve Wozniak, Apples medgründer, testet løsningen og skrev på Twitter: «Jeg fikk 10 ganger så høy kredittgrense som min kone, selv om vi ikke har noen separate bankkonti, kreditter eller eiendeler».

Ofte ubevisst på kjønnsbalanse

Hvorfor oppdaget Goldman Sachs ikke problemet selv? Det lå neppe en diskriminerende hensikt til grunn, men hvis det var svært få kvinner på teamet som utviklet kredittscoringsmodellen, kan det hende de rett og slett ikke oppdaget svakheten i designet.

Vi er ofte ubevisste på våre oppfatninger av kjønnsbalanse. For eksempel lanserte medietilsynet nylig sin rapport om influensere i Norge. Et av deres hovedfunn er at mens jenter følger både mannlige og kvinnelige nettpåvirkere, så følger guttene kun mannlige.

Dette er antagelig ingen gjennomtenkt utelukkelse fra guttenes side, av at kvinner kan ha noe interessant å komme med. Kanskje har de ikke oppdaget det en gang, at de kun søker mannlige tanker.

«En studie fant at når det var 17 prosent kvinner i et rom, oppfattet mennene at det var 50/50 kjønnsrepresentasjon. Når mengden kvinner økte til 33 prosent opplevde menn seg i mindretall.»

Når opplever gutter eller menn at de får en tilstrekkelig mengde kvinnelige perspektiver? En studie fant at når det var 17 prosent kvinner i et rom, oppfattet mennene at det var 50/50 kjønnsrepresentasjon. Når mengden kvinner økte til 33 prosent opplevde menn seg i mindretall.  

Behov for flere kvinner med KI-kompetanse

Gitt disse funnene, er det gunstig om vi får flere kvinner med kompetanse til å gå inn i dypet av kunstig intelligens. Blant nye IT-studenter i høyere utdanning, er kun hver femte en kvinne i EU. Dette er andelen også i Norge. Med våre 21 prosent jenter er vi på jumboplass i Norden. Snittet for våre nordiske naboland er 26 prosent.

Det er sammensatte årsaker til at det er så få kvinner i IT. Lite tyder på at det har med evner å gjøre. Jevnt over presterer jenter like godt i realfag som gutter. For eksempel viser siste PISA-undersøkelse at 22 prosent av jentene og 19 prosent av guttene presterer på toppnivå i matematikk.

Hvis det ikke handler om evner, kan det ha med oppmuntring å gjøre. En studie bestilt av EU-parlamentet i 2020, viste at jenter på videregående skole opplever vesentlig mindre støtte fra lærere, foreldre og venner enn gutter, i å forfølge realfag.

Det kan også ha med manglende forbilder å gjøre. I en internasjonal undersøkelse fra 2018, for eksempel, ble folk spurt om de kunne navngi noen IT-ledere. 50 prosent av de spurte kunne oppgi ett eller flere mannlige navn. Kun 4 prosent kom opp med navn på noen kvinner.

En fjerdedel av disse oppgav Siri og Alexa. De er digitale assistenter, ikke faktiske kvinner.

Koder kvinner bedre?

Eller det kan ha med ubevisste forventninger å gjøre, som resulterer i nedvurdering av kvinners teknologiarbeid. I en studie så man på kvaliteten av 3 millioner kodeeksempler på Github. Github er en nettjeneste for programutvikling med 100 millioner brukere.

Studien viste at kvinners kode overraskende ble vurdert som bedre enn menns. Det gjaldt, vel og merke, kun hvis koderens kjønn ble holdt skjult. Var det gjort kjent at utviklerne var kvinner, derimot, ble utfallet det motsatte.

Ytterligere en forklaring kan være at ambisjonen om flere kvinner i tek oppfattes som underordnet, når mangelen på tek-folk er så stor uansett kjønn. I Norge estimeres det at vi trenger 40 prosent flere IT-folk i 2035, sammenlignet med 2018. EU forventes å mangle 1,4 til 3,9 millioner teknologifolk per 2027.

Hvor skal alle disse folkene komme fra? Hvis vi klarte å lukke kjønnsgapet i teknologi, så ville det være nok til å dekke hele kompetansemangelen.

McKinsey anslår at dersom andelen kvinner i teknologi økes fra snittet i EU på 22 til 45 prosent, så ville det tilføre 3,9 millioner teknologer.

Nobelprisvinner Daniel Kahneman har demonstrert hvordan beslutninger, basert på magefølelse, har fundamentale svakheter. De bygger på våre ubevisste antagelser, for eksempel om hvorvidt et sett av KI-treningsdata er kjønnsnøytrale eller ikke.

Mangfoldstrening uten effekt?

Mangfoldstrening er blitt forsøkt, for å få bukt med dette. Det ser ikke ut til å virke. For eksempel lot Google 70.000 av sine medarbeidere gå på mangfoldstrening (2014 til 2018). 2018-rapporten viser like fullt at det knapt har vært bevegelse i kvinneandelen i perioden.

Én ting hadde likevel skjedd. I kjølvannet av kurset ble Google saksøkt av en mann som oppfattet seg diskriminert.

Trent på skjeve data kan KI bli skurken som hemmer sosial bærekraft. Hvis mangfoldstrening ikke fungerer, så er det kanskje likevel kunstig intelligens som er løsningen på kunstig intelligens.

For det første kan KI anvendes for å få opp kvinneandelen i tek. Ett eksempel er Textio. Det er et program som omformulerer stillingsannonser for å appellere til et større mangfold av kandidater. Programvareselskapet Atlassian fikk på den måten opp kvinneandelen blant nyrekrutterte fra 18 til 57 prosent.

«Trent på skjeve data kan KI bli skurken som hemmer sosial bærekraft. Hvis mangfoldstrening ikke fungerer, så er det kanskje likevel kunstig intelligens som er løsningen på kunstig intelligens.»

Et annet eksempel er bruk av strukturerte intervjuer, som sikrer at alle kandidater får de samme spørsmålene. Mya Systems har utviklet en chatbot som kjører slike strukturerte intervjuer og evaluerer kandidatene basert på svarene de gir på de prestasjonsbaserte spørsmålene.

Et tredje eksempel er Pymetrics, som benytter gaming for rekruttering. Det gjør det mulig å teste kandidatenes adferd, ferdigheter og personlighetstrekk, og hvordan korresponderer med dem som lykkes best i den aktuelle virksomheten.

Skjevheter i algoritmene

For det andre kan KI anvendes til å dempe skjevhetene i algoritmene. For eksempel kan det anvendes til å avdekke hvilke data som har påvirket svarene som algoritmene kommer opp med, basert på en «Quantitative Input Influence-modell».

Et annet eksempel er kontrafaktisk testing. Dette ble blant annet benyttet på International Conference in Machine Learning i 2018.

To modeller ble skapt. En modell ble trent på urørte data fra den virkelige verden. Disse kan som kjent inneholde skjevheter. I den andre, kontrafaktiske modellen, var kilder til slike skjevheter fjernet, for eksempel informasjon om kjønn.

Dersom begge modeller ga samme svar på samme spørsmål, antyder det at originalmodellen ikke gir skjeve svar.

Kunstig intelligens vil endre verden på måter vi i dag ikke helt kan forestille oss. Vårt ansvar er at det skjer på en sosialt bærekraftig måte. Til det trenger vi kunstig intelligens.