En ny internasjonal forskningsstudie avdekker hvordan KI-verktøy i utdanning kan videreføre eller forsterke eksisterende forskjeller.
Det gjelder blant annet forskjeller mellom kjønn, etniske grupper og sosioøkonomiske bakgrunner.
Professor Anh Nguyen-Duc ved USN Handelshøyskolen på Universitetet i Sørøst-Norge sier funnene fra utlandet bør få konsekvenser for utdanningssektoren her hjemme.
– Vi kan ikke ta i bruk slike verktøy og tro at de automatisk er rettferdige, for det er de ikke. Det er urettferdig hvis en algoritme gir lavere score til en elev eller student, bare fordi hun er jente eller har et annet morsmål, sier Nguyen-Duc.
Flere faktorer samtidig – gir problemer
Han forteller at problemene oppstår når kunstig intelligens og maskinlæring må forholde seg til flere faktorer samtidig.
De håndterer balanse mellom for eksempel menn og kvinner, mellom uføre og mennesker som ikke er uføre, eller mellom mennesker fra Afrika og mennesker fra Europa.
– Men i praksis har jo folk mange karakteristikker, og det er når disse kombineres at det ikke går bra. Det er derfor et stort behov for metoder som kan håndtere flere typer skjevhet på én gang, sier Anh Nguyen-Duc.
Han hadde en mistanke om at systemer basert på maskinlæring og KI kan være urettferdige. At de kan videreføre forskjeller mellom kjønn, etnisitet og sosial bakgrunn – uten at noen merker det.
Dette kalles «skjult skjevhet». Det betyr at systemet i så fall behandler elever og studenter ulikt, selv om det ikke er meningen. Det kan få store konsekvenser dem det gjelder.
LES OGSÅ: Er du også verdensmester i kildesortering?
Utviklet sin egen metode: FAIREDU
Sammen med forskere fra Vietnam gikk Anh Nguyen-Duc derfor gjennom 63 internasjonale forskningsartikler om rettferdighet i KI-systemer brukt i utdanning.
Gjennomgangen viser at mange systemer kan være skjeve – og at det er behov for bedre metoder for å sikre rettferdighet.
Fordi problemene var så åpenbare, bestemte forskerne seg for å gjøre noe med det.
– Vi analyserte svakhetene i eksisterende metoder og utviklet så vår egen metode.
Den nye metoden kaller de FAIREDU. I en egen forskningsartikkel forklarer de metoden. Den tar hensyn til det som kalles «interseksjonell rettferdighet» – altså hvordan flere sårbare faktorer virker sammen, som kjønn og sosial bakgrunn.
– Vi ser ikke bare på én ting, men på hvordan ulike faktorer påvirker hverandre. Det gir et mer rettferdig system, sier Anh Nguyen-Duc.
FAIREDU ble testet på ekte datasett fra utdanningssektoren. Resultatene ble sammenlignet med tidligere metoder. Den nye metoden ga bedre balanse mellom rettferdighet og nøyaktighet.
– Vi klarte å forbedre rettferdigheten uten å ofre modellens ytelse, sier Nguyen-Duc.
FAIREDU bruker også syntetiske data – altså kunstig genererte data – for å kompensere for mangler i ekte datasett. Dette gjør det mulig å teste rettferdighet selv når man ikke har full informasjon, forteller Nguyen-Duc.
– Hvorfor mener du dette er så viktig?
– Fordi utdanning er grunnmuren i ethvert samfunn. Hvis beslutningsstøttesystemene ikke er nøytrale, kan det føre til varige forskjeller i elevenes og studentenes fremtidsmuligheter. Metoden vår bidrar til å gjøre slike systemer mer rettferdige og inkluderende. Det vil være verdifullt for skoleeiere, utdanningsmyndigheter og teknologiselskaper som utvikler AI-løsninger for utdanningsformål, sier Anh Nguyen-Duc.
Den nye studien viser at det er mulig å gjøre KI mer rettferdig – men det krever innsats. Anh Nguyen-Duc håper at FAIREDU og lignende metoder kan bidra til en mer inkluderende skolehverdag.
– Vi må sikre at teknologien jobber for alle – ikke bare for de som allerede har fordeler.