Vad är algoritmiska fördomar och hur upptäcker man dem?

Algoritmisk partiskhet har potential att influera skilda delar av våra liv, allt från rekommendationer av innehåll online till arbetssökande och ekonomiska beslut.

Mänsklig partiskhet är en naturlig del av oss. Individer har varierande kön, etniciteter, uppfostran, utbildningsbakgrunder, kulturella skillnader, trosuppfattningar och erfarenheter.

Deras åsikter, tankar, preferenser och vad de gillar eller ogillar, skiljer sig åt. Det kan leda till att de utvecklar fördomar för eller emot vissa grupper.

Datorer är inget undantag. De kan också uppfatta personer, ting och händelser på olika sätt på grund av de partiskheter som inbyggs i deras algoritmer. Dessa snedvridningar kan göra att system som använder AI och maskininlärning levererar orättvisa resultat, vilket skapar nackdelar för många människor.

I denna artikel ska vi undersöka vad algoritmisk partiskhet är, vilka typer av snedvridningar som finns och hur man upptäcker och minskar dem för att uppnå mer rättvisa utfall.

Låt oss börja!

Vad är algoritmisk partiskhet?

Algoritmisk partiskhet innebär att maskininlärnings- och AI-algoritmer återspeglar mänskliga fördomar och ger upphov till orättvisa resultat. Denna snedvridning kan baseras på kön, ålder, etnicitet, religion, kulturell bakgrund och andra faktorer.

Inom kontexten av artificiell intelligens och maskininlärning refererar algoritmisk partiskhet till systematiska, återkommande fel som smygs in i ett system och leder till orättvisa resultat.

Orsakerna till partiskhet i algoritmer är många, såsom beslut relaterade till hur data samlas in, selekteras, kodas eller används för att träna algoritmen, systemets avsedda användning och algoritmens design.

Ett exempel är algoritmisk partiskhet som märks i sökmotorernas resultat, vilket kan leda till kränkningar av privatliv, sociala fördomar osv.

Det finns många fall av algoritmisk snedvridning inom exempelvis valresultat, spridning av hatpropaganda online, sjukvård, straffrätt, rekrytering och liknande. Det ökar befintliga fördomar rörande kön, etnicitet, ekonomiska förutsättningar och sociala förhållanden.

Olika typer av algoritmisk partiskhet

#1. Datafördom

Datafördom uppstår när den data som används för att träna en AI-modell inte representerar verkliga scenarier eller befolkningar. Detta resulterar i obalanserade eller snedvridna datauppsättningar.

Källa: TELUS International

Exempel: Anta att en programvara för ansiktsigenkänning tränats främst med data från den vita befolkningen. Det kan göra att den presterar sämre vid identifiering av personer med mörkare hudtoner, vilket då missgynnar dem.

#2. Mätfördom

Denna typ av fördom kan uppstå på grund av fel i mätningen eller vid själva datainsamlingen.

Exempel: Om du tränar en sjukvårdsalgoritm för att diagnosticera en sjukdom genom att enbart fokusera på tidigare läkarbesök, kan det skada bedömningen och orsaka partiskhet samtidigt som faktiska symptom förbises.

#3. Modellfördom

Modellfördom uppstår i själva utformningen av algoritmen eller AI-modellen.

Exempel: Om ett AI-system har en algoritm som är utformad för att maximera vinsten till varje pris, kan det sluta med att ekonomisk vinst prioriteras på bekostnad av affärsetik, säkerhet eller rättvisa.

#4. Utvärderingsfördom

Utvärderingsfördom kan uppstå när kriterierna eller de faktorer som används för att bedöma ett AI-systems resultat är partiska.

Källa: Tydlig recension

Exempel: Om ett AI-system för prestationsbedömning använder standardiserade tester som gynnar en viss kategori av anställda i ett företag, kan det främja ojämlikhet.

#5. Rapporteringsfördom

Rapporteringsfördom kan uppstå när träningsdatan inte återspeglar verklighetens händelsefrekvens korrekt.

Exempel: Om ett AI-säkerhetsverktyg inte fungerar bra i en specifik kategori, kan det flagga hela kategorin som misstänkt.

Det beror på att de data som systemet tränats med har markerat alla historiska incidenter relaterade till kategorin som osäkra, på grund av den högre frekvensen av incidenter.

#6. Urvalsfördom

Urvalsfördomar uppstår när träningsdata väljs utan ordentlig slumpmässighet eller inte på ett rättvist sätt representerar den totala populationen.

Exempel: Om ett verktyg för ansiktsigenkänning tränas på begränsade data, kan det börja diskriminera den data som det sällan möter, till exempel identifiering av färgade kvinnor i politiken jämfört med män och ljusare individer.

#7. Implicit fördom

Implicit fördom uppstår när en AI-algoritm gör antaganden baserat på personliga erfarenheter som inte nödvändigtvis gäller för bredare grupper eller individer.

Exempel: Om en datavetare som utformar en AI-algoritm personligen tror att kvinnor främst föredrar rosa snarare än blått eller svart, kan systemet rekommendera produkter baserat på detta, vilket inte stämmer för alla kvinnor. Många tycker om blått eller svart.

#8. Gruppattributionsfördom

Denna snedvridning uppstår när algoritmkonstruktörer applicerar egenskaper som är avsedda för vissa individer på en hel grupp, oavsett om individerna ingår i gruppen eller inte. Gruppattributionsfördom är vanligt i rekryterings- och antagningsverktyg.

Exempel: Ett antagningsverktyg kan gynna kandidater från en specifik skola och diskriminera andra elever som inte tillhör den skolan.

#9. Historisk fördom

Insamling av historiska data är en viktig del när man skapar en datauppsättning för att träna en maskininlärningsalgoritm. Men om man inte är försiktig kan bias smyga sig in i algoritmerna på grund av fördomar i den historiska datan.

Exempel: Om du tränar en AI-modell med 10 års historisk data för att nominera kandidater till tekniska tjänster, kan det leda till att manliga kandidater gynnas om utbildningsdatan har fler män än kvinnor.

#10. Etikettfördom

När man tränar maskininlärningsalgoritmer kan det vara nödvändigt att märka mycket data för att göra den användbar. Denna märkningsprocess kan dock variera kraftigt, skapa inkonsekvenser och introducera partiskhet i AI-systemet.

Exempel: Anta att du tränar en AI-algoritm genom att använda rutor för att märka katter på bilder. Om du inte är noggrann kan algoritmen misslyckas med att identifiera en katt på en bild om kattens ansikte inte är synligt, men den kan identifiera katter med synliga ansikten.

Det innebär att algoritmen är partisk mot att identifiera bilder där katter visas framifrån. Den kan ha problem med att identifiera en katt om bilden är tagen från en annan vinkel där kroppen syns men inte ansiktet.

#11. Uteslutningsfördom

Källa: ResearchGate

Uteslutningsfördom uppstår när en viss person, en grupp människor eller en kategori oavsiktligt eller avsiktligt utelämnas under datainsamlingen för att de anses irrelevanta. Det händer oftast under förberedelse av data i maskininlärningens livscykel när data rensas och förbereds för användning.

Exempel: Anta att ett AI-baserat system för att göra förutsägelser måste fastställa en viss produkts popularitet under vintern genom att analysera hur ofta den köps. Om en dataforskare upptäcker några inköp i oktober och tar bort dessa poster eftersom hen anser dem vara felaktiga och tar standardtiden från november till januari, så kommer algoritmen att bli partisk mot länder där vintern sträcker sig över fler månader.

Hur införs fördomar i algoritmer?

Träningsdata

Den huvudsakliga källan till algoritmisk partiskhet är partisk data som används för att träna AI- och maskininlärningsalgoritmer. Om träningsdatan i sig innehåller ojämlikheter och fördomar kommer algoritmen att lära sig dessa och upprätthålla fördomar.

Design

När en utvecklare utformar algoritmen kan hen medvetet eller omedvetet låta personliga tankar eller preferenser påverka AI-systemet, vilket gör att systemet blir partiskt mot vissa grupper.

Beslutsfattande

Datavetare och beslutsfattare gör ofta val baserade på personliga erfarenheter, omgivning, övertygelser och annat. Dessa beslut återspeglas även i algoritmer och orsakar partiskhet.

Brist på mångfald

På grund av bristen på mångfald i utvecklingsteamen, tenderar medlemmarna att skapa algoritmer som inte representerar hela befolkningen. De har inte erfarenhet eller exponering för andra kulturer, bakgrunder, trosuppfattningar, vanor och liknande, vilket kan göra deras algoritmer partiska.

Dataförbehandling

Metoden som används för att rensa och bearbeta data kan också introducera algoritmisk partiskhet. Om man inte utformar dessa metoder noggrant för att motverka partiskhet, kan det få allvarliga konsekvenser för AI-modellen.

Arkitektur

Modellarkitekturen och typen av algoritm som väljs kan även introducera partiskhet. Vissa algoritmer är mer benägna att skapa snedvridning än andra, beroende på hur de är utformade.

Val av funktioner

De funktioner som väljs för att träna en AI-algoritm är en av orsakerna till partiskhet. Om man inte väljer funktioner med hänsyn till hur de påverkar rättvisan i resultaten kan det orsaka snedvridning som gynnar vissa kategorier.

Historia och kultur

Om en algoritm matas och tränas på data som tagits från historien eller specifika kulturer, kan den ärva fördomar såsom stereotyper, trosuppfattningar, normer etc. Dessa fördomar kan påverka AI-resultaten även om de är orättvisa och irrelevanta i dag.

Dataförändring

Data som används för att träna AI-algoritmer i dag kan bli irrelevant, oanvändbar eller inaktuell i framtiden på grund av att tekniken eller samhället förändras. Denna data kan ändå införa partiskhet och försämra systemets resultat.

Återkopplingsslingor

Vissa AI-system interagerar med användare och anpassar sig efter deras beteende. På detta sätt kan algoritmen förstärka existerande fördomar. När användarnas personliga fördomar kommer in i AI-systemet kan det skapa en partisk återkopplingsslinga.

Hur upptäcker man algoritmisk partiskhet?

Definiera vad som är ”rättvist”

För att upptäcka orättvisa resultat eller partiskhet i algoritmer måste man definiera exakt vad ”rättvist” innebär för AI-systemet. Man kan då ta hänsyn till faktorer som kön, ålder, etnicitet, sexualitet, region, kultur och liknande.

Bestäm hur man ska mäta rättvisa, exempelvis genom lika möjligheter, förutsägbar paritet, effekter osv. När man har definierat ”rättvisa” blir det lättare att upptäcka det som inte är rättvist och åtgärda situationen.

Granska träningsdata

Analysera noggrant träningsdata för att upptäcka obalanser och inkonsekvenser i hur olika grupper representeras. Undersök hur funktionerna är fördelade och kontrollera om de återspeglar verkliga demografiska förhållanden.

Visualisera data genom att skapa histogram, värmekartor, spridningsdiagram och liknande för att identifiera skillnader och mönster som inte märks genom enbart statistisk analys.

Förutom interna granskningar kan man ta in externa experter och revisorer för att utvärdera systemets partiskhet.

Mät modellens prestanda

För att upptäcka partiskhet kan man mäta AI-modellens prestanda för olika demografier och kategorier. Man kan dela upp träningen i olika grupper baserat på etnicitet, kön osv. Använd också rättvisemätningar för att bedöma skillnader i resultaten.

Använd lämpliga algoritmer

Välj algoritmer som främjar rättvisa resultat och kan hantera partiskhet när en AI-modell tränas. Rättviseinriktade algoritmer syftar till att förebygga partiskhet och samtidigt säkerställa rättvisa förutsägelser för olika grupper.

Programvara för partiskhetsdetektering

Använd särskilda verktyg och bibliotek som är inriktade på rättvisa för att identifiera partiskhet. Dessa verktyg ger rättvisa mått, visualiseringar, statistiska tester och annat som hjälper till att upptäcka partiskhet. Några vanliga exempel är AI Fairness 360 och IBM Fairness 360.

Samla in feedback från användare

Fråga användare och kunder om deras upplevelser med AI-systemet. Uppmuntra dem att ge ärliga omdömen om de har upplevt orättvis behandling eller partiskhet i systemet. Dessa uppgifter kan avslöja problem som inte identifieras av automatiserade verktyg eller andra detekteringsmetoder.

Hur man minskar partiskhet i algoritmer

Öka mångfalden i företaget

Genom att skapa mångfald i företaget och i utvecklingsteamen kan man snabbare upptäcka och åtgärda partiskhet. Detta beror på att partiskhet lätt kan upptäckas av användare som påverkas av den.

Öka mångfalden inte bara demografiskt, utan även i kompetens och expertis. Ta in personer med varierande kön, identiteter, etniciteter, hudfärger, ekonomiska bakgrunder och utbildningserfarenheter.

Detta ger tillgång till ett bredare spektrum av perspektiv, erfarenheter, kulturella värderingar och preferenser. Det i sin tur hjälper till att göra AI-algoritmerna mer rättvisa, och minskar partiskheten.

Främja transparens

Var transparent mot teamet om målen, algoritmerna, datakällorna och besluten som rör ett AI-system. Det hjälper användarna att förstå hur systemet fungerar och varför det ger vissa resultat. Öppenheten stärker förtroendet.

Rättviseinriktade algoritmer

Använd rättviseinriktade algoritmer när du utvecklar en modell, för att säkerställa att rättvisa resultat genereras för alla grupper. Det är särskilt viktigt om man skapar AI-system för starkt reglerade branscher som finans eller sjukvård.

Utvärdera modellens prestanda

Testa modellerna för att undersöka AI:s prestanda i olika grupper och undergrupper. Det hjälper till att identifiera problem som inte syns i den aggregerade statistiken. Man kan också simulera olika scenarier för att kontrollera hur modellen presterar under olika förhållanden.

Följ etiska riktlinjer

Formulera etiska riktlinjer för utveckling av AI-system, med respekt för rättvisa, integritet, säkerhet och mänskliga rättigheter. Upprätthåll dessa riktlinjer i hela organisationen så att rättvisan genomsyrar hela verksamheten och återspeglas i AI-systemens resultat.

Ställ in kontroller och ansvar

Tydliggör ansvarsområden för alla som arbetar med design, utveckling, underhåll och driftsättning av AI-systemet. Inför även tydliga kontroller med strikta protokoll och ramverk för att hantera partiskhet, fel och andra problem.

Förutom ovanstående måste man genomföra regelbundna granskningar för att minska partiskhet och sträva efter ständiga förbättringar. Håll dig också uppdaterad om de senaste förändringarna inom teknik, demografi och andra relevanta faktorer.

Verkliga exempel på algoritmisk partiskhet

#1. Amazons algoritm

Amazon är ledande inom e-handelsbranschen. Men deras rekryteringsverktyg som använde AI för att utvärdera arbetssökande efter kvalifikationer visade könsdiskriminering. Detta AI-system tränades med CV:n från tidigare kandidater till tekniska roller.

Då träningsdatan hade en överrepresentation av manliga sökande gynnade AI-systemet manliga kandidater i tekniska roller, i jämförelse med kvinnor som var underrepresenterade. Amazon tvingades avbryta användningen av verktyget 2017 trots försök att minska partiskheten.

#2. Rasistiska amerikanska sjukvårdsalgoritmer

En algoritm som sjukhus i USA använde för att förutspå vilka patienter som behövde extra vård var starkt partisk mot vita patienter. Systemet bedömde patienternas medicinska behov baserat på hur mycket vård de hade kostat tidigare, och korrelerade kostnaderna med medicinska behov.

Systemets algoritm tog inte hänsyn till hur vita och svarta patienter betalade för sin vård. Svarta patienter betalade oftast för akuta situationer, trots att de hade obehandlade sjukdomar. Detta gjorde att de kategoriserades som friskare och inte kvalificerade för extra vård i jämförelse med vita patienter.

#3. Googles diskriminerande algoritm

Googles onlineannonseringssystem visade sig vara diskriminerande. Det visade högavlönade positioner som vd:ar oftare för män än för kvinnor. Även om 27 % av USA:s vd:ar är kvinnor, är representationen för kvinnor i Google mycket lägre, runt 11 %.

Algoritmen kan ha skapat detta genom att lära sig användarnas beteende, såsom att personer som tittar och klickar på annonser för högbetalda roller oftare är män. AI-algoritmen visar då annonserna oftare för män än kvinnor.

Slutsats

Algoritmisk partiskhet i maskininlärnings- och AI-system kan leda till orättvisa resultat som påverkar individer inom olika områden, från sjukvård, cybersäkerhet och e-handel, till val, anställning och annat. Det kan leda till diskriminering på grund av kön, etnicitet, demografi, sexuell läggning och andra faktorer.

Därför är det viktigt att minska partiskhet i AI- och maskininlärningsalgoritmer för att främja rättvisa resultat. Informationen ovan hjälper dig att upptäcka och minska partiskhet och skapa rättvisa AI-system för användare.

Du kan även läsa mer om AI-styrning.