Vad är algoritmiska fördomar och hur upptäcker man dem?

Algoritmisk fördom kan påverka olika aspekter av våra liv, från att få rekommendationer om innehåll online till att hitta jobb och fatta ekonomiska beslut.

Bias ligger i människans natur. Olika människor har olika kön, raser, uppväxter, utbildningsbakgrund, kulturer, trosuppfattningar, erfarenheter och så vidare.

Sålunda varierar deras åsikter, tankar, gillande och ogillar och preferenser från varandra. De kan utveckla vissa fördomar mot eller emot vissa kategorier.

Maskiner är inte annorlunda. Dessa kan också se människor, saker och händelser annorlunda på grund av fördomar som introduceras i deras algoritmer. På grund av dessa fördomar kan AI- och ML-system ge orättvisa resultat, vilket hindrar människor på många sätt.

I den här artikeln kommer jag att diskutera vad algoritmiska fördomar är, deras typer och hur man upptäcker och minskar dem för att förbättra rättvisa resultat.

Låt oss börja!

Vad är algoritmiska fördomar?

En algoritmisk bias är tendensen hos ML- och AI-algoritmer att reflektera mänskliga fördomar och generera orättvisa utdata. Fördomarna kan baseras på kön, ålder, ras, religion, etnicitet, kultur och så vidare.

I samband med artificiell intelligens och maskininlärning är algoritmiska fördomar systematiska, repeterbara fel som introduceras i ett system som ger orättvisa resultat.

Fördomar i algoritmer kan uppstå på grund av många orsaker, som beslut relaterade till hur data samlas in, väljs, kodas eller används för att träna algoritmen, den avsedda användningen, algoritmens design, etc.

Exempel: Du kan observera algoritmiska fördomar i ett sökmotorresultat, vilket leder till integritetskränkningar, sociala fördomar, etc.

Det finns många fall av algoritmiska fördomar inom områden som valresultat, spridning av hatretorik på nätet, hälsovård, straffrätt, rekrytering, etc. Detta förvärrar befintliga fördomar inom kön, ras, ekonomi och samhälle.

Typer av algoritmiska fördomar

#1. Databias

Databias inträffar när data som krävs för att träna en AI-modell inte representerar verkliga scenarier eller populationer. Detta kan resultera i obalanserade eller skeva datauppsättningar.

Källa: TELUS International

Exempel: Anta att en mjukvarulösning för ansiktsigenkänning är utbildad främst på den vita befolkningen. Så den kan fungera dåligt när den har till uppgift att känna igen personer med mörkare hudtoner, vilket påverkar dem.

#2. Mätning Bias

Denna bias kan uppstå på grund av ett fel i mätningen eller datainsamlingsprocessen.

Exempel: Om du tränar en sjukvårdsdiagnostisk algoritm för att upptäcka en sjukdom baserat på vissa mätvärden som tidigare läkarbesök, kan det grumla bedömningen och orsaka partiskhet samtidigt som de faktiska symtomen förbises.

#3. Modell Bias

Modellfördomar uppstår när algoritmen eller AI-modellen utformas.

Exempel: Anta att ett AI-system har en algoritm som är utformad för att maximera vinsten oavsett hur; det kan sluta med att prioritera ekonomiska vinster på bekostnad av affärsetik, säkerhet, rättvisa, etc.

#4. Utvärdering Bias

Utvärderingsbias kan uppstå när faktorerna eller kriterierna för att utvärdera ett AI-systems prestanda är partiska.

Källa: Tydlig recension

Exempel: Om ett AI-system för prestationsutvärdering använder standardtester som gynnar en specifik kategori anställda i ett företag, kan det främja ojämlikheter.

#5. Rapporteringsbias

Rapporteringsbias kan uppstå när träningsdatauppsättningen saknar en korrekt reflektion av verkligheten i sin händelsefrekvens.

Exempel: Om ett AI-säkerhetsverktyg inte fungerar bra i en specifik kategori kan det flagga hela kategorin som misstänkt.

Detta innebär att datamängden som systemet har tränats på markerade varje historisk incident relaterad till den kategorin som osäker på grund av den högre frekvensen av incidenter.

#6. Urvalsbias

Urvalsbias uppstår när träningsdata väljs utan korrekt randomisering eller inte representerar den totala populationen väl.

Exempel: Om ett ansiktsigenkänningsverktyg tränas på begränsad data, kan det börja uppvisa en viss diskriminering av data som det möter mindre, som att identifiera färgade kvinnor i politiken än mäns och ljusare individer i politiken.

#7. Implicit partiskhet

Implicit fördom uppstår när AI-algoritmen gör antaganden baserade på vissa personliga erfarenheter, som kanske inte gäller för bredare kategorier eller människor uttryckligen.

Exempel: Om en datavetare som designar en AI-algoritm personligen tror att kvinnor i första hand gillar rosa och inte blått eller svart, kan systemet rekommendera produkter i enlighet med detta, vilket inte gäller alla kvinnor. Många älskar blått eller svart.

#8. Grupptillskrivningsbias

Denna bias kan inträffa när algoritmdesignerna tillämpar saker som är avsedda för vissa individer på en komplett grupp, oavsett om dessa individer är en del av gruppen eller inte. Grupptillskrivningsbias är vanligt i rekryterings- och antagningsverktyg.

Exempel: Ett antagningsverktyg kan gynna kandidater från en specifik skola och diskriminera andra elever som inte tillhör den skolan.

#9. Historisk fördom

Att samla in historiska datauppsättningar är viktigt när man samlar datauppsättningar för att träna en ML-algoritm. Men om du inte är uppmärksam kan bias uppstå i dina algoritmer på grund av de fördomar som finns i dina historiska data.

Exempel: Om du utbildar en AI-modell med 10 års historisk data för att nominera kandidater till tekniska tjänster, kan det gynna manliga sökande om utbildningsdatan har fler män än kvinnor.

#10. Etikettbias

När du tränar ML-algoritmer kan du behöva märka mycket data för att göra det användbart. Processen att märka data kan dock variera mycket, skapa inkonsekvenser och införa fördomar i AI-systemet.

Exempel: Anta att du tränar en AI-algoritm genom att märka katter i bilder med hjälp av rutor. Om du inte är uppmärksam kan algoritmen misslyckas med att identifiera en katt på en bild om dess ansikte inte är synligt, men kan identifiera de med kattansikten på dem.

Detta innebär att algoritmen är partisk när det gäller att identifiera bilder med framåtvända katter. Den kan inte identifiera katten om bilden är tagen från en annan vinkel när kroppen syns men inte ansiktet.

#11. Uteslutning Bias

Källa: ResearchGate

Uteslutningsbias uppstår när en specifik person, en grupp människor eller en kategori utesluts oavsiktligt eller avsiktligt under datainsamling om de anses vara irrelevanta. Det sker oftast under dataförberedelsestadiet av ML-livscykeln vid tidpunkten för rengöring av data och förberedelse för användning.

Exempel: Anta att ett AI-baserat förutsägelsessystem måste fastställa en specifik produkts popularitet under vintersäsongen baserat på dess inköpshastighet. Så om en dataforskare upptäcker några inköp i oktober och tar bort dessa poster, tror han att de är felaktiga och tar standardtiden från november till januari. Men det finns ställen där vintern överstiger dessa månader. Så, algoritmen kommer att vara partisk mot de länder som får vinter från november till januari.

Hur införs fördomar i algoritmer?

Träningsdata

Den huvudsakliga källan till algoritmisk bias är partisk data som används för att träna AI- och ML-algoritmerna. Om träningsdatan i sig har inslag av ojämlikheter och fördomar i sig, kommer algoritmen att lära sig dessa element och vidmakthålla fördomar.

Design

När utvecklaren utformar algoritmen kan utvecklaren medvetet eller omedvetet introducera reflektioner av personliga tankar eller preferenser i AI-systemet. Så AI-systemet kommer att vara partiskt mot vissa kategorier.

Beslutsfattande

Många gånger fattar datavetare och ledare beslut baserat på sina personliga erfarenheter, omgivningar, övertygelser och så vidare. Dessa beslut återspeglas också i algoritmer, vilket orsakar fördomar.

Brist på mångfald

På grund av bristen på mångfald i utvecklingsteamet, skapar teammedlemmarna algoritmer som inte representerar hela befolkningen. De har inte erfarenhet eller exponering för andra kulturer, bakgrunder, övertygelser, sätt, etc., vilket är anledningen till att deras algoritmer kan vara partiska på ett visst sätt.

Dataförbehandling

Metoden som används för rengöring och bearbetning av data kan introducera algoritmisk bias. Dessutom, om du inte utformar dessa metoder noggrant för att motverka partiskhet, kan det bli allvarligt i AI-modellen.

Arkitektur

Modellarkitekturen och typen av ML-algoritm du väljer kan också introducera bias. Vissa algoritmer lockar mer bias än andra, tillsammans med hur de är utformade.

Funktionsval

Funktionerna du valde för att träna en AI-algoritm är en av orsakerna till bias. Om du inte väljer funktioner genom att ta hänsyn till deras inverkan på utgångens rättvisa, kan viss fördom uppstå, vilket gynnar vissa kategorier.

Historia och kultur

Om en algoritm matas och tränas på data hämtade från historien eller vissa kulturer, kan den ärva fördomar som fördomar, övertygelser, normer etc. Dessa fördomar kan påverka AI-resultat även om de är orättvisa och irrelevanta i nuet.

Datadrift

Data som du använder för att träna dina AI-algoritmer idag kan bli irrelevant, oanvändbar eller föråldrad i framtiden. Detta kan bero på att tekniken eller samhället förändras. Dessa datauppsättningar kan dock fortfarande introducera bias och hämma prestanda.

Feedback loopar

Vissa AI-system kan inte bara kommunicera med användare utan också anpassa sig till deras beteenden. På så sätt kan algoritmen öka befintlig fördom. Så när användarnas personliga fördomar går in i AI-systemet kan det generera en partisk återkopplingsslinga.

Hur upptäcker man algoritmisk bias?

Definiera vad som är ”rättvist”

För att upptäcka orättvisa utfall eller fördomar i algoritmer måste du definiera vad ”rättvist” exakt innebär för AI-systemet. För detta kan du överväga faktorer som kön, ålder, ras, sexualitet, region, kultur etc.

Bestäm måtten för att beräkna rättvisa, som lika möjligheter, prediktiv paritet, effekter, etc. När du väl har definierat ”rättvisa”, blir det lättare för dig att upptäcka vad som inte är rättvist och lösa situationen.

Granska utbildningsdata

Analysera dina träningsdata noggrant för att leta efter obalanser och inkonsekvenser i att representera olika kategorier. Du måste undersöka funktionsfördelningen och kontrollera om den representerar verklig demografi eller inte.

För att visualisera data kan du skapa histogram, värmekartor, spridningsdiagram, etc. för att markera skillnader och mönster som inte kan avslöjas med hjälp av bara statistisk analys.

Förutom internrevisioner kan du involvera externa experter och revisorer för att utvärdera systembias.

Mät modellprestanda

För att upptäcka fördomar, prova att mäta prestandan för din AI-modell för olika demografier och kategorier. Det skulle hjälpa om du delar upp träningen i olika grupper baserat på ras, kön etc. Du kan också använda dina rättvisemått för att beräkna skillnaderna i resultaten.

Använd lämpliga algoritmer

Välj algoritmer som främjar rättvisa resultat och kan ta itu med partiskhet när du tränar en AI-modell. Rättvisemedvetna algoritmer syftar till att förhindra fördomar samtidigt som de säkerställer lika förutsägelser över olika kategorier.

Bias Detection Software

Du kan använda specialiserade verktyg och bibliotek som är rättvisa för att upptäcka fördomar. Dessa verktyg erbjuder rättvisa mätvärden, visualiseringar, statistiska tester och mer för att upptäcka bias. Några populära är AI Fairness 360 och IBM Fairness 360.

Sök feedback från användare

Fråga användare och kunder om deras feedback om AI-systemet. Uppmuntra dem att ge sina ärliga omdömen om de har känt någon form av orättvis behandling eller partiskhet i AI-systemet. Dessa data hjälper dig att ta reda på problem som kanske inte flaggas i automatiserade verktyg och andra upptäcktsprocedurer.

Hur man minskar fördomar i algoritmer

Diversifiera ditt företag

Att skapa mångfald i ditt företag och ditt utvecklingsteam möjliggör snabbare upptäckt och borttagning av fördomar. Anledningen är att fördomar snabbt kan märkas av användare som påverkas av dem.

Så diversifiera ditt företag inte bara i demografi utan också i kompetens och expertis. Inkludera personer av olika kön, identiteter, raser, hudfärger, ekonomisk bakgrund etc., samt personer med olika utbildningserfarenheter och bakgrunder.

På så sätt kommer du att få samla in vittomfattande perspektiv, erfarenheter, kulturella värderingar, gillande och ogillar, etc. Detta kommer att hjälpa dig att förbättra rättvisan i dina AI-algoritmer, vilket minskar fördomar.

Främja transparens

Var transparent med ditt team om målet, algoritmer, datakällor och beslut angående ett AI-system. Detta kommer att göra det möjligt för användare att förstå hur AI-systemet fungerar och varför det genererar vissa utdata. Denna öppenhet kommer att främja förtroende.

Rättvisa algoritmer

Använd rättvisa algoritmer när du utvecklar modellen för att säkerställa att rättvisa resultat genereras för olika kategorier. Detta blir uppenbart om du skapar AI-system för högt reglerade branscher som finans, sjukvård, etc.

Utvärdera modellprestanda

Testa dina modeller för att undersöka AI:s prestanda i olika grupper och undergrupper. Det hjälper dig att förstå problem som inte syns i den samlade statistiken. Du kan också simulera olika scenarier för att kontrollera deras prestanda i dessa scenarier, inklusive komplexa.

Följ etiska riktlinjer

Formulera några etiska riktlinjer för att utveckla AI-system, med respekt för rättvisa, integritet, säkerhet och mänskliga rättigheter. Du måste upprätthålla dessa riktlinjer i hela din organisation så att rättvisan ökar i hela organisationen och återspeglas i AI-systemets utdata.

Ställ in kontroller och ansvar

Ange tydliga ansvarsområden för alla i teamet som arbetar med design, utveckling, underhåll och driftsättning av AI-systemet. Du måste också ställa in korrekta kontroller med strikta protokoll och ramverk för att hantera fördomar, fel och andra problem.

Bortsett från ovanstående måste du genomföra regelbundna revisioner för att minska fördomar och sträva efter ständiga förbättringar. Håll dig också uppdaterad med de senaste förändringarna inom teknik, demografi och andra faktorer.

Verkliga exempel på algoritmiska fördomar

#1. Amazons algoritm

Amazon är ledande inom e-handelsbranschen. Men dess rekryteringsverktyg som använde AI för att utvärdera arbetssökande enligt deras kvalifikationer visade könsfördom. Detta AI-system tränades med hjälp av meritförteckningar från tidigare kandidater i de tekniska rollerna.

Tyvärr hade uppgifterna ett större antal manliga sökande, vilket AI lärde sig. Så det gynnade oavsiktligt manliga sökande i tekniska roller framför kvinnor som var underrepresenterade. Amazon var tvungen att avbryta verktyget 2017 trots ansträngningar för att minska fördomen.

#2. Rasistiska amerikanska sjukvårdsalgoritmer

En algoritm som USA-baserade sjukhus använde för att förutse patienter som behöver ytterligare vård var tungt partisk mot vita patienter. Systemet utvärderade de medicinska behoven hos patienterna baserat på deras kostnadshistorik för sjukvård, och korrelerade kostnader med medicinska behov.

Systemets algoritm tog inte hänsyn till hur vita och svarta patienter betalade för sina vårdbehov. Trots okontrollerad sjukdom betalade svarta patienter mestadels för nödsituationer. Således kategoriserades de som friskare patienter och kvalificerade sig inte för ytterligare vård jämfört med vita patienter.

#3. Googles diskriminerande algoritm

Googles onlineannonssystem hittades särskiljande. Det visade högavlönade positioner som vd:ar för män som var betydligt större än kvinnor. Även om 27 % av USA:s vd:ar är kvinnor, är representationen för dem mycket mindre i Google, runt 11 %.

Algoritmen kunde ha visat resultatet genom att lära sig användarbeteende, som att människor som tittar på och klickar på annonser för högbetalda roller är män; AI-algoritmen kommer att visa dessa annonser för män mer än kvinnor.

Slutsats

Algoritmisk bias i ML- och AI-system kan leda till orättvisa resultat. Dessa resultat kan påverka individer inom olika områden, från sjukvård, cybersäkerhet och e-handel till val, sysselsättning och mer. Det kan leda till diskriminering på grund av kön, ras, demografi, sexuell läggning och andra aspekter.

Därför är det viktigt att minska fördomar i AI- och ML-algoritmer för att främja rättvisa resultat. Ovanstående information hjälper dig att upptäcka fördomar och minska dem så att du kan skapa rättvisa AI-system för användare.

Du kan också läsa om AI Governance.