Hur fungerar ansiktsigenkänning?

De flesta människor är bekväma med ansiktsigenkänning för dess användning i Instagram-filter och Face ID. Men den här relativt nya tekniken kan kännas lite läskig. Ditt ansikte är som ett fingeravtryck, och tekniken bakom ansiktsigenkänning är komplex.

Som med all ny teknik finns det nackdelar med ansiktsigenkänning. Dessa nackdelar blir mer uppenbara när militären, polisen, annonsöreroch deepfake-skapare, hitta slingrande nya sätt att dra fördel av ansiktsigenkänningsprogram.

Nu, mer än någonsin, är det viktigt för människor att förstå hur ansiktsigenkänning fungerar. Det är också viktigt att känna till begränsningarna för ansiktsigenkänning och hur det kommer att utvecklas i framtiden.

Ansiktsigenkänning är förvånansvärt enkelt

Innan du går in på de många olika medierna för ansiktsigenkänning är det viktigt att förstå hur processen för ansiktsigenkänning fungerar. Här är tre applikationer för ansiktsigenkänningsprogram och en enkel förklaring till hur de känner igen eller identifierar ansikten:

Grundläggande ansiktsigenkänning: För Animoji- och Instagram-filter ”letar” din telefonkamera efter de definierande egenskaperna hos ett ansikte, särskilt ett par ögon, en näsa och en mun. Sedan använder den algoritmer för att låsa fast ett ansikte och avgöra åt vilket håll det tittar, om munnen är öppen, etc. Det är värt att nämna att detta inte är ansiktsidentifiering, det är bara programvara som letar efter ansikten.
Face ID och liknande program: När du ställer in Face ID (eller liknande program) på din telefon tar den ett foto av ditt ansikte och mäter avståndet mellan dina ansiktsdrag. Sedan, varje gång du går för att låsa upp din telefon, ”titta” den genom kameran för att mäta och bekräfta din identitet.
Identifiera en främling: När en organisation vill identifiera ett ansikte i säkerhets-, reklam- eller polissyfte, använder den algoritmer för att jämföra ansiktet med en omfattande databas med ansikten. Denna process är nästan identisk med Apples Face ID men i större skala. Teoretiskt sett kan vilken databas som helst användas (ID-kort, Facebook-profiler), men en databas med tydliga, föridentifierade bilder är idealisk.

Okej, låt oss komma in på det knasiga. Eftersom den ”grundläggande ansiktsigenkänningen” som används för Instagram-filter är en så enkel och ofarlig process, kommer vi att fokusera helt på ansiktsidentifiering och de många olika teknikerna som kan användas för att identifiera ett ansikte.

De flesta ansiktsigenkänning är beroende av 2D-bilder

Som du kan förvänta dig förlitar sig de flesta mjukvara för ansiktsigenkänning helt och hållet på 2D-bilder. Men detta görs inte eftersom 2D-ansiktsavbildning är superexakt, det görs för bekvämlighetens skull. Den överväldigande majoriteten av kamerorna tar foton utan något djup, och offentliga foton som kan användas för ansiktsigenkänningsdatabaser (t.ex. Facebook-profilbilder) är alla i 2D.

Varför är inte 2D-ansiktsbilder superprecis? Jo, eftersom en platt bild av ditt ansikte saknar identifierande egenskaper, som djup. Med en platt bild kan en dator mäta ditt pupillavstånd och din muns bredd, bland andra variabler. Men det kan inte säga längden på din näsa eller hur framträdande din panna är.

Dessutom förlitar sig 2D-ansiktsavbildning på det synliga ljusspektrumet. Detta innebär att 2D-ansiktsavbildning inte fungerar i mörker, och det kan vara opålitligt i läckra eller skuggiga ljusförhållanden.

Uppenbarligen är vägen runt några av dessa brister att använda 3D-ansiktsbilder. Men hur är det möjligt? Behöver du specialutrustning för att se ett ansikte i 3D?

IR-kameror ger djup till din identitet

Även om vissa ansiktsigenkänningsprogram enbart förlitar sig på 2D-bilder, är det inte ovanligt att ansiktsigenkänning också förlitar sig på 3D-bilder. Faktum är att din erfarenhet av ansiktsigenkänning förmodligen innebär en nypa 3D.

Detta uppnås genom en teknik som kallas lidar, som liknar ekolod. I huvudsak spränger ansiktsskanningsenheter, som din iPhone, en ofarlig IR-matris mot ditt ansikte. Denna matris (en vägg av lasrar) reflekteras sedan från ditt ansikte och plockas upp av en IR-kamera (eller ToF-kamera) på din telefon.

Var sker 3D-magin? Din telefons IR-kamera mäter hur lång tid det tar för varje bit av IR-ljus att studsa av ditt ansikte och återvända till telefonen. Naturligtvis kommer ljuset som reflekteras från din näsa att ha en kortare resa än ljuset som reflekteras från dina öron, och IR-kameran använder denna information för att skapa en unik djupkarta över ditt ansikte. När den används tillsammans med grundläggande 2D-bilder kan 3D-bildbehandling avsevärt öka noggrannheten hos mjukvara för ansiktsigenkänning.

Lidar imaging är ett konstigt koncept som kan vara svårt att linda huvudet runt. Om det hjälper, försök att föreställa dig att IR-nätet från din telefon (eller någon ansiktsigenkänningsenhet) är en anslagstavla leksak. Som en pinboard-leksak lämnar ditt ansikte en fördjupning i IR-nätet, där din näsa är märkbart djupare än, säg, dina ögon.

Värmebilder låter ansiktsigenkänning fungera på natten

En av bristerna med 2D-ansiktsigenkänning är att den förlitar sig på det synliga ljusspektrumet. I lekmannatermer fungerar inte grundläggande ansiktsigenkänning i mörker. Men detta kan lösas genom att använda en värmekamera (ja, som i Tom Clancy).

”Vänta lite”, kanske du säger, ”berorar inte värmebilder på IR-ljus?” Ja det gör det. Men värmekameror skickar inte ut blaster av IR-ljus; de upptäcker helt enkelt IR-ljuset som sänder ut från föremål. Varma föremål avger ett ton IR-ljus, medan kalla föremål avger en försumbar mängd IR-ljus. Dyra värmekameror kan till och med upptäcka subtila temperaturskillnader över en yta, så tekniken är idealisk för ansiktsigenkänning.

En spektrumbild av synligt ljus, en värmebild och en sammansatt värmebild.

Det är en handfull olika sätt för att identifiera ett ansikte med värmebilder. Alla dessa tekniker är otroligt komplicerade, men de delar några grundläggande likheter, så vi ska försöka hålla saker och ting enkelt med en lista:

Flera foton behövs: En värmekamera tar flera bilder av ett motivs ansikte. Varje foto fokuserar på ett annat spektrum av IR-ljus (långa, korta och medelstora vågor). Vanligtvis ger det långa vågspektrumet de flesta detaljer i ansiktet.
Blodkärlskartor är användbara: Dessa IR-bilder kan också användas för att extrahera bildandet av blodkärl i en persons ansikte. Det är läskigt, men blodkärlskartor kan användas som unika ansiktsfingeravtryck. De kan också användas för att hitta avståndet mellan ansiktsorganen (om typisk värmeavbildning ger dåliga bilder) eller för att identifiera blåmärken och ärr.
Ämnet kan identifieras: En sammansatt bild (eller datauppsättning) skapas med hjälp av flera IR-bilder. Denna sammansatta bild kan sedan jämföras med en ansiktsdatabas för att identifiera motivet.

Naturligtvis används termisk ansiktsigenkänning vanligtvis av militären, det är inte något du hittar på Khols, och det är inte något som kommer med din nästa mobiltelefon. Dessutom fungerar inte termisk bildbehandling bra på dagtid (eller i allmänt väl upplysta miljöer), så det har inte många potentiella tillämpningar utanför militären.

Begränsningar för ansiktsigenkänning

Vi har ägnat mycket tid åt att prata om bristerna med ansiktsigenkänning. Som vi har sett från IR och värmebilder är det möjligt att övervinna några av dessa begränsningar. Men det finns fortfarande några problem som inte har lösts ännu:

Hinder: Som du kan förvänta dig kan solglasögon och andra tillbehör göra att mjukvaran för ansiktsigenkänning skadas.
Poser: Ansiktsigenkänning fungerar bäst med en neutral, framåtvänd bild. En lutning eller vridning av huvudet kan göra ansiktsigenkänning svårt, även för IR-baserad igenkänningsprogramvara. Dessutom kan ett leende, uppblåsta kinder eller någon annan pose förändra hur en dator mäter ditt ansikte.
Ljus: Alla former av ansiktsigenkänning är beroende av ljus, oavsett om det är synligt spektrum eller IR-ljus. Som ett resultat kan konstiga ljusförhållanden minska noggrannheten i ansiktsidentifieringen. Detta kan förändras, eftersom forskare för närvarande utvecklar ekolodsbaserad ansiktsigenkänningsteknik.
Databasen: Utan en bra databas kan ansiktsigenkänning inte fungera. På samma sätt är det omöjligt att identifiera ett ansikte som inte har identifierats korrekt tidigare.
Databehandling: Beroende på storleken och formatet på en databas kan det ta ett tag för datorer att identifiera ansikten korrekt. I vissa situationer, som polis, begränsar begränsningar i databehandling användningen av ansiktsidentifiering för vardagliga applikationer (vilket förmodligen är bra).

Just nu är det bästa sättet att komma runt dessa begränsningar att använda andra former av identifiering i samband med ansiktsigenkänning. Din telefon kommer att fråga efter ett lösenord eller ett fingeravtryck om den inte kan identifiera ditt ansikte, och kinesiska regeringen använder ID-kort och spårningsteknik för att stänga felmarginalen som finns i dess nätverk för ansiktsigenkänning.

I framtiden kommer forskare säkert att hitta ett sätt att komma runt dessa problem. De kan använda ekolodsteknik tillsammans med lidar för att skapa 3D-ansiktskartor i vilken miljö som helst, och de kan hitta sätt att bearbeta ansiktsdata (och identifiera främlingar) på otroligt kort tid. Hur som helst har den här tekniken stor potential för missbruk, så det är värt att hänga med.

Källor: Universitetet i Rijeka, Electronic Frontier Foundation