Author: Fatih Çağatay Akyön – Lead Machine Learning Engineer, OBSS |
LinkedIn: https://www.linkedin.com/in/fcakyon/
Face anti spoofing is a critical component of modern biometric security, designed to protect face recognition systems against presentation attacks such as mask spoofing, replay attacks and printed photos.
Biyometrik tanımlama, en eski kişi doğrulama tekniklerinden biridir. Parolalar ve anahtarlar casusluk yoluyla elde edilebilir, çalınabilir, unutulabilir veya taklit edilebilir. Ancak kişinin kendisinin benzersiz özelliklerini taklit etmek ve kaybetmek çok daha zordur. Bu özellikler; parmak izleri, ses, retinanın damarlarının şekli ve daha fazlası olabilir.
Ancak tahmin ettiğiniz üzere biyometrik sistemleri de kandırmaya çalışanlar var. İşte bu makalenin konusu da: Saldırganlar başka bir kişiyi taklit ederek yüz tanıma sistemlerinden nasıl kaçınmaya çalışıyor ve bu nasıl tespit edilebilir!
Bu makaleyi okuduktan sonra neler hakkında bilgi sahibi olacaksınız:
- Yüz tanıma (face recognition) ve yüz sahteciliği (face spoofing) arasındaki ilişki
- Yüz sahteciliği önleme (face anti-spoofing) alanında kullanılan temel terimler ve metrikler
- Yüz sahteciliği saldırı türleri
- Yüz sahteciliğini önleme yöntemlerinin uygulama alanları
- Seçilen akademik yüz sahteciliğini önleme makalelerinin kilit noktaları
- Yüz sahteciliği veri kümelerindeki geçerli mevcut durum
Yüz Tanıma Teknolojisinden Yüz Sahteciliğine
Günümüzün yüz tanıma sistemleri muazzam bir doğruluk göstermektedir. Büyük veri setlerinin ve karmaşık mimarilerin ortaya çıkmasıyla, 0.000001’e (milyonda bir hata!) kadar yüz tanıma doğruluğu elde etmek mümkün hale geldi ve artık mobil platformlara aktarma için uygunlar.
Bu yüz tanıma sistemlerinin günlük kullanımının yaygınlaşmasına tek engel; onların zayıf taraflarıydı. Teknik gerçekliğimizde başka bir kişiyi taklit etmek için en sık kullanılan yöntem maskelerdir. Örneğin, aşağıdaki resimde olduğu gibi siyahi bir maske takarak bir bankayı soyun.
Yüz tanıma sistemlerini kandırmanın en iyi yolu kişinin kendi yüzü yerine başka birinin yüzünü sunmasıdır. Maskeler; yazıcıdan çıktısı alınan başkasına ait yüzün fotoğrafından, ısıtmalı çok karmaşık üç boyutlu maskelere kadar tamamen farklı kalitede olabilir, ayrı bir sayfa veya ekran şeklinde de sunulabilir, kişinin başına da takılabilir.
Samsung’daki Iris tarayıcısı ve iPhone X’teki Face ID sistemini aldatma girişimi ile birlikte, yüz sahteciliği konusuna olan ilgi de artmaya başladı. Aşağıdaki şekilde, Vietnam güvenlik şirketi olan Bkav’ın, Face ID’yi aşmak için kullandığı maskeyi görüyorsunuz. Maske, silikon burun, 3 boyutlu yazıcıdan çıkarılmış parçalar ve 2 boyutlu fotoğraflardan oluşuyor. Detaylı bilgiye bu videodan da ulaşabilirsiniz. related video
Kaynak: https://www.wired.com/story/hackers-say-broke-face-id-security/
Bu tür güvenlik açıklarının varlığı, bir saldırganın nüfuz etmesinin önemli kayıplara yol açabileceği bankacılık veya şehir güvenlik sistemlerinde otomatik yüz doğrulama sistemlerinin kullanımını tehlikeye sokmaktadır.
Terminoloji
Kimlik/yüz sahteciliğini önleme araştırma alanı oldukça yenidir ve hâlâ herkes tarafından geçerli ortak bir terminolojiyle sahip olduğu söylenemez. Yine de önemli terimleri elimden geldiğince Türkçe’ye çevirmeye çalışacağım:
Spoofing-attack: Kimlik sahteciliği saldırısı (Spoofing-attack): Kimlik sistemini sahte bir biyometrik parametre (bu durumda, bir kişi veya kişinin yüzü) sunarak aldatma girişimi.
Kimlik sahteciliğini önleme (Anti-spoof): Bu tür aldatmacalara karşı koymak için bir dizi koruyucu önlem. Bir tanımlama sisteminin konveyörüne yerleştirilmiş çeşitli teknolojiler ve algoritmalar şeklinde uygulanabilir.
Sunum saldırısı (Presentation attack): The act of presenting an image, recorded video, or similar artifact to the system in order to cause misidentification or prevent correct identification of the user.
Normal (Bona Fide): Sistemin olağan giriş / davranışına, yani bir saldırı OLMAYAN her şeye karşılık gelir
Sunum saldırı aracı (Presentation attack instrument): Bir saldırı aracı, örneğin vücudun yapay olarak yapılmış bir parçası.
Sunum saldırısı algılama (Presentation attack detection): Bu tür saldırıları otomatik olarak tespit etme yolları.
HTER metriği (Toplam-Toplam Hata Oranı — toplam hatanın yarısı):: HTER is used to evaluate the performance of an anti-spoofing system. It is calculated as the average of: FRR (False Rejection Rate): the rate at which authorized individuals are incorrectly rejected. FAR (False Acceptance Rate): the rate at which unauthorized individuals are incorrectly verified
HTER = (FAR+ FRR) / 2
Biyometrik sistemlerde, bir saldırganın sisteme girmesini önlemek için mümkün olan her şeyi yapmak için genellikle en büyük dikkat FAR’a gösterilmektedir ve bu konuda iyi ilerleme kaydedilmiştir. Bunun dezavantajı, FRR’deki kaçınılmaz artıştır — yanlışlıkla davetsiz misafir olarak sınıflandırılan dürüst kullanıcıların sayısı.
Arka arkaya onuncu kimlik reddinden sonra duvara fırlatılan telefon sayısını azaltmak istiyorsanız, FRR’ye dikkat etmelisiniz.
EER metriği (Eşit Hata Oranı):: EER corresponds to the point on the ROC curve where FAR and FRR are equal. It is the FAR value at the intersection of the ROC curve and the line x+y=1x + y = 1x+y=1.
Saldırı Türleri
Artık saldırganların tanıma sistemini nasıl kandırdığı örnek resimlerle inceleyebiliriz.
One of the most common spoofing techniques involves the use of masks. Attackers can directly impersonate another person by wearing a realistic facial mask and presenting it to an identification system. This type of attack is known as mask spoofing.
Bir diğer method ise basılı saldırı (printed attack) olarak adlandırılır,kendinizin veya bir başkasının fotoğrafını bir kağıda yazdırabilir ve kameraya tutabilirsiniz
Daha gelişmiş bir yöntem ise tekrar saldırısıdır replay attack.Bu durumda saldırgan, daha önce kaydedilmiş başka bir kişiye ait bir videonun oynatıldığı bir cihaz ekranını kameraya gösterir.
Replay saldırıları pratikte daha karmaşık görünebilir; ancak bu durum onların etkinliğini azaltmaz. Aksine, bu tür saldırıların sahteciliği önleme sistemlerini aşma olasılığı genellikle daha yüksektir.
Bunun nedeni, birçok mevcut yüz tanıma sisteminin sahtecilik tespitinde zamansal analize dayanmasıdır. Bu sistemler; göz kırpma, başın mikro hareketleri, yüz ifadeleri ya da nefes alma gibi ipuçlarını takip eder. Ancak bu sinyallerin tamamı önceden kaydedilmiş bir video aracılığıyla kolaylıkla taklit edilebilir.
Uygulama Alanları
Yüz tanıma uygulanan her yerde sahteciliğe karşı önlemler alınması gerekir. Yüz sahteciliği ve kimlik sahtekarlıkları aşağıdaki konularla ilişkilidir ancak bunlarla sınırlı değildir:
- Dijital bankacılık
- ATM’lerdeki kimlik doğrulamaları
- Adli soruşturmalar
- Çevrimiçi mülakatlar/sınavlar
- Perakende suçları
- Okul gözetimi
- Kolluk kuvvetleri
- Casino güvenliği
Geleneksel, sahteciliği önleme teknikleri
Kamera önünde videodan tekrar oynatılan veya çıktısı alınmış yüz görüntüleri, fotoğrafın/videonun kalitesindeki deformasyon özniteliklerinden tespit edilebilir. Muhtemelen, gözle bile olsa, bazı yerel desenler bile görüntüde tespit edilecektir.
Bu, örneğin, çerçeveden tespit edilen yüzün farklı alanları için yerel ikili kalıpları Local Binary Patterns (LBP) hesaplanarak yapılabilir. LBP, bu çizim ile özetlenebilir:
Görüntü analizine dayalı yüz sahteciliğini önleme algoritmalarının öncüsü olarak düşünülebilen, LBP tabanlı sahtekarlık önleme algoritmasının (2012) blok şeması:
Verilen algoritmada, görüntüdeki her bir piksel için LBP hesaplanırken, komşularının sekizi sırayla alınır ve değerleri karşılaştırılır. Değer merkezi pikselden daha büyükse bir, küçükse sıfır olarak atanır. Böylece, her piksel için 8 bitlik bir dizi elde edilir.
Elde edilen sekanslara dayanarak, SVM sınıflandırıcısına girdi olarak verilen piksel histogramı (a per-pixel histogram) oluşturulur.
Bu yöntemin HTER değeri kadardır ve saldırganların önemli bir kısmının çok çaba sarf etmeden güvenlik sisteminin geçebildiği anlamına gelir, ancak tehditlerin oranında elendiğine dikkat edilmelidir.
Algoritma, 50 katılımcının 1200 kısa videosundan ve üç tür saldırıdan (basılı saldırı, mobil saldırı, yüksek çözünürlüklü saldırı) oluşan IDIAP Replay-Attack datasetveri kümesinde test edildi.
Derin öğrenme temelli sahteciliği önleme teknikleri
Bir noktadan sonra, derin öğrenmeye geçişin olgunlaştığı belli oldu. Ön yargıyla yaklaşılan “derin öğrenme devrimi”, yüz sahteciliğiyle karşı karşıya kaldı.
2017 yılında yapılan bir çalışmada, sahtecilik tespiti için yama ve derinlik tahminine dayalı bir sinir ağı önerildi:
İlk olarak, girdi görüntüsünde yüz algılanır. Bu yüz, sinir ağı tabanlı model içeren 2 dala girdi olarak verilir.
İlk dal, tespit edilen yüz bölgesinden yamalar (patches) çıkarır ve her bir yama için bir sahtelik puanı tahmin eder. İkinci dal, derinliğe dayalı bir CNN modeli ile onun ucuna bağlanmış bir öznitelik çıkarıcıdan oluşur. Burada, yüzün derinlik haritası tahmin edilir ve sonrasında çıkarılan derinlik öznitelikleri, ikili sahte / gerçek tahmini yapan SVM tabanlı bir sınıflandırıcıya girdi olarak verilir.
Önerilen tüm modellerin / sınıflandırıcıların ayrı ayrı eğitildiği unutulmamalıdır (ortak bir kayıp fonksiyonu ile uçtan uca eğitim yoktur).
Yöntem CASIA-FASD, MSU-USSA ve Replay-Attack veri kümelerinde sırasıyla 2.27, 0.21 ve 0.72 HTER değerlerini elde etti.
2018’de yapılan bir çalışmada, sahte yüz tespiti için 3 boyutlu CNN tabanlı ağ önerilmiştir:
Bu çalışmada, 3 boyutlu evrişimsel sinir ağı katmanları, zaman serisi görüntü çerçevelerinden öznitelik çıkarmak için kullanılır. Kayıp fonksiyonu olarak, çapraz entropi (cross-entropy) ve maksimum ortalama tutarsızlık (maximum mean discrepancy) hatasının kombinasyonu kullanılmaktadır. Bu yöntem Idiap veri kümesinde 1.2 HTER elde etti.
2019 yılında yapılan bir çalışmada ise, sıfır atış yüz sahteciliği önleme (zero shot face anti-spoofing) problemi için derin bir ağaç modeli (deep tree model) önerilmiştir. Ağaç yapısı ve birimleri aşağıda görülebilir:
Ayrıca, mevcut en fazla sayıda sahtecilik (spoof) türüne (12 sahtecilik türü) sahip bir sahtecilik veri kümesi (SiW-M veri kümesinde) yayımladılar.
Önerilen kayıp fonksiyonu dört bileşenden oluşmaktadır:
- İki denetimli kayıp: Gerçek/sahte sınıflandırması için ikili çapraz entropi (binary cross-entropy) ve maske denetimi için ortalama hata (mean error).
- İki denetimsiz kayıp: Daha büyük bir PCA tabanını teşvik eden yönlendirme kaybı (routing loss) ve alt grup eğitiminde ortaya çıkan dengesiz yönlendirme (imbalance routing) problemlerini gidermeyi amaçlayan özgün bir kayıp (unique loss).
Yöntem, SiW-M veri kümesinde 16.1 EER elde etti (2019 itibariyle en iyisi).
Veriyi ezberlemek çözüm değil
Neyse ki, halka açık birçok sahtecilik önleme veri kümesi var. CASIA, Idiap, Replay-Attack ve daha fazlası… Mevcut bazı veri kümelerinde en iyi performans gösteren yöntemlere bir göz atalım:
Tablolarda görülebileceği gibi, yüz sahtecilik önleme sorunu veri kümelerini tekil olarak düşündüğümüzde çözülmüş gibi görünmektedir. Bununla birlikte, sinir ağını bir veri setinde eğitmeye ve başka bir veri kümesine test etmeye çalışırsanız, sonuçların o kadar da iyimser çıkmadığını göreceksiniz.
Patel’in 2016 makalesinde sunulan sonuçlar, yeterince karmaşık bir sinir ağı yapısı üzerinde, göz kırpma/doku gibi güvenilir öznitelikler kullanılsa bile, bilinmeyen veri kümelerindeki sonuçların tatmin edici olmayacağını göstermektedir:
Yukarıdaki tabloda USSA veri seti eğitilen modelin Replay-Attack ve FASD veri kümeleri üzerindeki test sonuçları görülebilir. Veri kümeleri yeterli çeşitliliğe sahip olmadığından, bir veri kümesinde eğitilmiş modeller diğer kümeler üzerinde genelleme yeteneğine sahip olamıyor.
Son sözler
- Yüz tanıma için kullanılan hemen hemen tüm teknolojiler yüz sahteciliğine karşı da kullanılabilmektedir. Yüz tanıma için geliştirilen her şey, şu ya da bu şekilde, saldırı analizi için bir kullanım buldu.
- Yüz tanıma ve yüz sahteciliğini önleme alanlarının gelişme dereceleri arasında açık bir dengesizlik vardır. Tanıma teknolojileri koruma sistemlerinden önemli ölçüde öndedir. Ayrıca, yüz tanıma sistemlerinin pratik kullanımını engelleyen en önemli etken, güvenilir koruma sistemlerinin olmamasıdır.
- Literatürde neredeyse tüm ilgi özellikle yüz tanımaya kaydı ve saldırı tespit sistemlerinin literatürü bu sebepten dolayı daha geride kaldı.
- Mevcut veri kümeleri doygunluğa ulaştı. On temel veri kümesinden beşinde sıfır hataya ulaşıldı. Bu, sahtecilik önleme alanında büyük ilerleme kaydedildiğini ancak genelleme yeteneğinin geliştirilmesine olanak sağlanamadığını gösterir. Yeni verilere ve yeni deneylere ihtiyacımız var.
- Konuya artan ilgi ve büyük oyuncular tarafından tanıtılan yüz tanıma teknolojileriyle, iddialı ekipler için “fırsat pencereleri” ortaya çıktı, çünkü mimari düzeyde yeni bir çözüme fazlaca ihtiyaç var.
Referanslar
- Souza, L., Oliveira, L., Pamplona, M., & Papa, J. (2018). How far did we get in face spoofing detection?. Engineering Applications of Artificial Intelligence, 72, 368–381.
- Chingovska, I., Anjos, A., & Marcel, S. (2012, September). On the effectiveness of local binary patterns in face anti-spoofing. In 2012 BIOSIG-proceedings of the international conference of biometrics special interest group (BIOSIG) (pp. 1–7). IEEE.
- Atoum, Y., Liu, Y., Jourabloo, A., & Liu, X. (2017, October). Face anti-spoofing using patch and depth-based CNNs. In 2017 IEEE International Joint Conference on Biometrics (IJCB) (pp. 319–328). IEEE.
- Li, H., He, P., Wang, S., Rocha, A., Jiang, X., & Kot, A. C. (2018). Learning generalized deep feature representation for face anti-spoofing. IEEE Transactions on Information Forensics and Security, 13(10), 2639–2652.
- Liu, Y., Stehouwer, J., Jourabloo, A., & Liu, X. (2019). Deep tree learning for zero-shot face anti-spoofing. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 4680–4689).
- Patel, K., Han, H., & Jain, A. K. (2016, October). Cross-database face antispoofing with robust feature representation. In Chinese Conference on Biometric Recognition (pp. 611–619). Springer, Cham.
