눈 주변 영역(periocular) 이미지를 사용해 마스크 착용자의 얼굴 검증을 수행한다.
IHCI 2020 Authentication of Facial Images with Masks using Periocular Biometrics (☞ﾟヮﾟ)☞ 논문 보러가기
Han, N. Y., Seong, S. W., Ryu, J., Hwang, H., Joung, J., Lee, J., & Lee, E. C. (2020, November). Authentication of Facial Images with Masks Using Periocular Biometrics. In International Conference on Intelligent Human Computer Interaction (pp. 326-334). Springer, Cham.
| 한나연 | 성시원 | 류지혜 |
|---|---|---|
 |
 |
 |
| Github | Github | Github |
-
Periocular dataset generator.ipynb : periocular 이미지 전처리
-
Full-face dataset generator.ipynb : 얼굴 이미지 전처리
- Face Dataset
① RFW(Real Faces in-the-wild) dataset: Deep face recognition을 위한 4개 인종으로 구성된 데이터셋 (African, Asian, Caucasian, Indian)
③ IAS-Lab RGB-D Face: 센서에서 1-2 미터 떨어진 곳에서 서서 촬영.
Train dataset은 13가지 조건(각도, 빛, 표정 등)에서 촬영한 26명의 이미지 Test dataset은 19명의 이미지로 구성되며, 이 중 4명은 train dataset과 겹침
④ AT&T: 흑백 이미지 400장
⑤ Cas-Peal pose: 흑백 이미지이미 각도, 표정, 악세사리 등 다양한 조건에서 촬영함
- Masked Face Dataset
마스크 착용한 사진을 사람별로 6장씩 50명, 총 300장의 얼굴 이미지를 수집함
마스크를 코끝까지 올려 완전히 착용한 경우, 코끝이 보이도록 착용한 경우 2가지 case를 3가지 각도(정면, 위, 아래)에서 촬영함
① 얼굴 랜드마크 검출
1adrianb/face-alignment 방법을 얼굴 랜드마크 검출에 사용
② ROI 정의
총 68개 얼굴 랜드마크 중 7개(outer extrema, nose, chin)를 사용해 눈 주변 영역(periocular)을, 4개(both temples, mid-nose, and chin)를 사용해 얼굴 영역을 정의했다.
③ resize
periocular 이미지는 91x64 , 전체 얼굴 이미지는 120x120로 resize.
샴 네트워크는 (105, 105, 1)크기의 이미지를 입력받아 100x1 크기의 특징 벡터를 추출한다. Genuine pair, Imposter pair의 개수를 동일하게 맞추었다.
샴 네트워크를 사용해 2개의 모델을 학습시키고 각각 2개의 데이터셋을 사용해 성능을 측정했다.
- Siamese-face : 마스크를 안 쓴 데이터셋(Unmasked images)으로 학습시킨 모델
- Siamese-periocular : 마스크를 쓴 데이터셋(Masked images)으로 학습시킨 모델
- 근소하지만 Siamese-periocular 모델(0.26 하락)이 Siamese-face 모델(0.296 하락)보다 성능이 조금 하락한 것을 확인할 수 있다.
모델을 3가지 옵티마이저(RMSprop, Adam, SGDMomentum), 4가지 learning rate(1×10-2, 1×10-3, 1×10-4, 1×10-5)을 사용해 300 epoch동안 학습시켰을 때, RMSprop optimizer + learning rate 1×10-5 의 조합이 가장 좋은 성능을 보였다.