サングラスやマスクなど顔の隠れにも強い顔認証システム:複数の深層学習モデルの組み合わせによる顔照合性能の改善

課題

オフィスビルや空港での入退出・出入国管理や商業施設における監視カメラでの要注意人物の自動検知など、顔画像を用いて個人認証を行うことで監視員や警備員の作業負荷を軽減し、情報管理を自動化することができます。しかしながら認識対象者の顔の傾きやサングラスやマスクなどの顔の一部が隠れる状況、カメラ設置環境に影響を受ける照明の明暗よって顔照合が失敗するという課題がありました。

このような課題に対し、パナソニック株式会社はシンガポール国立大学と共同でディープラーニングの手法を利用した世界最高水準の顔照合技術(2017年5月9日現在)を開発しました。このシステムはパナソニック株式会社が展開する顔認証サーバーソフトウェア「FacePRO」に利用され、公共施設の監視や入場管理など様々なシーンへの活用が図られています。

解決方法

FacePROに利用されている顔照合技術では、ディープラーニングの手法として画像処理分野で一般的に利用される畳み込みニューラルネットワーク(CNN)を基にした複数のニューラルネットワークを利用することで顔照合精度の向上を図りました。具体的には画像分類コンペティションであるILSVRC(ImageNet Large Scale Cisual Recognition Callenge)2015で優秀な成績を納めた残差ネットワーク(Residual Network:ResNet)に濃度(cardinality)と呼ばれる画像変換処理を実行する際の画像の分割数を考慮したResNextと呼ばれるネットワークと、ILSVRC2014で優秀な成績を納めた複数の畳み込み層やpooling層から構成されるInceptionモジュールを持つGoogLeNetを並列的に利用します。

実際の顔照合部分では、それぞれのネットワークによって算出される画像特徴量を統合し、サポートベクターマシン(SVM)を用いて、(i)登録画像と照合画像の2つの顔画像が同一かどうか、(ii)誰の顔画像であるか、という2つの課題について学習します。また特徴量統合部分を最適化することで顔双方性能の向上を図りました。手法に関するより詳細な情報はこちらをご覧ください。

どうなったか

開発した顔照合システムを、アメリカ国立標準技術研究所が公開するIJB-A face image datasetを利用して評価しました。このデータセットには斜め方向の顔写真や一部の隠れを含む画像が含まれていますが、開発された顔照合システムでは従来の顔照合性能と比較して5倍の識別性能(他人受け入れ率を0.01とした時の本人排除率を5分の1へ削減)を発揮しました。またこれまで照合が困難であった斜め顔(左右±45度、上下±30度)の顔画像や、経年劣化やサングラス、マスクによる部分隠蔽の顔画像の照合が可能となりました。

まとめ

斜め顔や隠れを含む顔画像に対して高精度な顔照合を可能にするディープラーニングを利用した顔照合システムについて紹介しました。このシステムはパナソニック株式会社の販売する顔認証サーバーソフトウェアFacePROに利用されています。

顔照合システムの性能向上により様々な業務の自動化が加速すると考えられます。一方で顔照合システムが乱立、悪用されることで個人のプライバシーが侵害される恐れもあります。このようなシステムを開発する際には、プライバシー保護などの技術開発も重要になります。

参考資料

(堀井隆斗)