AIによる手軽な居眠り検知システム:運転者の顔の表情から居眠りを検知するスマホアプリをAutomagiとNTTドコモが共同開発

課題

自動車運転中の事故の主な原因の一つとして、運転者の居眠りによる前方不注意が挙げられます。特に高速道路は、一定速度で一方向に走るため運転操作が少なく、単調な風景が続くため、運転者の眠気を誘発するとされています (高速道路催眠現象)。運転者の居眠り対策は、自動車社会において不可欠です。

運転者の居眠りの分析ソリューションの多くは、専用のドライブレコーダーなどの端末が必要になるケースがほとんどで、導入に手間がかかります。

解決方法

Automagi株式会社と株式会社NTTドコモは、スマートフォンを用いた自動車運転者の居眠りの検知システムを開発していると発表しました。スマートフォンに専用アプリをインストールするだけで使用することができ、カメラで撮影した運転者の映像から目の瞬きや顔の向き・姿勢などを分析し、居眠りの予兆を判断します。

どうなったか

専用機器の導入をせずに、スマートフォンアプリのみでの居眠り検知の実現が期待できます。

アプリからの音声による定期的な呼びかけや、長時間運転時に休憩を促す機能により、居眠りを防ぎます。また、居眠りを検知した場合は、大きなブザー音によって運転手の注意を喚起し、運転者の会社や家族にSMSで通知を行う機能も備わっているということです。

まとめ

レベル5の完全自動運転が実現すれば運転者の居眠りも許容されますが、完全自動運転の実現にはまだ時間がかかると考えられるため、運転者の眠気に対する研究も重要でしょう。

運転時の覚醒度(眠気)の評価基準として、顔表情評定・主観評価・脳波)の評価・運転操作成績による評価などが挙げられますが、一般によく用いられるのは顔表情評定です。顔表情評定とは、運転者の顔画像を複数の評定者が観察し、覚醒定価水準(5段階)5秒ごとに評定するという方法で、主観評価のように運転者が眠気評定に関して意識する必要がない・脳波測定のような特殊な計測装置が不要で、カメラがあれば非拘束で計測が可能・運転操作成績評価では検知しづらい弱い眠気に対する感度が高いといったメリットがあります。一方で、評定者の訓練が必要な上、評定に時間がかかるといったデメリットもあります。

運転者の眠気検知の研究においては、201611月にACCV 2016(Asian Conference of Computer Vision)ACCV Workshop on Driver Drowsiness Detection from Videoというワークショップが開催され、6組の研究グループが参加しました。これもやはり顔表情評定のによる眠気推定の精度を競うもので、NTHU(国立精華大学,台湾)Driver Drowsiness Detection Dataset(NTHU-DDD Dataset)のビデオデータを用いています。ビデオのデータを用いるため、画像処理に適したニューラルネットモデルであるCNN(Convolutional Neural Networks)を時間方向に拡張した3D-CNNを使用するモデル[Phung Huynh et. al. ,2016]や、CNNLSTM(Long Short-Term Memory: RNN(Recurrent Neural Network)の拡張で、長期的な時間情報を保持することができるモデル)を組み合わせたモデル[Tun-Huai Shih et. al. ,2016]などが用いられています。

今回紹介したAutomagiNTTドコモの居眠り検知のアルゴリズムの詳細は明かされていませんが、このシステムにおいても、時間情報を扱えるように拡張したCNNモデルが使用されているかもしれません。

眠気検知の顔表情評定を学習させるためのデータセットとしては、前述のNTHU-DDD Datasetの他にもYawDD(Yawning Detection Dataset)というものがあります。これらのデータセットは、AIシステムを顔表情評定の評定者として学習させるのに有効でしょう。今後、さらに多くの種類のデータセットが公開されていくことも期待されます。

参考資料

Automagi、映像から運転中の居眠りを検知するNTTドコモのAIシステムの開発を支援 [PR TIMES]

Automagi株式会社 – AIIoTなど最先端のIT技術でビジネスを加速する企業 [Auomagi株式会社]

ACCV Workshop on Driver Drowsiness Detection from Video Call for Papers [Vision-Bib]

YawDD: Yawning Detection Dataset [S. Abtahi et. al. ,2014] 

(本吉俊之)