課題

人間や様々な生物の運動を定量的に評価することは、例えば作業効率の改善につながるとともに神経科学や行動学などの学術分野においても研究を進めるために重要な要素となります。近年ではモーションキャプチャー技術の進歩により、身体にマーカーを装着することで人間の行動を正確に計測することが可能となりました。またOpenPoseなど、ディープラーニングを利用した骨格推定モデルも複数提案されています。しかしネズミや昆虫などの実験動物では生物の特性やそのサイズからマーカーを付与することが困難であり、多くの場合記録された動画像から人手で行動を追跡する必要がありました。このような手法には技術の習得に時間がかかるとともに、解析にも多くの労力を必要とします。
このような課題に対して、ドイツエバーハルト・カール大学テュービンゲンのAlexander Mathisらの研究者グループは、ディープラーニングの技術によって実験動物の動画像から、所望の関節位置などを推定し、追跡するためのツールとしてDeepLabCutを開発しました。このDeepLabCutは特定の実験動物に特化したものではなく、追跡太陽のデータセットを用意することで高精度に追跡が可能です。また誰もが簡単に利用できるツールボックスとしてGithub上でも公開されています。

解決方法

動画像から実験動物の関節や身体部位を推定・追跡するDeepLabCutは、画像から人間の骨格推定をするDeeperCutを基に構築されています。DeeperCutでは残差ネットワーク（Residual Network、以下ResNet）と呼ばれる構造を利用することで画像から人間の身体部位を高精度に推定します。ResNetはshortcut connectionと呼ばれる複数の層を超えた結合をもつネットワークで、これまでのニューラルネットワークで層数を増やすことで発生していた勾配消失問題を解決し、より深い層のネットワークを学習するための構造として提案されました（ResNetに関する詳細はこちらやこちらをご覧ください）。DeepLabCutではこのResNetの構造とdeconvolution（逆畳み込み）層を利用することで、追跡対象となる実験動物の関節位置をそれぞれ異なる画像として表現し、各画像において対応する関節位置に対する信頼度（確率値）を学習します。
またDeepLabCutでは様々な実験動物の追跡が可能ですが、これは転移学習と呼ばれる手法によって実現されます。ユーザーが利用する前のDeepLabCutはImageNetと呼ばれる一般画像データベースによって事前学習されています。ユーザーは追跡したい対象動物の動画像とその追跡部位のラベルデータを少数追学習することで、DeepLabCutはそれぞれの環境で異なる動物の特徴点推定やその追跡を行います。DeepLabCutの良い詳細な構造に関してはこちらを参照してください。

どうなったか

提案者のMathisらの研究グループは、DeepLabCutを用いてネズミやハエ、その他実験動物の体部位（例えば関節や鼻先や尻尾などの特徴的な部位）を追跡する実験を行いました。その実験の中で実験動物の体部位を推定するための学習データ量を変更しつつ、その推定精度がどのように変化するかを調査しました。その結果、非常に高解像度なカメラを利用した条件（ここではネズミの鼻を追跡対象とし、そのサイズが30pixelほど）においても、100枚ほどのデータ（ネズミの動画像と鼻位置を示した教師データ）を学習するだけで5pixel以下の高い精度で体部位を推定・追跡できることが示されました。これは人間が目で確認しながら追跡を行った際の精度に近く、またDeepLabCutの推定した体部位位置の誤差分布を確認してもその分散は小さいことが明らかになりました。
実際に動物の体部位を推定・追跡している様子はこちらやこちら、こちらからご覧いただけます。

まとめ

少ない学習データから高精度に動物の体部位を推定・追跡可能にするDeepLabCutについて紹介しました。DeepLabCutはそのソースコードがGithub上で公開されており、誰でも簡単に利用することができます。またDeepLabCutの学習に必要な計算リソースを確保するために、Googleの提供するcolaboratory上で学習する手法もこちらで公開されています。
すでに多くの生物系の実験室で実験動物の追跡に利用されていたり、ネズミやハエなどの小型動物だけでなく、犬の体部位を追跡するための研究に利用されています（こちらの発表番号OB-03）。実験室環境外でも利用可能なことから、家庭におけるペットの見守りなど様々な方面での応用が期待されます。

参考資料