全天球画像からの行動分析:リコーが深層学習による解析サービス「RICOH360 – Analysis」を公開

 

リコーが360度の全天球画像を撮影できるTHETAを利用して得られた画像から人物の行動解析を行うサービス「RICOH360 – Analysis」を公開し、利用できるようになりました。

課題

店舗や展示会など自由に人が行き来するような場面でどこにどの程度人が集まったかを知ることはサービスや展示会などでの施策の効果を見るために必要です。

しかし、カメラを用いた分析では、まず適切な画角にカメラを設置し、電源や通信ケーブルの取り回し、解析のためのPCを用意する必要があるなど、技術的に可能だとしても煩雑な作業を行わなければなりませんでした。

手軽な計測環境の構築と手軽な解析は車の両輪として重要な課題です。

解決方法

リコーは2013年から発売している全天球カメラRICOH THETAシリーズを利用した人物の認識と分析技術を2018年12月3日より提供を開始すると発表しました。

様々な場所から現れる人をTHETAにより撮影し、深層学習に基づくモデルで人物を検出し、人物の人数や出現位置などを分析結果として提供します。

 

どうなったか

このサービスでは、利用を希望する場合、リコーに利用申請してRICOH THETAとLTE回線を用いた計測機材をレンタルされます。

LTE回線を用いるため通信ケーブルを取り回す必要はありませんし、画像解析は現場では行われずLTE回線を通してリコーのサーバへ送られて、サーバ上で分析されます。このため、貸与されたTHETAを現場に設置して電源を供給するだけで分析を開始することができます。

リコーによると分析結果は「どのエリアに」「どの時間帯に」「どれくらい人がいたか」をヒートマップなどで表示して、客観的に把握できます。また、ブラウザで可視化できると同時に数値データを元に販促施策の効果測定など様々な用途に使用できます。

リコーはこのサービスには深層学習を用いているとしています。

深層学習モデルの1つであるR-CNNなどの物体検出のモデルでは、画像中に何があるかだけでなく、どこにあるかも検出できるシステムになっており、リコーの深層学習技術も物体検出のモデルになっていると考えられます。R-CNNなどで用いられている通常の畳み込みニューラルネットワークでは長方形の画像を前提とした構造になっており、全天球画像には直接適用することができないため、一部を切り出して歪みの少ない長方形画像として従来のモデルを使用できるようにしたり、魚眼レンズからの画像をそのまま利用して改めてモデルを作る直すなどの手法が考えられます。ただし、分析がリコーのサーバ内で完結していることもあり内部構造については明らかになっていません。

 

まとめ

現在4K動画像にも対応したRICOH THETA Vが発売されているTHETAシリーズは全天球カメラのパイオニア的な製品として、主にホビー用途で使用されていましたが、今回のサービスはビジネス向けとなっています。そのため、解析の機能を絞った上でLTEを使用してリコーのサーバ上で分析を行いブラウザで結果が確認できるなど、分析を開始するまでのハードルを下げています。

公開されている情報を見ると現場のニーズを組み上げて必要十分なシステムにすることに腐心していることが感じられます。LTE回線を利用することも画像を全てリコーのサーバに送信するために必要であったと考えられますが、現場に深層学習用のPCなどの機材を置くこととのトレードオフを考えた施策と考えられます。

レンタル制度としてオールインワンにしたことは手軽な分析にとって必要であったと考えられますが、第三者の技術開発を排除しているとも考えられます。今後、新たなアイディアを外部に求めるのか、閉じたサービスを続けるのかは非常に興味深いところです。

 

参考資料

360°行動分析が可能な「RICOH360 – Analysis」を提供開始 ~全天球画像カメラを用いて簡単・手軽に人の滞留をデータ化~ [リコー公式HP]

RICOH THETA行動分析サービス RICOH360 – Analysis [リコー公式HP]

Deep Learningによる一般物体検出アルゴリズムの紹介 [ABEJA Arts Blog]

(森裕紀)