セッターのトスを正確に予測:ディープラーニングを利用したバレーボールにおける0.3秒後のボール軌道予測

課題

計測機器や機械学習技術の進展により、スポーツにおけるデータ解析とその利用に注目が集まっています。例えばテニス選手の打撃モーションから打球の到達位置を予測したり、サッカー選手のフィールド内での動きを解析することでチームの特徴を推定することができます。一方でこれらのデータ解析には高価なモーションキャプチャーシステムが必要であったり、また十分な評価が行えていないなどの課題もありました。
東京大学の篠田裕之教授・牧野泰才准教授らの研究グループは、球技であるバレーボールにおいてトスされたボールの0.3秒先の位置をセッターの身体動作に基づいて、ニューラルネットワークと深度センサであるKinectによって予測する手法を開発しました。またより簡易な環境での推定を目標として2次元動画像からOpenPoseを用いてボール位置を予測する手法も検証しています。

解決方法

セッターが挙げたトスのボール位置を正確に予測するためには、ボールを追従するだけでなくセッターの身体運動情報を利用する必要があります。牧野准教授らはは、奥行方向の情報を取得可能な深度センサであるKinectを用いることで選手の各身体関節の3次元情報を取得し、ニューラルネットワークを用いることで身体の3次元情報からトスされたボールの軌道を予測しました。具体的にはKinectを用いてセッターの25関節における3次元座標を取得し、それにセッターの重心位置のz座標を加えたデータを10フレーム分連結した760次元のデータから5層の全結合ニューラルネットワークを用いてボールの2次元座標を推定します。
またKinectが利用できないより簡素な実験環境を想定し、2次元カメラ情報からOpenPoseを利用して14か所の関節位置を推定し、その情報からボールの位置を予測するモデルも構築しました。OpenPoseによって推定された関節位置は2次元データでありz軸方向の情報を含まないため、1つのトス動作中におけるx座標とy座標の最大値と最小値を用いることで各関節位置情報を正規化し、ニューラルネットワークの入力としました。本来OpenPoseはスポーツを対象とした用途ではライセンスの規定により無許可では利用できませんが、今回は提案手法の性能検証のために特別に利用しています。OpenPoseの詳細に関してはこちらをご参照ください。

どうなったか

2人の被験者においてトス時の運動データを計測し、ボールの位置を予測する実験を行いました。被験者1からは学習データを703、テストデータを103取得し、被験者2からは学習データを464、テストデータを69取得しました。それぞれの被験者毎にモデルの学習と性能評価を実施したところ、ボールの軌道予測誤差が被験者1においては24.7cm、被験者2においては29.2cmとなりました。これはバレーボールの大きさ程度の誤差で、精度良く軌道予測が実現できたことを示しています。またトスしたボールがセッターの前方に向かうか後方に向かうかの予測を行ったと懲り、テストデータにおいて96%の推定率を達成しました。OpenPoseによる軌道推定では被験者1に対して予測誤差が39.2cmとなり、打ち返し方向の予測は80%となりました。
またニューラルネットワークに入力する情報を全身の関節位置の情報から、腕のみの情報、下半身のみの情報と変化させた際に軌道予測の精度がどのように変化するかを検証しました。その結果、全身の情報を利用した場合には誤差が24.7cmだったものに対し、腕のみの情報条件では27.7cm、下半身のみの情報条件では35.6cmと変化しました。このことからバレーボールにおけるセッターのトス軌道を予測するには、腕の情報が重要であることが示唆されました。実際にトス軌道を予測している様子はこちらからご覧になれます。

まとめ

ニューラルネットワークを用いてKinectによって取得した3次元関節位置情報から、バレーボールのセッターがボールをトスした際の打球の軌道を予測するシステムについて紹介しました。このシステムではより実用できなば面での利用を考慮して、OpenPoseによる2次元関節位置情報からも打球軌道の予測を行っています。
今回のシステムでは予測可能な打球は0.3秒後のものと、選手が戦略を変更するためには時間が非常に短いです。しかしプロ選手とアマチュア選手の運動の差異を明らかにすることや、スポーツ観戦のための情報提示など、様々な方面で利用できると考えられます。また新しい深層学習手法などを利用することでより長期間の、そして高速な軌道予測が可能になると考えられます。

参考資料

(堀井隆斗)