動画解析技術によるダンススキル評価:スマホカメラから手軽にストリートダンスをチェックできるアプリ「Dance COMMUNE」

課題
ストリートダンスやジャズダンスは若者を中心に人気があり、日本全国で様々なコンテストが開かれています。しかし、ダンスの実力の評価は採点者によって基準が異なり、個人の感性にも左右されてしまうため、公平な評価が難しくなっています。
また、2012年度からは中学校の体育の授業でダンスが必修化されましたが、指導方法が教師により千差万別で評価方法も一定しないという問題点がありました。そこで、個人の感性だけに頼らないダンスの一貫した指導と評価方法が求められています。
解決方法
音楽事業を手がける会社として有名なエイベックス株式会社は、ダンス技術を評価してスキルをチェックできるアプリ「Dance COMMUNE(ダンス コミューン)」を開発し、エイベックス・アーティストアカデミーのダンスクラスに導入しました。このアプリは、エイベックスが2018年から始動したダンス技術の評価を実現するためのプロジェクトによって生み出されました。
技術的には、姿勢情報の抽出と姿勢情報からのダンス評価から構成され、姿勢情報の抽出を株式会社ネクストシステムが開発した「VisionPose」を活用し、ダンス評価はアビームコンサルティング株式会社が担当しました。
「VisionPose」は深層学習技術を活用した骨格推定技術で、ネクストシステム社はスポーツ動作解析や監視カメラからの不審者行動検出に活用できるとしています。
ダンスの評価は、ダンスの基本的な動きであるステップやアイソレーションなどの動作を、動画によって予習・復習できます。そして、動画を観ながらトレーニングした後は、スキルテストを行います。毎月課題をクリアしていくスキルテストには、「Dance COMMUNE」はエイベックスが持っているダンス育成ノウハウに、動画解析・データ分析・アルゴリズム開発を組み合わせた技術が使われています。
どうなったか
骨格推定と動作解析によりダンスの定量評価が可能になったため、ユーザーは自分のダンスする姿をスマホに写すだけでスキルテストが受けられるようになりました。スキルテストの結果はスコア化され、さらにお手本動画と自分の動画を比較して改善点を見つけられます。今後は、個人の利用だけでなく学校教育におけるダンス指導や、ダンススクールでのダンサー育成にも役立てていくとしています。
なお「Dance COMMUNE」対応ダンスクラスを受講していれば「Dance COMMUNE」をApp StoreまたはGoogle Playよりダウンロードできます。また、2020年1月26日にエイベックスからダンス検定アプリ「エイベックス・ストリートダンス検定 powered by Dance COMMUNE」がリリースされ、ダンス技術の認定を受けることもできるようになりました。
まとめ
VisionPoseはOpenPoseで実現された技術と類似の技術と考えられますが、骨格推定は非常に身近な技術になってきました。ダンス評価に使うアイディアは秀逸だと感じます。
Marvinではこれまでに、OpenPoseの紹介や姿勢推定を用いたスポーツ動作解析、姿勢の歪み解析などを紹介してきました。姿勢推定が手軽な技術になり、今後どのようなアイディアが現れるか楽しみです。
参考資料
- Dance COMMUNE [公式HP]
- 最新の動画解析技術とデータサイエンスを活用しダンス技術のスコア化を実現 スキルチェックアプリ「Dance COMMUNE」をダンスクラスで導入開始 [PRTIMES]
- ネクストシステム、 エイベックスが手がけるダンススキル評価アプリ 「Dance COMMUNE」に技術パートナーとしてVisionPoseを提供 ~AI姿勢解析技術VisionPoseでダンススキルのスコア化を実現~ [@Press]
- VisionPose WEBカメラだけで実現できる、高精度AI骨格検出システム [公式HP]
- アビームコンサルティング、エイベックスとダンス教育分野にて協業を開始~スポーツ分野で培ったデータ分析ノウハウを活用し、ダンススキルの定量化を実現~
- エイベックス・ストリートダンス検定 Powered by Dance COMMUNE [Google Play]
- ディープラーニングを利用した画像からの姿勢情報推定:OpenPoseによる人工知能サービス展開の可能性 [Marvin.news]
- セッターのトスを正確に予測:ディープラーニングを利用したバレーボールにおける0.3秒後のボール軌道予測 [Marvin.news]
- 姿勢の歪みを1分で自動診断:大阪大学とお多福labが協力してスマホアプリ「Posen」をリリース [Marvin.news]
(Marvin編集部)