課題

3Dモデルのポーズ付けには、既存のポーズを適用するか、手作業で関節などを調整する必要があり、時間と手間がかかるという課題がありました。

解決方法

株式会社セルシスはイラスト・マンガ・アニメーション制作ソフト「CLIP STUDIO PAINT」に、機械学習を用いて、写真に写っている人物のポーズを読み取り、それを3Dモデルに適用できる機能を開発しました。

人物が映った写真を読み込ませると、画像がセルシスのサーバに送られ、そこで解析がされるという形で実現がされています。

どうなったか

これにより、3Dモデル作成者は、写真を読み込ませるだけで、3Dモデルのポーズ付ができるようになりました。

まとめ

3Dモデルのポーズ付を自動で行うシステムを紹介しました。

この領域だとAdobeがかなり先行しており、単なる単純作業の代替以上のことをすでに実現していて、毎回驚かされています。（参考）

とはいえ、今回のポーズ付のような仕事は一定のレベルまでは誰がやっても同じにも関わらず時間と労力がかかるものなので機械学習利用のメリットが大きいケースだと感じました。9割を機械がやることで残りの仕上げの部分で完成度を高めたり、クリエイターの個性を発揮するということに使えるようになるのはとても良いことです。

これまでも「CLIP STUDIO PAINT」は機械学習を用いた自動彩色やトーン消去といった機能を複数リリースしており、今後のバージョンアップも楽しみです。

参考資料

• CLIP STUDIO PAINT に機械学習（AI）の技術を活用した「ポーズスキャナー」を搭載 写真から人物のポーズを読み取り、3Dデッサン人形などに適用｜株式会社セルシスのプレスリリース[PR TIMES]
• デザイナーの新しい常識！「Adobe Sensei」が告げる次世代デザイン環境の到来 – Adobe Blog

（Marvin編集部）