課題

深層学習を用いた画像生成技術が近年急速に発展しています。イラスト制作・アニメーション制作支援を目的とした画像生成の技術開発が進められていますが、解像度の高い画像生成が可能なのは顔などの一部分に限られていました。

解決方法

アニメキャラの高解像度な全身画像とその動きを生成する技術を、DeNAが開発しました。

敵対的生成ネットワーク(GAN)を発展させたモデルを用い、身体構造の情報を伴うキャラクター画像の生成・分類学習を，低解像度から高解像度まで段階的に行うという手法により、画像と姿勢の生成をしています。

学習のデータセットには、衣装の異なる79種のアバター・アニメキャラクターを、ゲームエンジンであるUnityを利用して作成しています。キャラクターの一連の動きを600の姿勢に分割しており、各姿勢はキャラクターの3Dモデルに基づく20の点で身体構造として表されています。

どうなったか

提案されたモデルにより、ランダムな値から種々の高画質な全身キャラクター画像を生成することが可能となりました。

また、生成した2キャラクター間の補間により中間のキャラクターを生成することも可能となっています。

さらに、キャラクターに対する連続的な姿勢を生成して、動きの表現も実現しています。

まとめ

姿勢情報を伴うキャラクターの画像生成を、解像度について段階的に学習することで高画質な画像および姿勢を得る技術です。

今回DeNAが発表した例では、同種のキャラクターについてその衣装のみを多様に生成していますが、データを用意することでより多様なキャラクター生成につなげられる可能性があります。

また今後、アバター・アニメキャラクターのデータセットをオープンにする予定だとDeNAは発表しています。このデータセットを活用することで、キャラクターの画像や動きに関わる新たな技術の開発につなげることができると考えられます。

参考資料