音声に合わせた動きを1枚のイラストから自動生成:深層学習エンジン「DeepAnime」

課題

イラストレーションの世界では、ディープラーニングの技術の登場により、自動着色や、自動生成といったことが実現されるようになり、将来的に誰でも簡単にプロ並みのイラストを描いて楽しめるような世界が想像できるようになってきました。しかしイラストを動かすアニメーションとなると、まだ多くの作業がプロの熟練の技術が必要で、多くの発展の余地が残されています。

アニメーション制作で時間のかかる工程の1つは「中割り」の作業です。原画作者が静止画としての動きの中間イメージを作成すると、その静止画と静止画を繋ぐ中間の絵を描くのが中割りです。動画像を作成するためには、止め絵から動きを作るのための絵を多数作らなければならず、アニメ製作者の腕に見せ所であると同時に時間のかかる工程でもあります。可能な限り動きの生成を自動化できれば、質を高める仕事に集中することができるでしょう。

解決方法

東京大学発のAIスタートアップである株式会社AlgoAge(本社:東京都港区 、代表取締役:安田洋介)は、ディープラーニングを使って1枚のイラストから顔のアニメーションを自動生成するエンジン「DeepAnime」を開発しました。

イラストを動かした様子(プレスリリースより)

深層学習の技術を応用して、一枚の顔画像から瞬きや口の動きを生成するすることができ、音声から適切な動画像を生成することにも成功しているということです。

どうなったか

特徴として、自然なアニメーション、入力は1枚の画像のみ、音声など状況に合わせて生成可能ということを挙げており、デモの動画では、1枚のイラストとセリフの音声を入力にキャラクターが動いている様子を見ることができます。キャラクターはセリフに合わせて口を動かし、時折瞬きをします。

アバターやキャラクターの画像を動かしたり、アニメーションやゲームの制作において作業を省力化するといった使い方を想定しているとのことです。

まとめ

今回はイラストからアニメーションを生成するディープラーニングを用いたシステムを紹介しました。Marvinではこれまで全身画像の自動生成動画からアニメの生成といったメディア生成の取り組みも紹介してきました。

単に画像を動かすだけでなく、現場で使うとなるとUnityやLive2Dといったアニメーション作成ソフトとの連携も必須になるので、そのあたりのフォーマットの対応などはなかなか大変そうではあります。実用できればかなり省力化が見込めそうですので、こういったソフトの充実によってアニメーションの質が上がっていくのは楽しみです。

参考資料

(Marvin編集部)