自分の顔に他者の口の動きや表情を再現する「Face Sharing」:音声から人工知能により筋肉の動きを推定

課題

自分の顔が他人に操作されるのはどのような経験でしょうか。普通はそんなことはできませんが、もし他人の顔の変化を自分にコピーできれば、表情のトレーニングや難しい発音の外国語の練習などに使用できるかもしれません。

解決方法

H2L株式会社と株式会社NTTドコモは、自分の顔に他者の表情と口の動きをリアルタイムで再現する「Face Sharing」を共同開発しました。「Face Sharing」はH2L株式会社の持つ「BodySharing技術」の新技術で、他者の代わりに口を動かしたり表情を変えたりしてコミュニケーションを行えます。「BodySharing技術」とは、筋変位センサーを活用して腕や手の動きをコンピュータに伝え、同じ動きを人間やロボットに再現させる技術です。

「Face Sharing」では、ある人物の音声情報から対応する顔の筋肉の動きを人工知能により推定して、別の人の頬に取り付けた電気刺激デバイスで刺激して、顔の動きを再現します。この人工知能について説明はありませんが、発音時の筋肉の活動を筋電位センサで読み取り、録音した音声データとの対応関係を深層学習などで学習し、変換関係を取得して、活用していると考えられます。

本技術を利用すると、他者の顔の3D映像を自分の顔に投影して表情を演出し、口を動かしながらスピーカーで他者の音声を再生できます。指定した口の動きや表情を再現することも可能です。

どうなったか

他者の口の動きや表情を自分の顔に再現し、音声はスピーカーから流せることから、外国人と会話する場合も、自分がその外国語を話せなくても外国語の話せる他者の口の動きや表情を再現して会話できるようになります。

また今後は、他者に頼らなくてもAIの語学力を活用することで、AIが作成した口の動きと表情でコミュニケーションをとれるようになるため、より円滑なグローバルコミュニケーションが可能となるでしょう。

デバイスを複数用意すると、1人の口の動きや表情を複数人に伝達することも可能です。例えば、英会話教室で外国人講師の口の動きや表情を生徒が真似する際などに活用できるでしょう。

以上では外国語でのコミュニケーションを例にとりましたが、「Face Sharing」の活用分野はそれだけではありません。例えば、プレゼンテーションの上手な人の口の動きや間のとり方を実際に体験して、プレゼンテーションの上達に役立てられます。

さらに、自分が専門知識を持っていなくても、「Face Sharing」を活用して専門知識を持つ技術者が遠隔から話すことでスムーズに会話が進められます。

まとめ

本当に他人の顔を自分の顔にコピーした以下は別にして、面白い技術ですね。このような技術の先には、スポーツの練習にトップアスリートの筋肉の活動をコピーするシステムもあるかもしれません。それぞれ個人の身体はことなるので、すぐには上手くいかないかもしれませんが、想像するとワクワクしますね!?

参考資料

(Marvin編集部)