課題

季節や流行の変化、ブランドの特色に応じて様々な衣服が製作されています。衣服を製作するにはまずデザインを決定するためのスケッチを作製し、そのスケッチを基に型紙の作成と生地の裁断、裁縫を行う必要があります。実物の製作を伴う試行錯誤は最終製作物のイメージを把握することに対して有用で反面、非常にコストがかかります。一方で、このような試行錯誤をコンピュータシミュレーション上で行うために、デザイナーの作製したスケッチ画像からマネキンに衣服を着せた際のしわやドレープを確認するための衣服の3D画像を生成するシミュレーションモデルが提案されています。しかし様々な要素の相互作用を考慮した3D画像の生成には時間がかかるために、インタラクティブにデザインを変更することが困難でした。急速に変化する流行を反映させるためには、デザイン修正と3次元的な衣服モデル検証の試行錯誤を高速に行う必要があります。
このような課題に対しUniversity College London（UCL）とAdobe Researchの研究者グループはディープラーニングを用いることで、衣服のスケッチ画像から衣服の型紙画像や、しわやドレープを含む衣服の3Dモデルを任意の身体構造に合わせて高速に生成する技術を発表しました。この技術はコンピュータグラフィックスとインタラクティブ技術に関する国際会議であるSIGGRAPH Asia 2018において報告されます。

解決方法

2次元のスケッチ画像から3次元の衣服モデルを生成することは、衣服の材質や身体構造の違いに影響を受けるために非常に難しい技術になります。これまでにもスケッチ画像から衣服モデルを生成する技術はいくつか提案されていましたが、それらは学習データの少なさから過学習（学習データに対して誤差は少ないが未学習データに対しては性能が悪い状態）に落ちてしまうものが多くありました。UCLとAdobe Researchの研究者グループはこの問題を解決するために非常に多くのスケッチ画像と型紙画像、そして3Dモデルの組み合わせデータを衣服のシミュレータを用いて生成しました。具体的には「シャツ」「スカート」「着物」の3種類の衣服に対してそれぞれ8000種類のデータを生成しています。作製されたデータセットはこちらの最下部から入手可能です。
発表されたディープラーニングモデルでは、スケッチ画像を畳み込みニューラルネットワーク（CNN）の一種であるDenseNetに入力した際の特徴量ベクトルと、生成した衣類を着せるためのマネキンの身体構造と衣服を型紙画像に落とし込んだ際の寸法に関する情報（例えば腕の長さや幅等）、そして衣服の3次元モデルから主成分分析によって抽出された特徴ベクトルを、複数のエンコーダ・デコーダネットワークを用いることで1つの潜在特徴量を共有するように学習されました。またこのネットワークとは別に2つのスケッチ画像間のHOG特徴量の差分とそれぞれ対応する衣服の3Dモデルの圧縮表現の差分を対応付けるネットワークを学習させることによって、マネキンの身体構造に応じて衣服の3Dモデルの微調整を行います。
それぞれのネットワーク構造の詳細と学習手法の詳細に関してはこちらとこちらをご参照ください。

どうなったか

提案モデルを利用することによって、従来のシミュレーションよりも高速に衣服の3Dモデルを生成することが可能になりました。またテストデータセットにおいてスケッチ画像や身体構造パラメータから生成された衣服の3Dモデルと実際の3Dモデルの誤差を計算したところ、誤差は10%以下に収まっていました。
この技術を利用することでスケッチ画像と型紙画像、衣服の3Dモデルをそれぞれ操作、生成、確認することでインタラクティブにデザインを修正することが可能になりました。実際に生成された衣服の3Dモデルやインタラクティブなデザイン修正の様子はこちらやこちらをご確認ください。

まとめ

ディープラーニングの技術を利用することで2次元のデザインスケッチ画像から3次元的なしわやドレープを含む衣服の3Dモデルを生成する技術について紹介しました。この技術を利用することで、シミュレータを用いた方法よりもより高速に衣服デザインの修正が可能になります。試行錯誤にかける時間を削減することによって、より少人数で複数のプロダクト開発が可能になるかもしれません。
今回の技術のように、これまで時間のかかるシミュレーションを通じて得ていた結果をディープラーニングモデルによって高速に推定する方法（エミュレーション）が注目を集めています（例えばこちらやこちら）。今後製造業や製薬の分野においても、これまでに得られている大規模データとディープラーニングの技術を用いてエミュレータを構築することが重要な課題になると考えられます。

参考資料