深層学習を用いて料理の画像をリアルタイムに別の料理に変換:「MagicalRiceBowl」

VRカメラを見ながら食事をする人

課題

食事をすることは人間の生きる楽しみの一つですが、健康、食品アレルギーや費用の問題などによって食べたいものを食べられないことがあります。

東京大学の鳴海拓志講師を中心としたプロジェクト「メタクッキー」では、クッキーの表面を拡張現実(AR)により、チョコレートやストロベリーなどの模様に変濃くすると主観的な味覚にも変化が現れることが示されています。このような現象を利用すれば、様々な食品を「味わう」ことが可能になるかもしれませんが、複雑な料理の見た目を変えてしまうことは容易ではありませんでした。

解決方法

電気通信大学 柳井研究室は深層学習を用いて料理の画像を別の料理に変換する「MagicalRiceBowl」というiOS向けアプリを開発しました。

これはアプリを起動したiPhoneを料理に向けると別の料理がリアルタイムに別の料理に変換して表示されるというアプリです。目の前にはラーメンがあるのに、画面上には料理だけがカレーライスに変わっているという具合です。

アプリには具体的な手法は紹介されていませんが、同研究室の別の食事の変換の研究では画像の変換にはGAN(generative adversarial network)が用いられており、今回も同じ方法で変換していると推測されます。

また、変換はiPhone上で行っており、iPhone XなどでFace IDなどで使われてもいるA11チップの機械学習専用のニューラルエンジンが活用されています。

どうなったか

現在はラーメン/カレーライス/白米/チャーハン/牛丼/うな重/冷やし中華/ミートソース/蕎麦/焼きそばへの変換に対応しています。

図1. アプリで変換している様子。(今回は適当な料理がなかったのでiPad上に表示したカレーを変換しました。)

上図のように、iPhone上で変換しているためキビキビと変換されて動作しています。

まとめ

まだこれをみて脳を錯覚したまま食べるというレベルまでは難しそうですが、アプリを使ってみると「あれ?どっちが本物だっけ」と混乱することが何度かありました。同研究室では奈良先端科学技術大学院大学との研究研究でARを組み合わせる試みもされており、こちらだとさらに混乱するだろうと想像させられます。

かき氷のシロップは味は同じで、実は色と香料が違うだけという話があるぐらいですので、案外こういった未来の実現は近いかもしれません。

参考資料

(Marvin編集部)