AIが画像から食事のカロリーを推定する栄養管理、ダイエットアプリ「カロミル」:画像中の複数の食品に対応

課題

ライフログテクノロジー株式会社が公開している「カロミル」は画像からカロリーを推定し、表示するアプリです。同社は「健康寿命を太く、長くする」をミッションとし、管理栄養士、エンジニア、データサイエンティスト、人工知能の研究者でヘルスケアアプリ開発を行うとしています。

日本人の死因の多くを占める三大疾病の元となるのは生活習慣病で、この生活習慣病の大きな要因は、食事、睡眠、喫煙、運動です。自分の生活を記録しようとしても途中で面倒になってやめてしまう人も多いでしょう。

カロミルは、中でも食事に関してのカロリー管理を画像で手軽に行うことを目的とした、「AIが食事を数値化する栄養管理・ダイエットアプリ」です。しかし、ユーザから「食べる物全ての写真をとるのは大変で忘れがちになる」という意見が多くありました。よって1つの写真から複数の食品の解析を行うことと、食品数を増やすことが求められました。

解決方法

カロミルは食事を写真に撮るだけで、カロリーを数値化してくれます。撮った写真は自動でアプリに反映され、データはグラフで可視化されます。食品や商品のデータベースの中からユーザが手動で検索・選択すると栄養素が自動概算・記録される機能に加え、カロミルで独自に開発した画像解析AIを用いて、ユーザーが食べ物を撮影するだけで栄養素を記録できる機能を実装しています。

今回の新機能では、写真から食品ごとに解析結果を出力する手法を採用しました。また、対応食品数を増加させ10,000点の食品にまで対応しました。複数の食品を同時に画像判別して、自動で栄養計算をすることができます。食事内容をアプリに記録する際に、従来は1つの食品に対して1枚の写真を利用して画像解析を行っていましたが、複数の食品に対して1枚の写真から同時に画像解析を行えるようになりました。たとえば食事の前に1枚の写真を撮影するだけで簡単に食事内容の記録をカロミルで行うことができます。

同社のプレスリリースに具体的手法は書いていませんが、近年の物体検出手法により、まず「食品」を部分画像として抽出し、それぞれの食品画像を従来同社が開発してきた手法により食品を推定し、さらにカロリーを推定しているようです。物体検出については、次の資料が詳しいです(ディープ・ラーニングにおける物体検出)。

さらに、鹿屋体育大学の共同研究でアスリート用に特化したアプリとして既存のカロミルにアスリート向けの新機能を追加した「パフォーマンスナビ」が、2019年4月から「2020かごしま国体 自転車競技強化チーム」に試験導入されました。毎日の食事内容や、体重・体脂肪率・睡眠時間などの情報を簡単に記録できる機能を搭載してアスリートが最高のパフォーマンスを発揮するのを目指しています。

https://prtimes.jp/main/html/rd/p/000000020.000018894.html

説明動画:https://youtu.be/hlleJq85YZc

「カロミル」に食事内容を記録する方法は、写真を撮る以外にも食品データベースからキーワード検索をして登録する方法や、文字入力により食事内容を登録する方法があります。1万種類の食品の内訳は、カロミルの全ユーザがこれまでに登録した食品を集計したランキングの上位1万で、料理名、食品名、市販の商品や外食チェーンのメニューなどから構成されています。日本人が飲食する一般的な食の品目数は約4000と言われていますが、カロミルはそれらを網羅し、その他にも人気のある商品や、大手外食チェーンのメニューなどにも対応しています。カロミルが現在対応している食品は、カロミルの全ユーザーの喫食の90%以上に対応していると試算しています。1万品目に含まれない食品については、類似商品や一般的な料理名として栄養解析します。

どうなったか

カロミルはとくに私たちが日常で利用するスーパーやコンビニエンスストアで販売されている人気商品や大手外食チェーンのメニューなどの自動認識率を強化しています。家庭料理にも対応しているので、今回の複数食品の同時解析機能により食事を1枚の写真におさめれば、家庭料理とコンビニエンスストアで購入した商品を同時に画像解析することが可能になります。

まとめ

日常の健康管理だけではなく、医療スポーツへの応用など今後新たな分野へ広がってゆく可能性も期待されます。人のパフォーマンスを最大限に上げるため、食事管理は若いうちからも大切です。

参考資料

(蒲生由紀子)