トレイのパン約10個を約1秒で精算。画像認識を使ったレジシステム

パン屋の会計で、レジ係の人はどれぐらいパンの名前を覚えているんだろう、と思ったことはないでしょうか。今回はそんなパンの会計を自動化するシステム「BakeryScan®︎」を紹介します。

課題

パン屋での会計はレジ係が消費者がトレイに乗せて持ってきたパンをみて、パンの見た目の情報からPOSレジなどに打ち込むという方法が一般的です。この方法はレジ係がすべてのパンの名前を記憶しておかなければならず、その研修コストが必要になっています。

また、パンの名前を覚えたとしても時間がかかって客を待たせることになったり、人間がやる都合上は一定の割合でミスが発生したりしています。

学習に時間がかからず

解決方法

「BakeryScan®︎」では客が会計に持ってきたトレイをカメラで上部から撮影し、画像識別技術を用いて瞬時に入力が終わるようにしました。

パンは焼き色や形がまったく同じものはないので、「BakeryScan®︎」はそういった違いがあっても正確な認識がされるようになっています。間違って認識しているかもしれないと判断されたパンは、画面上で通常とは違う色で表示され、人間の補助を受けて正しいパンを選択できるようになっています。その結果はシステムに学習のためにフィードバックされます。

パターン認識では、特定の種類の異なる「形」の中にある普遍的な特徴を数学的に捉えることが重要です。近年主流となっているニューラルネットワークでは、この「特徴」を自動的に抽出するのですが、変化の中の不変を捉えるためには十分なバリエーションの画像データを用意する必要がありました。

IT Mediaへの取材に対して答えた所によると、BakeryScan®︎では、ある意味古いやり方を採用して、パンの種類を識別するために必要な特徴をパンに関する知識から設計して、その特徴のみを見て判断すれば良いシステムとしました。これにより、学習の際のデータの数を圧倒的に減らすことができます。

このような場合、背景や照明条件が一定であればより頑健な特徴量抽出ができます。また特徴量抽出に関しては、例えばパンの画像のエッジから得られた閉じた曲線に関する（まん丸度合い）真円度を計算するなどの計算が行われる場合がありますし、今回は色の特徴に関しても設計が行われているようです。

どうなったか

トレイの上に約10個のパンが乗っていても1秒程度でPOSレジに入力できるようになり、客を待たせる時間が短くなりました。また、レジ打ちのためにパンを覚えることが不要になりました。

新しいパンを開発した際の登録には新規の同一種類のパンを5-6個提示するだけで学習が完了しました（IT Media記事）。これは、ニューラルネットワークベースであれば一桁以上少ない数になるかもしれません。

さらに、客に認識画面を見せる機能があるため、客の安心感アップに繋がったり、子どもが目新しさに喜ぶといった副次的なメリットもあったということです。

まとめ

パンの会計を画像認識で自動化することで高速化とミスの低減に成功したシステムを紹介しました。

レジのシステムというのは今開発がとても盛んで、セルフレジはもう大手スーパーなどでは当たり前になってきましたし、RFIDを使った自動レジもGUなどで導入がされています。またさらにそれを進めたレジなしの店舗のAmazon Goが米国でスタートし、日本でもJR東日本が無人店舗を駅内にオープンしています。

この「BakeryScan®︎」のシステムを知った時は、そもそもどうしてパンは袋に入ってないのだろうと思いましたが、公式HPの開発秘話によると、パンを個包装してバーコードをつけるという実験をすると、売り上げが減ってしまうというそうです。確かにあの焼きたてのパンが山盛りになっている陳列は、コンビニなどのパン売り場とは全く違うものですよね。

無人店舗のような大掛かりで魔法のようなシステムも楽しみですが、「BakeryScan®︎」のような導入が簡単で、目の前の課題を解決するようなシステムというのも良いですね。