メルカリがディープラーニングを用いた写真検索機能を導入

課題

昨今ではAmazonやメルカリといったECサイトの登場により、人々の購買行動が大きく変化してきています。気になるものをスマートフォンから手軽に購入することができるのが大きな魅力と言えるでしょう。 インターネットやSNSの普及により人々が膨大な情報に触れるようになった社会では、気になるものを手軽に購入するというスタイルが合っているのかもしれません。一方で、気になるものの商品名やブランド名がわからず、探すことができないというユーザーの声も多いようです。

解決方法

株式会社メルカリは、スマートフォン端末内の写真を読み込むことで、「メルカリ」上にある同一商品や類似商品を検索できる「写真検索機能」を導入すると発表しました。

この機能にはディープラーニング(深層学習)の技術が活用されているとしています。 メルカリのサービス開始から約5年間で蓄積した数十億規模の商品情報(ユーザーが投稿した画像・商品名・説明文)のデータセットを用いているとのことです。

どうなったか

ブランド名や商品名がわからず検索できなかった商品を、簡単に探すことができるようになります。

画像内から検索範囲の領域を指定することもできるようなので、より正確な画像認識ができるでしょう。

まとめ

従来のメルカリの「キーワード検索」、「カテゴリー検索」、「ブランド検索」といった検索機能に、「写真検索」が追加されました。

画像検索においては、画像をハッシュ関数に入力した際の出力値(ハッシュ値)の類似度から類似画像を検索するという手法が一般的です。ハッシュ関数は、入力データから一意となる代表数値を出力する関数で、同一の入力データからは同一のハッシュ値が生成されます。画像検索においては、画像サイズ変化や回転・色調変化などに対しても同一か近しいハッシュ値を出力するハッシュ関数(perceptual hash等)が用いられます。このハッシュ関数を畳み込みニューラルネットワーク(CNN:画像認識分野で幅広く使用されている深層学習モデル)などの深層学習によって作成する研究も行われています( [H. Liu et. al, 2016] など)。

ECサイトはユーザーの出品情報や落札情報のビッグデータが資源であるため、ユーザー数が勝負を左右すると考えられます。フリマアプリにおいて圧倒的なダウンロード数を誇るメルカリは、今後もどんどん成長が期待できるのではないでしょうか。

参考資料

(本吉 俊之)