規約違反投稿の対象をAIで80%以上削減: mixiの健全化の取り組み

ミクシィグループ(株式会社ミクシィ、 東京都渋谷区、代表 木村 弘毅)のブログにて SNS「mixi」の 健全化活動における、不適切コンテンツ検出(規約違反投稿)のための機械学習の活用が紹介されました。

課題

SNS「mixi」は利用者が「日記」「メッセージ」「コミュニティ」といった機能で文章や画像を投稿できるようになっており、これら投稿に対して運営者は、誹謗中傷や違法行為といったサービスの利用規約に違反している投稿がないかチェックしています。

mixiではこういった投稿をチェックするためキーワードフィルタ等を使うなどしてきましたが十分な精度が出ず、数万件から1件を探すような監視の労力は課題となっていました。

解決方法

このような課題を解決するため、機械学習を利用し投稿された文章および画像の危険度を判定するようなモデルを構築しました。 内容が危険かどうかの教師データにはこれまで人の目で判定してきた危険な投稿のデータが十分な量あったためそれを利用しています。

投稿内容が危険かどうかの教師データにはこれまで人の目で判定してきた危険な投稿のデータが十分な量あったためそれを利用しています。

今回のような不適切コンテンツの検出は「通常の投稿を危険な投稿を判断することはあってもよいが、危険な投稿を通常の投稿と判断して漏らすことはあってはならない」というタイプのものになります。そのためモデルには、単純な正解率より、Recall(再現率※)を最大化する(False Negativeを最小化するという調整がされました。

他にも今回の現場に合わせた次のような工夫がされています。

  • 投稿内容を短文/長文/画像といった分類をし、それぞれに別のモデルを用意する
  • モデルが古くならないように継続的に学習し直し、モデルをアップデートする仕組みを構築
  • 推論モデルはREST API(AWSのAmazon API Gateway)で提供することで特定システムへの依存なく、他システムから利用可能

どうなったか

実用に十分な精度をだすことに成功し、「機械が危険と判断したもののみ人間が判断する」といった運用によってスタッフが監視しなければいけない対象を80%以上削減できました。

まとめ

「mixi」の不適切コンテンツ検出のための機械学習活用を紹介しました。

ユーザーの投稿コンテンツのチェックは各社が機械学習を活用しており、FacebookTwitter、Googleなどではすでに実用されていることが公表されています。動画サイト「Youtube」でも2017年の6月から12月の約半年で暴力的な動画を15万本以上削除し、200万以上の動画を機械学習のために人力でレビューしたと発表しました。

何が削除すべきコンテンツかというのは難しい問題もはらんでいますが、まず利用者が非表示にしたいコンテンツを選択できるというあるべき姿にはなってほしいと思います。

参考資料

(Marvin編集部)