InstagramがAIを用いて攻撃的な内容のキャプションを検出する新機能をリリース
課題
ネットいじめは深刻な問題です。10代のユーザーがいじめを最も経験していても、状況がエスカレートする可能性があるため、SNS上でブロックしたり、フォローを解除したり、報告する可能性は高くありません。悪質なコンテンツについて、ユーザーに任せるのではなくプラットフォーム上でコントロールするため、ここ数年、InstagramではAIを使ってコメント、写真、動画でのいじめやその他の有害なコンテンツを検出してきました。
解決方法
2019年12月16日、InstagramはAIを利用して攻撃的な投稿を検出する新しい機能を公開しました。この機能は、現在のところ英語のみ提供されています。
投稿の下書き段階でキャプションが攻撃的である可能性があることをAIが検出すると、そのキャプションがいじめで報告されたキャプションと似ている警告が画面上に表示され、投稿前にキャプションを編集することができます。ユーザーにキャプションの編集を促すものの、変更せずに投稿するオプションも用意されています。

Instagramは7月にも「Restrict」 と呼ばれる不要なやり取りからアカウントを保護する新しい方法のテストも行っていました。あるユーザーを制限すると、そのユーザーのコメントは、投稿者にのみ表示されます。制限されたユーザーのコメントを承認することで、そのコメントは他のユーザーが見ることができるようになります。

どうなったか
Instagramによると、今回リリースされた機能をテストしてみたところ一部のユーザーはコメントを取り消して、あまり害にならないことをシェアするようになったようです。新機能は「一部の国」で提供されていますが、今後数カ月のうちに全世界に拡大される予定だといいます。
まとめ
Instagram責任者のAdam Mosseri氏は「Instagram上に安全な環境を作ることは私たちの責任です。これは私たちにとって重要な優先事項であり、私たちはこの問題をよりよく理解し、取り組むために投資を続けています」と述べています。
Instagramは広告もデザインの制約を設けるなど、洗練された世界観を作るためにさまざまな取り組みを行っており、今後もネットいじめ対策においては新機能をリリースしていく可能性が高いと考えられます。また、日本語や他の言語への対応も期待したいところです。
今回は投稿に対するコメントですが、今後はユーザーの利用率が高いストーリー(24時間で消えるポスト)でのいじめも、何らかの対策がなされるのかは注目です。TikTokでは不適切な動画を検知して警告のキャプションが表示されるようになり、Twitterも不適切画像を自動検出してタイムラインに表示させていますが、それぞれのプラットフォームとしての特性と表現の自由を考慮しつつも、今後も適切な個々人の表現のあり方が模索されていくことでしょう。
参考資料
- Instagram、不快な内容のキャプションにAIが再考を促す新機能 [engadget]
- Instagram to start warning users before they post ‘potentially offensive’ captions [THE VERGE]
- Our Progress on Leading the Fight Against Online Bullying [Instagram]
- Our Commitment to Lead the Fight Against Online Bullying [Instagram]
(蒲生由紀子)