ホーム > 医療 > AIが目の不自由な人のためにカメラに何が写っているか読み上げるアプリ「Seeing AI」

AIが目の不自由な人のためにカメラに何が写っているか読み上げるアプリ「Seeing AI」

課題

目が不自由な人が、より生活しやすくすためにAIにできることはあるだろうか。そんな研究プロジェクトがマイクロソフトによって「Seeing AI」という名前で行われています。

解決方法

Seeing AIではスマートフォンのカメラや保存された画像をAIが読み取り、そこに写っているものを音声とテキストで利用者に伝えます。

Seeing AIが読み取るのは、画像内のテキスト、バーコード、人物、物体、通貨（金額）、色、周囲の明るさなどです。人物の場合は性別、年齢、感情なども推定しますし、事前に友人の顔などを登録しておけば名前で教えてくれます。

実際にアジア系の家族写真を読み込ませてみるとこのようになりました。

図1. 家族が集まっている場面をSeeing AIに認識させた結果

4人が認識されており、それぞれ年齢と性別、感情が推定されました。男性がLee min-hoと芸能人と認識されている以外はだいたいあっているように見えます。

どうなったか

実際に目の不自由な人が便利になるようにUIなどもスマートフォンを読み上げ機能モードにしている場合に使いやすいように工夫されており、AppStoreでも4.6点という高評価を得ています。また、アメリカ盲人協会、アメリカ盲人協会のヘレン・ケラー賞、CESアジア、モバイル世界会議など多数の賞も受賞しているということです。

まとめ

こういった支援のアプリというと「Be My Eyes」が有名かと思います。これはスマートフォンのアプリを立ち上げて支援を募集すると、複数名にヘルプメッセージがとび、今カメラに写っているものが何かを教えてあげるというものです。人力のSeeing AIともいえます。

こういった研究は不自由な人のためだけでないように思います。目が見える人でも、所詮は目の前のものしか見えません。もし背後や他の部屋、はるか遠くのものまでAIの力を借りて認識できたら面白くないでしょうか。さらなる発展を期待したいと思います。

参考資料

（Marvin編集部）

関連記事