深層学習により赤外線画像をカラー化:暗視カメラからの画像の視認性を向上

low angle shot on security camera with office building background, shanghai china.

課題

深夜など光のない場所で赤外線カメラによる監視が行われることがありますが、そのままの赤外線の強度を画像化したモノクロ画像や擬似的な色画像では視認性が悪くなってしまいます。

物の色はその物が吸収しない反射波長で決まります。人間の可視領域の白色光(全ての波長の光の混合)で照らすと通常感じる色を感じることができますが、可視領域より長い赤外線を当てた場合に適切に反射波長を推定できなければ、可視光時の画像を得ることはできません。

可視光を当てた場合の反射波長と赤外線を当てた際の反射波長には相関関係があることがわかっているため、適切な変換を行えばカラー画像が得られるはずです。しかし、その相関関係はそれほど強くないため従来手法の再現性は低いものとなっていました。

解決方法

産業技術総合研究所は、従来技術では再現性の低かった深層学習技術を用いて赤外線画像や赤外線動画像から可視光カラー画像を再現する技術を発表しました。

開発したシステムは、入力に赤外線画像、出力に可視光画像とする学習を畳み込みニューラルネットワーク(CNN)を用いて学習しました。また、動画像に対しても時系列データに対応できる再帰的ニューラルネットワークを用いて学習を行いました。

データの取得方法については発表されていませんが、赤外線画像と可視光画像を同時に撮影して取得したようです。赤外線画像として中心波長を780 nm、 870 nm、940 nmとする赤外線カラー画像と赤外線モノクロ画像を用いて、両者の可視光カラー画像化に取り組みました。

どうなったか

従来技術に比べて大幅な性能向上を達成しました。以下の図に示すように明確な違いが見て取れます。

https://www.aist.go.jp/aist_j/press_release/pr2020/pr20200206/pr20200206.html
https://www.aist.go.jp/aist_j/press_release/pr2020/pr20200206/pr20200206.html
https://www.aist.go.jp/aist_j/press_release/pr2020/pr20200206/pr20200206.html

まとめ

赤外線画像からカラー画像を推定する研究を紹介しました。

白黒画像のカラー化や単眼画像による奥行き画像の推定など深層学習による変換技術により画像のパターンそのものに情報があることが知られてきました。今回の技術でも何らかのパターンをうまく捉えて、可視光カラー画像を生成できているようです。

赤外線に限らず、通常のカメラ画像では得られないマルチスペクトル画像から環境情報や植物の腐敗などを検出する研究もあり、光の三原色を用いたカメラ以外の画像の活用も広まっていくでしょう。

参考資料