課題

深層学習による画像や音声の認識が広く応用されるようになっています。これまでの多くのシステムでは、正確な認識のために高価なGPUなどを用いて計算を行うためデータをサーバへ送って計算を行う必要があるなど、通信の容量やクラウド使用料などのコストにより、用途を制限する状況になっています。

センサや情報処理、ネットワーク機能を持った小型機器がIoT（Internet of Things）の基礎デバイスとして普及しつつあります。この小型デバイスに高度な人工知能を盛り込めれば様々な応用が考えられますが、小型・低消費電力な機器での処理が課題となっています。

FPGA（Field Programmable Gate Array）などを用いて深層学習モデルを構築して低消費電力かするなどの取り組みはありますが、モデルが大規模になりパラメータが多くなってしまうと限界があります。

解決方法

株式会社アラヤは膨大なパラメータを持つニューラルネットワークを最大約1/30に圧縮しても性能の劣化を抑える技術を開発しました。この技術は、一旦学習した複数のモデルに関して一部を統合したり、さらに学習と圧縮を徐々に繰り返しながら性能の劣化を抑えながら、ネットワークの規模を縮小しているとしています。

また、モデルの規模を圧縮した後で、FPGAに自動的に実装するツールも開発しました。

どうなったか

画像の解像度を向上して高画質に変換する超解像EDSR（Enhanced Deep Super-Resolution Network）モデルを標準的な超解像データセットであるDIV2Kで学習しがモデルを圧縮した結果、全体のパラメータは3.54％に圧縮されましたが、精度はほぼ維持されました。

アラヤは、このツールを「Pressai（プレッサイ）」の名称で2020年3月より提供開始する予定としています。

まとめ

近年の大規模なニューラルネットワークの解析から、宝くじ理論などが提唱されています。この理論では、大規模なネットワークのうち一部の初期値がたまたま良い値になっているため、結果としてネットワークの一部のみが使用されており、その他の部分はほとんどデータの処理に寄与していないと考えています。また、従来より大規模なネットワークで学習した後で、小さなネットワークでその入出力を模倣するように学習する「蒸留」と呼ばれる手法は、性能の劣化以上に、性能を向上させる場合もあるため、注目されてきました。

今後も理論的な理解が進む中で、モデル圧縮の技術も進歩していくと考えられ、さらに多くの応用が期待されるようになるでしょう。

参考情報

• AIの深層学習用ニューラルネットワークモデル向け自動圧縮・実装ツールを開発―モデルサイズを最大約1／30に圧縮、エッジデバイスでの高度AI処理を実現― [国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）]
• Lim et al. “Enhanced Deep Residual Networks for Single Image Super-Resolution,” CVPRW2017 [arxiv.org]

• DIV2K dataset: DIVerse 2K resolution high quality images as used for the challenges

（森裕紀）