リザバー(貯水池)コンピューティングは低消費電力時系列処理AIの救世主か?:ハードウェア技術が相次いで公開

課題

近年、応用が拡大しているニューラルネットワーク(深層学習)技術は莫大な計算資源が必要とされ、GPGPU(グラフィックプロセッサユニットによる汎用計算)を用いた小規模計算の大規模並列化によって学習や推論の計算が行われてきました。しかし、最新のGPGPUなどを用いた計算は消費電力が大きく、熱も発生し、重いハードウェアが必要となると同時に、コストが高くなってしまい、応用する場面が限られていました。

画像認識で使用されるコンボリューショナル・ニューラルネットワークの場合には、蒸留(※1)と呼ばれる技術を用いたネットワークの小規模化や浮動小数点演算のビット数削減(※2)、さらにはネットワーク内部の数値を全て二値化してハードウェア実装を簡単化する(※3)などの工夫が行われて、「現場で使える」人工知能への期待が高まっています。

自然言語処理や時系列データ解析で使用される再帰的結合が存在するリカレントニューラルネットワークの場合には、主流の手法では学習や推論を行う際のコストが大きく、現場で使用するためにはより一層の計算コストや消費電力の削減が課題となっています。

 

解決方法

ハードウェア実装しやすく学習の計算コストを下げるためにスパイクニューロンモデルを用いたリザバーコンピューティングをFPGAにより構築する例が複数現れました。

リザバーコンピューティングでは、「ニューロン」モデルを相互に結合したリザバー(Reservoir:貯水池)部において、入力時系列に対して様々なニューロンの内部状態の時間パターンが同時多発的に現れていることを前提に、ある入力時系列に対する出力の教師信号があった場合にニューロンの内部状態から出力への線形変換のみを学習します。内部の信号のやり取りの様子が、あたかも残響(Echo)のように響いていることを連想させることからEcho State Network(ESN)と呼ばれているネットワークや、水面に石を投げ入れた時の波紋を連想させることからLiquid State Machine(LSM)と呼ばれるネットワークが提案されています。ESMは連続値を出力するニューロンモデルを用い、LSMはスパイクを出力するニューロンモデルを用いるといった違いがありますがほとんど同じです。様々に生成される時系列パターンが貯水池の中の波紋を連想させることから、このような計算モデルをリザバー(貯水池)コンピューティングと呼ばれています。

リザバーコンピューティングでは、ロングショートタームメモリ(LSTM)などの通常のリカレントネットワークにはない、ハードウェア実装に有利な特徴があらかじめ備わっています。例えば、上記で説明したように、基本的にリザバー内部のニューロンからの線形変換のみを学習するため、計算コストのかかる、時間を遡って出力信号と教師信号の誤差を伝搬させながら学習していく部分がないため、効率的な学習が可能になります。また、ニューラルネットワークのハードウェア実装では、ニューロンの情報を相互に参照するための通信配線が非常に多く必要になりますが、ニューロンの発火状態のみを1ビットでやり取りするのであれば、効率化が計れます。また、リザバーコンピューティングでは、多様な時系列パターンをリザバー部で生成するために最初から結合を一定程度、疎にする工夫がされています。例えば、あらゆる結合の組み合わせの可能性のうち10%のみを実際に結合します。これは、結合がないと信号間の連携が行われず、全結合では全てが同期する可能性が高まってしまうためです。

 

どうなったか

最近、リザバーコンピューティングのハードウェア実装が複数発表されています。

Eta compute社はスパイクニューラルネットワークに基づいてリザバーコンピューティングを行うチップが開発されたと発表しています。この製品は、米パデュー大とインテル社の研究者が共同でFrontier in Neuroscience誌に発表した成果で、スパイクニューロンモデルによるリザバーコンピューティングモデルを、動画像などを高速に認識させた研究を基にしているようです。この論文を手がけたインテルの研究者スリニバサ博士はEta compute社に移籍しています。

ウェブサイトの記述によるとEta compute社のスパイクニューラルネットワークチップは、(詳細は記述されていませんが)キーワード認識のタスクで通常のコンボリューショナルネットワークやディープニューラルネットワークに比べて8倍の性能を2mWの消費電力で実現したそうです。

また、カナダ・シャーブルック大学の研究者グループはMEMS(メムス、Micro Electro Mechanical Systems※4)技術を利用してリザバーコンピューティングを実現する技術をJournal of Applied Physics誌に発表しています。

これらの技術は低消費電力で高度の時系列処理を可能にすると考えられるため、普及が進めば現場サイドで高速かつ逐次的に学習を進めながら推論を行い続けることが可能になり、様々な場面で活用されると考えられます。

まとめ

ハードウェア実装されたリザバーコンピューティングによる時系列処理が現実的な製品としてどの程度の性能と価格を実現できるかが、応用を考える上でも鍵となるでしょう。

今後、複数の異なるアーキテクチャがワンチップに載るような製品も出てくるのではないかと考えられます。今後の動向に注目です。

 

 

※1 蒸留:クラス分類するモデルを大規模なネットワークで0or1の教師信号を基に学習させ、入力に対するクラスの確率を出力するネットワークを獲得させた後に、小規模なネットワークに同じ入力に対して確率値そのものを学習させる。ネットワークの規模を小さくできるとともに、性能も向上する場合があります。

※2 浮動小数点演算:深層学習においては、倍精度(64ビット)演算をGPGPUで主流の単精度(32ビット)演算としたり、半精度(16ビット)としても認識率がそれほど低下しないとされる。

※3 ネットワークの二値化:重大な性能低下はないとされている

※4 MEMS:機械部品やセンサなどをシリコン基板上に実装して、ごく微小な力学を利用したシステムを構築する技術

深層ニューラル・ネットワークの効率を劇的に上げる「蒸留」 [WirelessWire News]

リザーバーコンピューティング(Reservoir Computing:RC)[IoT {Internet of Things / まとめ}]

Echo state network [Scholarpedia]

Eta Compute Launches Machine Learning Platform with Ultra-Low-Power Consumption for Edge Devices [etacompute.com]

Priyadarshini Panda and Narayan SrinivasaLearning to Recognize Actions From Limited Training Examples Using a Recurrent Spiking Neural Model, 2018 [frontier in Neuroscience]

AI on a MEMS Device Brings Neuromorphic Computing to the Edge [IEEE Spectrum]

Guillaume Dion et al. Reservoir computing with a single delay-coupled non-linear mechanical oscillator [Journal of Applied Physics]

(森裕紀)