アマゾンウェブサービス、自動運転を通して強化学習を学ぶフレームワーク「AWS DeepRacer」を発表

課題

近年、数多の機械学習手法の研究が盛んに行われていますが、その中でも強化学習が注目を集めています。強化学習とは、ラベル付けされた学習データを用いることなく、シミュレータ内での試行錯誤によって、エージェントの複雑な動作の判断原理を学習させるという機械学習手法です。現在でもロボットの動作や自動車の自動運転、ゲームAIといったものに活用されていますが、今後より複雑なエージェンが増えていき、ますます強化学習の出番は増えていくと予想されます。それに伴い、多くのエンジニアが強化学習について学ぶ必要が出てくるでしょう

解決方法

Amazonは、アマゾンウェブサービス(AWS)の年次開発者イベント「re:Invent 2018」の基調講演において、エンジニア向けの強化学習手法の教材となるサービス「AWS DeepRacer」を発表しました。

AWS DeepRacerは、ロボットカーの自律走行モデルの実装を通じて、強化学習を体感することが出来るフレームワークです。

Amazonが提供する機械学習向けプラットフォーム「Amazon SageMaker」内で構築した自律走行モデルを、3Dシミュレータ上で強化学習・テストをすることができます。また、簡単なsimulation-to-real-worldの転移により、シミュレータで学習させたモデルを、実世界のロボットカーの走行に利用することもできます。

ロボットカーは、18分の1サイズのラジコンカー程度の大きさの中にセンサー類(HDカメラ・加速度センサー・ジャイロセンサー)とデュアルコアCPU(Intel Atom)を備え、強化学習モデルによるアクセル・ステアリング操作での自律走行が可能だと発表されています。

どうなったか

AWS DeepRacerにより、手動でソフトウェア環境構築を行うことなく、最新の強化学習手法やsimulation-to-real-worldの転移を実体験することができます。

また、AWSは、2019年はじめより「AWS DeepRacer League」という競技会を開催することも明らかにしました。シミュレータでのオンライン大会や実車でのライブ大会が開催され、自律走行によるタイムトライアルのスコアを競います。これらの大会の勝者にはre:Invent 2019で開催される「AWS DeepRacer Championship Cup」への出場権も与えられるようです。このような競技会で切磋琢磨することで、エンジニアのモチベーションが高められるでしょう。

米Amazonではすでに予約が開始されており、3月の出荷を予定していると発表されています。定価は399ドルのところを、249ドルで割引販売がされています。ただし、今のところ日本からの予約注文はできないようです。

まとめ

強化学習を手軽に実体験できるフレームワークAWS DeepRacerの登場により、導入コストが下がり強化学習の活用が増えていくことが期待されます。

機械学習ベースの自動運転研究においては、未だシミュレータ環境内での走行に留まるものが多く、実環境での走行実験はなかなか行われていません。そのような現状の中、ラジコンカーサイズの車とはいえ、実環境での自律走行を手軽に実装できるこのフレームワークは、エンジニアにとって強い刺激になるのではないでしょうか。

 

参考資料

(本吉 俊之)