課題

機械学習・人工知能技術を用いた音楽生成の研究が盛んになってきています。本サイトでも以前にGoogleによる詞からメロディを自動生成する作曲技術の出願特許について紹介しました。

一方で、機械学習・人工知能に音楽の創造をさせるだけではなく、機械学習・人工知能によって人間の創造性を引き出すという点にも注目が集まっています。

解決方法

GoogleによるWebアプリ「A.I. DUET」が公開されています。このアプリは、画面上の鍵盤またはPCのキーボードでメロディーを奏でると、それと掛け合いになるようなメロディーをAIが返してくるというものです。

メロディーは音の連なりとそのタイミングによって成り立っています。このアプリでは、再帰型ニューラルネットワークを用いて、既存の音の連なり・タイミングの膨大なパターンを学習させています。多くの楽譜データに基づく学習により、最初の数音のメロディーの時系列から、それに続く音階を次々に予測し、メロディーを出力します。

どうなったか

短いフレーズを入力して待つと、そのフレーズをアレンジしたようなフレーズが返ってきます。キー（調）やリズムについては何らプログラムされていないのにもかかわらず、入力したフレーズにキーやリズムが合っていると感じられることも多々あります。また、どのようなフレーズを入力しても学習に基づいてフレーズが出力されるため、無作為な入力に対する意外性のある応答を楽しむこともできます。

AIとのデュエットによって、クリエイティブなフィードバックを得ることや、ピアノの演奏方法を習得していなくとも音楽を楽しむことができるでしょう。

まとめ

このアプリは、Googleによるオープンソースのディープラーニングライブラリ「TensorFlow」と、機械学習の自動作曲を目指すプロジェクト「Magenta」がオープンソースで公開しているツールおよびで構築されています。コードはGItHubで公開されているため、アレンジ・発展させることも可能です。

またこのアプリは、Googleの「AI Experiments」の一環として開発されたもので、他にも音楽・絵・画像・言語等にかかわる種々のWebアプリが公開されています。機械学習技術を用いたアプリ開発の参考になるかもしれません。

AIとのデュエットに関しては、この他にも、ヤマハ・博報堂による体験型インスタレーション「Duet with YOO」があります。こちらはピアノ演奏をリアルタイムに解析して伴奏をつけるとともに、演奏に合わせスクリーン上で”パートナーAI”がインタラクティブに変化するという映像表現を組み合わせた作品となっています。このような新たなAI技術が、人間の創造性の向上につながっていくことが期待されます。

参考資料

A.I. Duet [AI Experiments]
googlecreativelab/aiexperiments-ai-duet: A piano that responds to you. [GitHub]
tensorflow/magenta: Music and Art Generation with Machine Intelligence [GitHub]
Performance RNN: Generating Music with Expressive Timing and Dynamics [Magenta]
AI Experiments [Google]
AI project YOO [Yamaha]
Googleによる詞からメロディを自動生成する作曲技術の出願特許が公開 [Marvin]