Googleによる詞からメロディを自動生成する作曲技術の出願特許が公開

Writing on an old musical manuscript sepia effect. For concepts such as music composition and creativity.

課題

機械学習を利用した画像の生成モデルの研究は、近年大きく発展を遂げています。一方で、音楽の生成モデルの研究は、それに比べて発展の余地が大きく残されていると言えるでしょう。

音楽データは時間的に変化するものであることや、音楽では不協和なものに対して不快感が生じやすいといったこと、また学習に使えるデータセットがまだ未整備であることが要因としてあげられます。

解決方法

Googleが考案した詞に合うメロディを自動生成する作曲技術が、米国特許商標庁へ出願され「MACHINE LEARNING TO GENERATE MUSIC FROM TEXT」として公開されました。

この技術は、入力されたテキストデータを解析してテキストの構造を調べ、その構造に適した音声データを出力するものです。手法の一例として、時系列情報を扱うことができる再帰型ニューラルネットワークのロング・ショートタームメモリ(LSTM) を用いて、テキスト入力を基にメロディーやテンポ、ダイナミクスなどを得るという構造が示されています。

どうなったか

機械学習による音楽の自動生成におけるデータセットの問題に対して入力をテキストデータとするアイデアが、出願特許として公開されたということになります。

ただこの特許情報では、具体的な技術内容には触れられていません。単に、このシステムでは音声データは機械学習で作るという情報だけが記載されており、詞から曲を作るシステムの構成要素について特許出願したものとなっています。影響の及ぶ範囲が広いため、このまま特許が登録されるかどうか定かではありませんが、機械学習の応用で作曲システムを開発する場合には注意を要する特許になる可能性があります。

まとめ

機械学習による音楽生成手法の研究開発は、まだまだ発展途上です。新たに特許となりうるアイデアを考案することができれば、大きなビジネスチャンスにもつながるかもしれません。

またGoogleは「Magenta」プロジェクトで、機械学習による音楽の自動作曲に取り組んでいます。Magentaにおけるモデルやツールは、GitHubにてオープンなものとして公開されています。近年成果を上げている深層学習も音楽生成に用いられており、既存の研究および使用される機械学習のモデルについては「Deep Learningを用いた音楽生成手法のまとめ」にわかりやすくまとめられています。これらを利用することや、あるいは機械学習とユーザーの作業とを組み合わせた音楽生成のシステムを設計することで、新たなサービスを生み出すこともできそうです。

参考資料

MACHINE LEARNING TO GENERATE MUSIC FROM TEXT [United States Patent and Trademark Office]
グーグル、歌詞に合わせてメロディを自動作曲する機械学習システム–公開特許に [CNET Japan]
Magenta
Magenta: Music and Art Generation with Machine Intelligence [GitHub]
Deep Learningを用いた音楽生成手法のまとめ [Medium]

(太田博己)