音源ファイルを視覚的に管理できるアプリ「Samply」:オーディオ波形をニューラルネットにより分析して可視化

課題
リミックスという手法、既存の音源を組み合わせて音楽を作る場合、手元にあるファイルから適切なファイルを選択する必要があります。しかし、音声ファイルの名前が十分に音声の内容を表していない場合、いちいちその音を聞く必要があり時間がかかってしまいます。ファイル名の命名規則などを工夫しても限界があるでしょう。
音源を探す作業で気が散ってしまい、音楽制作の妨げになるため視覚的で音源の内容を適切に表現できる効果的な音源管理が課題です。
解決方法
MITの大学院生であるSwaney氏は「Samply」 という音源サンプルを分析し、その音響特性に基づいてグループ化するデスクトップアプリケーションを開発しました。Samplyは公式ページからWindowsとMac上で動作するベータ版アプリがダウンロード可能です(ダウンロードと使用開始時にアカウントの登録が必要です)。
このツールは二次元平面にファイルを表す点が表示される視覚的インターフェースを持つ音源管理ソフトウェアです。畳み込みニューラルネットワークを使ってオーディオ波形を分析し、近い音響特徴を持つ音声ファイルを近い位置に配置します。音響特性に基づいてサンプルを整理するため、類似した音が互いに近くにあり、異なる音が離れているプロットが得られます。

このユーザー・インターフェースかリスト表示を使用すれば、探しているようなサウンドを見つけやすくなるでしょう。Samplyでは、ライブラリ内で使い慣れたサウンドの近くにある他のサウンドを試すこともできます。

まず最初にwavファイルのあるフォルダを指定して、音声ライブラリをインポートします。その際に音声データが解析されて、各ファイルが点で表示されます。表示された点にカーソルを移動するとファイル名が表示され、クリックすると音声を再生することができます。
製作者が考える「完璧な」サウンドを見つけたら、それをデジタルオーディオワークステーションにドラッグするなど、直感的な操作で音楽制作をすることができます。Samplyは作業を邪魔することなく、音楽制作のワークフローに自然に寄り添う作りになっています。

どうなったか
このようにSamplyを使用すると、複数のサンプルライブラリを同時に、また、直感的に視覚化できるため、頭の中で音を想像してから見つけるまでの時間を短縮できます。
Samplyは現在、プロジェクトからスタートアップ企業にしようとしている段階です。開発者のSwaney氏はMIT Newsでのインタビューに「学生として会社を設立するのは大変なことかもしれないが、MITのコミュニティーは私たちに自信を与えてくれる」と話しています。9月にアプリの無料ベータ版がローンチされ、今後の開発を促進するためにKickstarterキャンペーンが来年に予定されています。(※Kickstarter:映画、音楽、アート、シアター、ゲーム、コミック、デザイン、写真など、クリエイティブなプロジェクトに向けてクラウドファンディングによる資金調達を行う手段を提供しているアメリカの会社。)
まとめ
大量の音声ファイルの管理を適切に行うことは音源制作に重要な一歩です。さらに多くの種類の音源を管理するにはさらに洗練されたインターフェースが必要かもしれませんが、さらなるバージョンアップを期待したいです。
参考資料
- Machine learning you can dance to MIT grad student startup Samply uses algorithms to help music producers find the perfect sound. [MIT NEWS]
- SAMPLY [公式HP]
- Kickstarter
(蒲生由紀子・森裕紀)