DeezerのオープンソースSpleeterは、事前学習済みモデルでステム分離を一瞬で実現した

完成した楽曲をステム——ボーカルと伴奏、あるいはボーカル、ドラム、ベース、ピアノなど——に分割することは、カラオケ、リミックス、DJ、音声修復のツールに必要とされているが、個々のパートはスタジオのマルチトラックファイルにしか存在しない。ミックス済みの録音だけを手がかりにする場合、音源分離は伝統的に、作業ごとにモデルを学習させることを意味していた。すなわち、分離済み音源のデータセットを集め、ネットワークを調整し、遅い推論を実行するということだ。

Deezer Researchの答えは、2019年後半に公に登場したSpleeterだった。PythonとTensorFlowによるライブラリで、2、4、5ステム分離のための最先端の学習済みモデルを同梱している。個別の精度よりもスループットを重視して設計されており——GPUでは4ステム版をリアルタイムの100倍の速さで分離する——pipまたはDockerでインストールでき、単一のコマンドで実行できるため、カタログ全体でも素早く通すことができる。

難しい部分である学習済みの重みが、寛容なMITライセンスの下でコードとともに提供されたため、第三者は自前で作る代わりにその上に構築した。iZotopeはRX 8のMusic Rebalanceに、SteinbergはSpectralLayersのUnmixに、VirtualDJはステム分離に、AlgoriddimはNeuralMixにそれぞれモデルを採用し、コミュニティ製のGUIやウェブサイトも加わった。研究分野でも採用され、SpleeterはISMIR 2021 Music Demixing Challengeのベースラインとなった。また、このツールはJournal of Open Source Softwareで論文として紹介された。

学習済みモデルを提供し、分離をリアルタイムの100倍で実現した

学習済みの重みがツールとともに提供されるため、ユーザーは音源分離で最も難しい部分——分離済み音源データの収集とモデルの学習——を省略でき、初回の実行で最先端の結果を得られる。

pipとDockerによるインストールと1行のCLIにより、製品チームは数か月かけて構築する代わりに、午後のうちに分離機能を組み込める。

GPUでのリアルタイム100倍のスループットにより、このライブラリはパイプラインの基本要素となる。音楽カタログ全体の処理が、ストリーミング規模の機能に十分なほど安価になる。

寛容なMITライセンスにより、商用ベンダー（iZotope、Steinberg、VirtualDJ、Algoriddim）がモデルを有料製品に組み込むことができ、Deezerがマーケティング費用をかけずにSpleeterが広まった。

希少な資産が学習済みモデルである場合、重みとともに公開し、推論を途方もなく高速にせよ——エコシステムはあなたのツールをベースラインとして採用し、価値はサービスとサポートへ移る

このリリースは2019年11月3日にHacker Newsのトップページに到達し、1,460ポイントと175件のコメントを集めた。2026年までにリポジトリは約28,400スター、3,100フォークに成長し、Deezerはこの機能をSpleeter Proとして商業的にパッケージ化し、Deezer Tech Servicesを通じてより精細な分離、高速な処理、専用サポートを提供した。同じ学習済みモデルはプロ向け音声ソフトウェアで使われ続け、Music Demixing Challengeの参照ベースラインとしても残った。