将成品歌曲拆分为音轨——人声与伴奏,或人声、鼓、贝斯、钢琴及其他——是卡拉OK、混音、DJ 和音频修复工具所需要的,但这些单独的部分只存在于录音室的多轨文件中。仅凭混音录音进行源分离,传统上需要为每个任务训练模型:收集孤立源的数据集、调整网络并执行缓慢的推理。

Deezer 研究团队在 2019 年底公开推出的解决方案是 Spleeter:一个 Python 和 TensorFlow 库,内置已训练好的、可实现 2/4/5 音轨分离的最新模型。它追求的是吞吐量而非定制精度——在 GPU 上,四音轨版本的分离速度比实时快 100 倍——并且可以通过 pip 或 Docker 安装,只需一条命令即可运行,因此即便是整个曲库也能快速处理。

由于最困难的部分——训练好的权重——随代码一起在宽松的 MIT 许可下提供,第三方纷纷在此基础上进行开发而非自行构建:iZotope 在 RX 8 的 Music Rebalance 中使用这些模型,Steinberg 在 SpectralLayers 的 Unmix 中使用,VirtualDJ 用于音轨隔离,Algoriddim 用于 NeuralMix,此外还有社区 GUI 和网站。研究界也采用了它——Spleeter 成为 ISMIR 2021 音乐分离挑战赛的基线——该工具已在《开源软件杂志》上发表。

提供预训练模型,实现 100 倍实时的分离速度

训练好的权重随工具一起提供,用户无需应对源分离中最困难的部分——组装孤立源数据并训练模型——就能在首次运行中获得最新结果。

通过 pip 和 Docker 可一键安装的命令行界面,产品团队可以在一个下午内集成分离功能,而不需要数月时间进行构建。

GPU 上 100 倍的实时吞吐量使该库成为管道中的基础组件:处理整个音乐目录变得足够廉价,可支持流媒体规模的功能。

宽松的 MIT 许可允许商业供应商(iZotope、Steinberg、VirtualDJ、Algoriddim)将这些模型放入付费产品中,无需 Deezer 投入营销即可传播 Spleeter。

当稀缺资产是训练好的模型时,将其与权重一起发布并让推理变得极快——生态会将你的工具作为基线,价值流向服务和支持

该版本于 2019 年 11 月 3 日登上 Hacker News 首页,获得 1,460 分和 175 条评论。到 2026 年,该仓库已增长至约 28,400 颗星和 3,100 个分支。Deezer 将这一能力商业化为 Spleeter Pro,通过 Deezer Tech Services 提供更精细的分离、更快的处理和专门支持。相同的预训练模型在专业音频软件中持续使用,并始终作为音乐分离挑战赛的参考基线。

从这里,追溯依据

参考来源

  1. Deezer/spleeter — Deezer source separation library with pretrained models github.com
  2. Spleeter: a fast and efficient music source separation tool with pre-trained models doi.org
  3. Spleeter — extract voice, piano, drums, etc. from any music track (Hacker News) news.ycombinator.com