把一首完成的歌曲拆成各個分軌——人聲與伴奏,或人聲、鼓、貝斯、鋼琴與其餘部分——是卡拉 OK、混音、DJ 與音訊修復工具所需,然而這些個別部分只存在於錄音室的多軌檔案中。僅從混音完成的錄音著手時,傳統的源分離意味著要為每項工作訓練一個模型:彙整隔離源資料集、調校網路,並執行緩慢的推論。

Deezer Research 的答案於 2019 年底公開問世,即 Spleeter:一個 Python 與 TensorFlow 函式庫,隨附已訓練好、達到最先進水準的 2、4 與 5 分軌分離模型。它的設計著重於吞吐量而非客製化精確度——GPU 分離四分軌版本比即時快 100 倍——且可透過 pip 或 Docker 安裝,並以單一指令執行,因此即使是一整個曲庫也能快速通過處理。

由於最困難的部分,也就是訓練好的權重,隨程式碼以寬鬆的 MIT 授權一同提供,第三方得以在其上建構而非自行打造:iZotope 將這些模型用於 RX 8 的 Music Rebalance,Steinberg 用於 SpectralLayers 的 Unmix,VirtualDJ 用於分軌隔離,Algoriddim 用於 NeuralMix,此外還有社群 GUI 與網站。研究界也採用了它——Spleeter 成為 ISMIR 2021 音樂解混挑戰賽的基準——該工具並被寫入《Journal of Open Source Software》。

隨附預訓練模型;讓分離達到即時速度的 100 倍

訓練好的權重隨工具一同提供,因此使用者得以略過源分離中最困難的部分——彙整隔離源資料並訓練模型——並在首次執行就獲得最先進的結果。

透過 pip 與 Docker 安裝的一行 CLI 指令,意味著產品團隊能在一個下午內嵌入分離功能,而不必花數月打造。

即時 100 倍的 GPU 吞吐量讓這個函式庫成為管線的基本元件:處理整個音樂曲庫變得足夠便宜,足以支援串流規模的功能。

寬鬆的 MIT 授權讓商業廠商(iZotope、Steinberg、VirtualDJ、Algoriddim)能將這些模型放進付費產品中,使 Spleeter 廣為流傳,而 Deezer 無須花費行銷費用。

當稀缺資產是訓練好的模型時,連同權重一併釋出,並讓推論快到荒謬——生態系便會採用你的工具作為基準,而價值則轉移到服務與支援

該發布於 2019 年 11 月 3 日登上 Hacker News 首頁,獲得 1,460 點與 175 則留言。到了 2026 年,該儲存庫已成長至約 28,400 顆星與 3,100 次分支,Deezer 並將此能力商業化包裝為 Spleeter Pro,透過 Deezer Tech Services 提供更精細的分離、更快的處理與專屬支援。同樣的預訓練模型持續被用於專業音訊軟體中,並仍是音樂解混挑戰賽的參考基準。

追溯依據

參考來源

  1. Deezer/spleeter — Deezer source separation library with pretrained models GitHub · github.com
  2. Spleeter: a fast and efficient music source separation tool with pre-trained models Journal of Open Source Software · doi.org
  3. Spleeter — extract voice, piano, drums, etc. from any music track (Hacker News) Hacker News · news.ycombinator.com ·