Deezer의 오픈소스 Spleeter, 사전 학습 모델로 스템 분리를 즉시 가능하게 하다

완성된 곡을 스템으로 분리하는 것 — 보컬과 반주, 또는 보컬, 드럼, 베이스, 피아노 등 — 은 노래방, 리믹스, DJ 및 오디오 복구 도구에 필요하지만, 개별 파트는 스튜디오의 멀티트랙 파일에만 존재합니다. 믹싱된 녹음만으로 작업할 때, 소스 분리는 전통적으로 각 작업마다 모델을 학습해야 했습니다: 분리된 소스의 데이터셋을 구성하고, 네트워크를 튜닝하고, 느린 추론을 실행하는 것입니다.

Deezer Research의 답변은 2019년 말에 공개적으로 등장한 Spleeter입니다: 2-, 4-, 5-스템 분리를 위한 이미 학습된 최첨단 모델을 제공하는 Python 및 TensorFlow 라이브러리입니다. 맞춤형 정확성보다 처리량을 위해 설계되었으며 — GPU는 4-스템 버전을 실시간보다 100배 빠르게 분리합니다 — pip 또는 Docker로 설치하고 단일 명령으로 실행되므로 전체 카탈로그도 빠르게 처리할 수 있습니다.

어려운 부분인 학습된 가중치가 MIT 라이선스로 코드와 함께 제공되었기 때문에, 제3자들은 자체 개발 대신 이를 기반으로 구축했습니다: iZotope는 RX 8의 Music Rebalance에, Steinberg는 SpectralLayers의 Unmix에, VirtualDJ는 스템 분리에, Algoriddim은 NeuralMix에 모델을 사용했으며, 커뮤니티 GUI와 웹사이트도 있었습니다. 연구에서도 채택되었습니다 — Spleeter는 ISMIR 2021 Music Demixing Challenge에서 기준선이 되었고, 이 도구는 Journal of Open Source Software에 기고되었습니다.

사전 학습 모델 제공; 분리를 실시간보다 100배 빠르게

학습된 가중치가 도구와 함께 제공되므로 사용자는 소스 분리의 가장 어려운 부분 — 분리된 소스 데이터 구성 및 모델 학습 — 을 건너뛰고 첫 실행에서 최첨단 결과를 얻습니다.

pip 및 Docker 설치가 가능한 한 줄 CLI는 제품 팀이 몇 달에 걸쳐 구축하는 대신 오후에 분리를 내장할 수 있게 합니다.

100배 실시간 GPU 처리량은 라이브러리를 파이프라인 기본 요소로 전환합니다: 전체 음악 카탈로그 처리가 스트리밍 규모 기능에 충분히 저렴해집니다.

MIT 라이선스는 상업적 공급업체(iZotope, Steinberg, VirtualDJ, Algoriddim)가 모델을 유료 제품에 포함할 수 있게 하여, Deezer가 마케팅 비용을 지출하지 않고도 Spleeter를 확산시킵니다.

희소 자산이 학습된 모델일 때, 가중치와 함께 공개하고 추론을 터무니없이 빠르게 만드십시오 — 생태계는 귀하의 도구를 기준선으로 채택하고, 가치는 서비스와 지원으로 이동합니다

이 릴리스는 2019년 11월 3일 Hacker News 첫 페이지에 1,460 포인트와 175 댓글로 도달했습니다. 2026년까지 저장소는 약 28,400 스타와 3,100 포크로 성장했으며, Deezer는 이 기능을 Spleeter Pro로 상업화하여 Deezer Tech Services를 통해 더 세밀한 분리, 더 빠른 처리 및 전담 지원을 제공했습니다. 동일한 사전 학습 모델은 전문 오디오 소프트웨어 전반에서 계속 사용되었고 Music Demixing Challenge에서 참조 기준선으로 남았습니다.