/ Модель

Характеристики

Лицензия
Apache 2.0
Библиотека
pytorch
Опубликована
10 окт 2026

DBS-BSRNN-DnR

Обработка аудиоАудио → аудио

Модель разделяет монофонические звуковые дорожки на музыку, звуковые эффекты и речь.

36скачиваний за 30 дней0лайковвеса обновлены10 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

DBS-BSRNN (DnR v2) — модель JusperLee для разделения монофонической звуковой дорожки на музыкальные фрагменты, звуковые эффекты и речь. Она основана на архитектуре BSRNN с динамическим разбиением частот: границы 128 частотных полос предсказываются для каждого входного микса, а не задаются заранее. Модель содержит 4,7 млн параметров и обучена с нуля на обучающей выборке DnR v2.

Модель принимает аудио с частотой дискретизации 44,1 кГц и выдаёт три аудиодорожки в порядке «музыка, эффекты, речь». В тесте DnR v2 на 973 дорожках средний SI-SDR составил 9,07 дБ; для речи — 15,01 дБ, для музыки — 6,48 дБ, для эффектов — 5,73 дБ. Пример использования применяет окна длиной 3 секунды с перекрытием 1,5 секунды. Модель распространяется по лицензии Apache-2.0.

Сценарии применения

  • выделение речи из звуковой дорожки
  • отделение музыки от звуковых эффектов
  • разделение аудио на речевую, музыкальную и эффектную дорожки
  • подготовка звуковых слоёв для видеомонтажа
  • анализ отдельных источников в аудиомиксе

Ограничения

Предназначена для монофонического входного аудио с частотой 44,1 кГц; качество разделения зависит от типа источника, причём в тесте показатели для музыки и эффектов ниже, чем для речи. Для обработки используются окна по 3 секунды с перекрытием 1,5 секунды.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

DBS-BSRNN (DnR v2)

DBS-BSRNN separates a 44.1 kHz mono soundtrack into music, sound effects and speech. It is the BSRNN separator with Dynamic Band Splitting: the frequency boundaries of the 128 band tokens are predicted from each mixture instead of being fixed.

Code · Project page · Demo

MusicSpeechSFXAvg.
SI-SDR (dB), DnR v2 test (973 tracks)6.4815.015.739.07

4.7M parameters. The example uses the 3 s / 1.5 s overlap-add windows of the training recipe.

Usage

pip install git+https://github.com/JusperLee/Dynamic-Band-Splitting.git
import soundfile as sf
import torch
from dbs.engine import separate
from dbs.models import DBSBSRNN

model = DBSBSRNN.from_pretrained("JusperLee/DBS-BSRNN-DnR").eval()
audio, rate = sf.read("soundtrack.wav", dtype="float32", always_2d=True)   # 44.1 kHz
mixture = torch.from_numpy(audio.mean(1)).view(1, 1, -1)
with torch.inference_mode():
    music, sfx, speech = separate(model, mixture, {"mode": "chunked", "chunk_seconds": 3.0, "hop_seconds": 1.5}, sample_rate=44100)[0]

model(mixture, return_aux=True) also returns the predicted boundaries of each frequency region. The outputs are in the order music, sfx, speech.

Training

Trained from scratch on the DnR v2 training set with configs/dnr/dbs_bsrnn.yaml.

Citation

@misc{zhang2026dbs,
  title  = {Learning Where to Split: Dynamic Band Splitting for Audio Source Separation},
  author = {Zhang, Bingzhe and Li, Kai and Hu, Xiaolin},
  year   = {2026}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · pytorch

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов
0cb371c

0 моделей