/ Модель

Характеристики

Лицензия
Apache 2.0
Библиотека
pytorch
Опубликована
10 окт 2026

DBS-TIGER-DnR

Обработка аудиоАудио → аудио

Компактная модель разделяет монофонический аудиомикс на музыку, речь и звуковые эффекты.

38скачиваний за 30 дней1лайквеса обновлены10 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

DBS-TIGER (DnR v2) — модель разделения звуковой дорожки, опубликованная JusperLee. Она принимает монофонический аудиосигнал с частотой 44,1 кГц и выделяет из смеси три дорожки: музыку, звуковые эффекты и речь. Модель использует архитектуру TIGER с Dynamic Band Splitting: границы 128 частотных полос предсказываются для каждого входного сигнала, а не задаются заранее.

Модель содержит 1,0 млн параметров и обучена с нуля на обучающей части набора DnR v2. В README приведён результат SI-SDR на 973 тестовых дорожках DnR v2: 7,78 дБ для музыки, 15,90 дБ для речи, 6,70 дБ для звуковых эффектов и 10,13 дБ в среднем. Пример обработки использует окна длительностью 6 секунд с перекрытием 3 секунды. Лицензия — Apache-2.0.

Сценарии применения

  • выделение речи из звуковой дорожки
  • отделение музыки от эффектов и диалогов
  • разделение аудио для постобработки видео
  • подготовка отдельных звуковых дорожек для монтажа

Ограничения

Модель рассчитана на монофонический вход с частотой 44,1 кГц и выдаёт только три источника: музыку, звуковые эффекты и речь. Приведённые метрики относятся к тестовому набору DnR v2; качество на других материалах может отличаться.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

DBS-TIGER (DnR v2)

DBS-TIGER separates a 44.1 kHz mono soundtrack into music, sound effects and speech. It is the TIGER separator with Dynamic Band Splitting: the frequency boundaries of the 128 band tokens are predicted from each mixture instead of being fixed.

Code · Project page · Demo

MusicSpeechSFXAvg.
SI-SDR (dB), DnR v2 test (973 tracks)7.7815.906.7010.13

1.0M parameters. The example uses the 6 s / 3 s overlap-add windows of the training recipe.

Usage

pip install git+https://github.com/JusperLee/Dynamic-Band-Splitting.git
import soundfile as sf
import torch
from dbs.engine import separate
from dbs.models import DBSTIGER

model = DBSTIGER.from_pretrained("JusperLee/DBS-TIGER-DnR").eval()
audio, rate = sf.read("soundtrack.wav", dtype="float32", always_2d=True)   # 44.1 kHz
mixture = torch.from_numpy(audio.mean(1)).view(1, 1, -1)
with torch.inference_mode():
    music, sfx, speech = separate(model, mixture, {"mode": "chunked", "chunk_seconds": 6.0, "hop_seconds": 3.0}, sample_rate=44100)[0]

model(mixture, return_aux=True) also returns the predicted boundaries of each frequency region. The outputs are in the order music, sfx, speech.

Training

Trained from scratch on the DnR v2 training set with configs/dnr/dbs_tiger.yaml.

Citation

@misc{zhang2026dbs,
  title  = {Learning Where to Split: Dynamic Band Splitting for Audio Source Separation},
  author = {Zhang, Bingzhe and Li, Kai and Hu, Xiaolin},
  year   = {2026}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · pytorch

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов
3106d9d

0 моделей