Характеристики

Лицензия: Apache 2.0
Опубликована: 4 июл 2024

Ссылки

Hugging Face

ConvTasNet_Violin_NonCausal

cadenzachallenge

Обработка аудиоАудио → аудио

Нек причинная стереомодель ConvTasNet выделяет партию скрипки из аудиозаписи.

228скачиваний за 30 дней0лайковвеса обновлены16 июл 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это модель ConvTasNet для разделения стереозаписей на партию скрипки и остальные звуки. Она создана для базовой системы задания CAD2-Task1 соревнования Cadenza Challenge и использует нек причинную архитектуру ConvTasNet с поддержкой нескольких каналов. Модель принимает двухканальный звук с частотой дискретизации 44,1 кГц и выдаёт разделённый аудиосигнал.

При обучении использовались наборы EnsembleSet и CadenzaWoodwind. Нек причинная обработка может требовать доступа ко всему аудиофрагменту, поэтому модель подходит для офлайн-разделения, а не для сценариев с минимальной задержкой. Лицензия — Apache-2.0.

Сценарии применения

выделение скрипки из стереозаписи ансамбля
разделение партии скрипки и остальных инструментов
подготовка аудиодорожек для музыкального анализа

Ограничения

Модель предназначена для разделения скрипки и остальных звуков в стерео и не заявлена как универсальный разделитель музыкальных источников. Нек причинная архитектура не подходит для обработки с низкой задержкой в реальном времени.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Cadenza Challenge: CAD2-Task1

A NonCausal Violin/Others separation model for the CAD2-Task2 baseline system.

Architecture: ConvTasNet (Kaituo XU) with multichannel support (Alexandre Defossez).
Parameters:
- B: 256
- C: 2
- H: 512
- L: 20
- N: 256
- P: 3
- R: 3
- X: 8
- audio_channels: 2
- causal: false
- mask_nonlinear: relu
- norm_type: gLN
training:
- sample_rate: 44100
- samples_per_track: 64
- segment: 5.0
- aggregate: 2
- batch_size: 4
- early_stop: true
- epochs: 200

Dataset

The model was trained using EnsembleSet and CadenzaWoodwind datasets.

How to use

from tasnet import ConvTasNetStereo

model = ConvTasNetStereo.from_pretrained(
    "cadenzachallenge/ConvTasNet_Violin_NonCausal"
).cpu()

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов: 62dd19a