/ Модель

Характеристики

Лицензия
Apache 2.0
Библиотека
audiosronnx
Опубликована
20 июл 2026

audiosronnx-mossformer2

Обработка аудиоАудио → аудио

ONNX-экспорт MossFormer2_SE_48K подавляет шум в речевом аудио с частотой 48 кГц.

0скачиваний за 30 дней0лайковвеса обновлены20 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

audiosronnx-mossformer2 — экспортированная в ONNX модель предсказания спектральной маски MossFormer2_SE_48K из ClearerVoice-Studio, разработанного Alibaba. Модель содержит 55 млн параметров и предназначена для подавления шума в речевом аудио с частотой дискретизации 48 кГц. Она использует гибридную архитектуру на основе трансформера и рекуррентных слоёв; граф принимает лог-мел-признаки и выдаёт спектральную маску, а вычисление признаков и применение маски выполняются библиотекой audiosronnx.

Модель подходит для очистки записей речи и шумоподавления в аудиопотоках. Для набора VoiceBank+DEMAND в карточке приведены PESQ 3,16, STOI 0,95 и SI-SDR 19,38; также указано совпадение экспортированного графа с исходным конвейером. Репозиторий содержит ONNX-файл размером 229 МБ. Лицензия — Apache-2.0.

Сценарии применения

  • шумоподавление в записях речи
  • очистка голосовых записей от фонового шума
  • улучшение качества речи перед распознаванием
  • подавление шума в аудио с частотой 48 кГц

Ограничения

Модель рассчитана на полночастотное аудио 48 кГц; для корректного экспорта ONNX требуется отключить свёртку констант, иначе точность может зависеть от длины входа.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

audiosronnx-mossformer2

ONNX export of the MossFormer2_SE_48K mask predictor from ClearerVoice-Studio (Alibaba, Apache-2.0), for the mossformer2 denoise engine in audiosronnx.

MossFormer2 is a 55 M-parameter hybrid transformer + recurrent mask predictor and the strongest fullband (48 kHz) denoiser in the library. It reports PESQ 3.16 / STOI 0.95 / SI-SDR 19.38 on VoiceBank+DEMAND.

The graph predicts a spectral mask from log-mel features; the fbank front-end, the mask application and the STFT/ISTFT all run in numpy inside audiosronnx:

fbank[1, T, 180]  ->  mask[1, T, 961]

The 180 channels are 60 Kaldi mel bins plus their first- and second-order deltas.

FileRateSize
mossformer2_48k.onnx48 kHz229 MB

Export note

This graph must be exported with do_constant_folding=False. With folding enabled the model is only correct at the length it was traced at — error grows with the distance from that length (max abs err 1.4 at T=246 and 4.4 at T=400 for a trace at T=200), while a same-length check still looks clean at 1e-4. With folding disabled, parity holds across lengths (~1e-4 from T=50 to T=1000). End-to-end against the upstream pipeline: correlation 0.99999999, 71.6 dB SNR.

License

Apache-2.0, inherited from ClearerVoice-Studio.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · audiosronnx

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов
0d91401

0 моделей