/ Модель

Характеристики

Лицензия
Apache 2.0
Библиотека
audiosronnx
Опубликована
20 июл 2026

audiosronnx-mossformergan

Обработка аудиоАудио → аудио

Экспорт MossFormerGAN в ONNX очищает речевые записи от фонового шума и рассчитан на работу с аудио 16 кГц.

0скачиваний за 30 дней1лайквеса обновлены20 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MossFormerGAN_SE_16K — модель подавления шума в речи, разработанная Alibaba и представленная здесь в виде экспорта ONNX для движка audiosronnx. Она принимает спектрограмму аудио и формирует улучшенную спектрограмму, предсказывая маску амплитуды и комплексный остаток, который корректирует фазу шумного сигнала. Генератор построен на основе MossFormer с обучением по целевой функции metric-GAN; экспорт содержит 3,13 млн параметров и рассчитан на частоту дискретизации 16 кГц.

Модель предназначена для очистки речевых записей от фонового шума. В README указаны PESQ 3,47 на VoiceBank+DEMAND и прирост SNR от 2,6 до 11,6 дБ в зависимости от уровня входного шума. Граф ONNX принимает окна фиксированной длины 401 кадр, примерно 2,5 секунды; для более длинных записей audiosronnx применяет перекрывающиеся окна с плавным сведением. Лицензия — Apache-2.0. README не подтверждает распознавание речи, транскрипцию или поддержку конкретных естественных языков.

Сценарии применения

  • подавление фонового шума в речевых записях
  • очистка голоса для телефонных звонков
  • улучшение разборчивости речи в шумной обстановке
  • предварительная обработка аудио перед распознаванием речи

Ограничения

Граф ONNX принимает окна фиксированной длины 401 кадр; длинные записи обрабатываются перекрывающимися окнами. Модель рассчитана на аудио с частотой дискретизации 16 кГц.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

audiosronnx-mossformergan

ONNX export of the MossFormerGAN_SE_16K generator from ClearerVoice-Studio (Alibaba, Apache-2.0), for the mossformergan engine in audiosronnx.

MossFormerGAN pairs the MossFormer attention backbone with a metric-GAN objective and holds the highest published PESQ of any model surveyed for this library — 3.47 on VoiceBank+DEMAND. It predicts a masked magnitude plus an additive complex residual, so it corrects phase rather than reusing the noisy phase.

spec[1, 2, 401, 201]  ->  enhanced[1, 2, 401, 201]     (real, imag)

Only the generator is exported; the discriminator supplies the training loss.

FileRateSizeParams
mossformergan.onnx16 kHz17.7 MB3.13 M

Measured SNR gain on speech at 19 / 11 / 5 dB input: +2.6 / +8.3 / +11.6 dB.

Fixed window

MossFormer's group attention reshapes the sequence into fixed-size groups, and that reshape captures the traced length — a dynamic-length graph runs at its trace size and fails elsewhere, even with constant folding disabled. The graph therefore takes a fixed 401-frame window (~2.5 s at 16 kHz, hop 100); audiosronnx slides it with a crossfaded overlap, as upstream's own decode segments long audio.

Tracing at 1601 frames (upstream's 10 s decode window) exhausted memory during export, which is why the window is 401.

Export notes

Two operators needed rewriting, each bit-for-bit equivalent:

  • torch.complex has no ONNX operator, but angle(complex(re, im)) is atan2(im, re).
  • torch.eye(dtype=bool) exports to EyeLike(bool), for which onnxruntime has no kernel; an arange equality builds the same identity mask from supported ops.

License

Apache-2.0, inherited from ClearerVoice-Studio.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · audiosronnx

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов
5f471c9

0 моделей