/ Модель

Характеристики

Лицензия
MIT
Библиотека
audiosronnx
Опубликована
20 июл 2026

audiosronnx-cmgan

Обработка аудиоАудио → аудио

ONNX-версия CMGAN очищает речь от шума, оптимизируя воспринимаемое качество аудио.

0скачиваний за 30 дней0лайковвеса обновлены20 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

TigreGotico публикует ONNX-экспорт генератора CMGAN (Cao et al.) для движка шумоподавления cmgan в audiosronnx. Это модель на основе Conformer с плотным кодировщиком, четырьмя двухэтапными блоками Conformer и двумя декодерами: один формирует маску амплитуды, другой — комплексный остаток, позволяющий корректировать фазу аудиосигнала. Экспорт принимает спектрограмму с вещественной и мнимой компонентами и возвращает спектрограмму улучшенного аудио; модель содержит 1,83 млн параметров и рассчитана на частоту дискретизации 16 кГц.

Модель предназначена для повышения воспринимаемого качества речи за счёт удаления шума. В описанном испытании при входном SNR 11 дБ она повысила PESQ на 0,76, одновременно снизив SNR на 1,5 дБ: оптимизация восприятия может ухудшать точность совпадения формы волны с эталоном. Экспорт в ONNX заявлен как воспроизводящий исходный конвейер с корреляцией 1,00000000 и максимальной абсолютной ошибкой 2,0×10⁻⁶. Лицензия — MIT.

Сценарии применения

  • шумоподавление в записях речи
  • улучшение качества речи для прослушивания
  • очистка речевого аудио перед дальнейшей обработкой

Ограничения

Модель оптимизирует PESQ, а не точность формы волны: в описанном испытании улучшение PESQ сопровождалось снижением SNR. Входное представление — комплексная спектрограмма; частота дискретизации указана как 16 кГц.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

audiosronnx-cmgan

ONNX export of the CMGAN generator (Cao et al., MIT) for the cmgan denoise engine in audiosronnx.

CMGAN is a conformer-based metric GAN: a dense encoder feeds four two-stage conformer blocks attending along time and frequency in turn, and two decoders emit a magnitude mask plus a complex residual, so it corrects phase rather than reusing the noisy phase.

spec[1, 2, T, F]  ->  enhanced[1, 2, T, F]     (real, imag)

Only the generator is exported; the discriminator supplies the metric-GAN training loss and has no inference role.

FileRateSizeParams
cmgan.onnx16 kHz7.8 MB1.83 M

Reproduces the upstream pipeline to correlation 1.00000000 (max abs err 2.0e-06).

Measured behaviour

CMGAN optimises PESQ, not waveform fidelity, and the two diverge. On speech at 11 dB input SNR it gains +0.76 PESQ while losing 1.5 dB SNR — it makes audio sound better and match the reference waveform less. Engines trained on an SNR-shaped objective gain on both.

Choose it when perceptual quality is the target and waveform fidelity is not.

Export note

TSCNet.forward derives the noisy phase via torch.angle(torch.complex(re, im)), and torch.complex has no ONNX operator. The export rewrites it as the identical torch.atan2(im, re) — bit-for-bit equal to the original.

License

MIT, inherited from the upstream CMGAN release.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · audiosronnx

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов
fbd39dc

0 моделей