/ Модель

Характеристики

Архитектура
mossformer-dns · dense
Библиотека
transformers
Опубликована
22 июл 2026

mossformer2-se-48k

Обработка аудиоАудио → аудио3 профессии

MossFormer2 с 55,3 млн параметров очищает и улучшает речь в аудио с частотой 48 кГц.

13скачиваний за 30 дней0лайковвеса обновлены22 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MigoXV/mossformer2-se-48k — модель на основе MossFormer2 для улучшения и очистки речи в аудио с частотой дискретизации 48 кГц. Чекпойнт содержит около 55,3 млн параметров и использует 24 блока MossFormer2; веса сохранены в формате Safetensors.

Модель получает признаки входного аудио в виде тензора [batch, 180, frames] и предсказывает неотрицательную временно-частотную маску размером [batch, frames, 961]. Загрузка и преобразование аудиосигнала, извлечение признаков, применение маски и восстановление волны выполняются отдельно; готовый Transformers pipeline не предоставляется. Для работы используется пользовательский код архитектуры из репозитория, а частота дискретизации должна составлять 48 кГц.

Модель предназначена для исследований и вывода при шумоподавлении и улучшении речи. Качество следует проверять на целевых аудиозаписях. Не описаны обучающие данные, метрики оценки и процедура обучения, поэтому нет подтверждённых гарантий для конкретных языков, дикторов, устройств записи или типов шума. Условия лицензии в доступных данных не приведены.

Сценарии применения

  • шумоподавление в аудиозаписях речи
  • очистка речи для последующей расшифровки
  • улучшение качества голосовых записей с частотой 48 кГц

Ограничения

Не документированы обучающие данные, метрики оценки и процедура обучения; качество на новых языках, дикторах, устройствах записи и типах шума не подтверждено. Требуется отдельная аудиопредобработка и восстановление сигнала, а также пользовательский код модели.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

MossFormer2 Speech Enhancement 48 kHz

A 48 kHz MossFormer2-based speech-enhancement model. The checkpoint contains 55,262,170 parameters and is stored in Safetensors format.

Model details

  • Sampling rate: 48,000 Hz
  • FFT/window length: 1,920 samples
  • Hop length: 384 samples
  • Mel bins: 60
  • Input feature channels: 180
  • Output frequency bins: 961
  • MossFormer2 blocks: 24

The Transformers model predicts a non-negative time-frequency mask. Waveform loading, feature extraction, mask application, and waveform reconstruction are preprocessing/postprocessing responsibilities and are not bundled as a Transformers pipeline.

Loading the model

The architecture uses custom Transformers code from this repository, so review the code and enable trust_remote_code when loading it.

from transformers import AutoConfig, AutoModel

repo_id = "MigoXV/mossformer2-se-48k"
config = AutoConfig.from_pretrained(repo_id, trust_remote_code=True)
model = AutoModel.from_pretrained(repo_id, trust_remote_code=True)
model.eval()

print(config.sampling_rate)  # 48000

Runtime dependencies for the custom architecture include PyTorch, Transformers, Einops, and rotary-embedding-torch.

Input and output

input_features must be a float tensor shaped [batch, 180, frames]. The returned mask is shaped [batch, frames, 961]. Use the spectral parameters in config.json to build a compatible 48 kHz frontend and inverse transform.

Intended use

This checkpoint is intended for speech enhancement and denoising research or inference at 48 kHz. Validate output quality and behavior on your target audio domain before production use.

Limitations

Training data, evaluation metrics, demographic analysis, and the original training procedure are not documented in the available checkpoint artifacts. No claim is made about performance on unseen languages, speakers, recording devices, or noise conditions.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Класс архитектуры
MossFormerDnsModel
Ревизия весов
e6072ec

0 моделей