/ Модель

Характеристики

Лицензия
Apache 2.0
Базовая модель
wavlm-large
Библиотека
pytorch
Опубликована
11 фев 2025

focalcodec_25hz

Обработка аудиоАудио → аудио3 профессии

Низкобитрейтный аудиокодек FocalCodec для сжатия и восстановления речи с частотой кодирования 25 Гц.

298скачиваний за 30 дней1лайквеса обновлены22 сен 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

FocalCodec 25 Hz — модель-кодек речи, опубликованная lucadellalib. Она сжимает речь с низким битрейтом, используя одно кодовое пространство и сети на основе focal modulation. В репозитории представлен чекпойнт с частотой кодирования 25 Гц, обученный на LibriTTS 960; заявлена поддержка аудио с частотой дискретизации 16 и 24 кГц.

Модель предназначена для низкобитрейтного кодирования и восстановления речи, включая сценарии потоковой передачи, связанные с проектом FocalCodec-Stream. Это дообучение Microsoft WavLM Large на данных LibriTTS. Кодек принимает и выдаёт аудио; карточка не уточняет точные характеристики качества и задержки этого чекпойнта. Лицензия — Apache-2.0.

Сценарии применения

  • низкобитрейтное сжатие речевых записей
  • кодирование речи для передачи по каналам с ограниченной пропускной способностью
  • восстановление аудио после кодирования речевым кодеком

Ограничения

Описание не приводит измерений качества сжатия, битрейта или задержки для этого чекпойнта. Обучение указано на LibriTTS 960, поэтому качество на других языках и типах аудио не установлено.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

⚡ FocalCodec

A low-bitrate single-codebook 16 / 24 kHz speech codec based on focal modulation.

This repository contains the 25 Hz checkpoint trained on LibriTTS 960, as described in the preprints.


▶️ Quickstart

See the readme at: https://github.com/lucadellalib/focalcodec


@ Citing

@article{dellalibera2025focalcodec,
    title   = {{FocalCodec}: Low-Bitrate Speech Coding via Focal Modulation Networks},
    author  = {Luca {Della Libera} and Francesco Paissan and Cem Subakan and Mirco Ravanelli},
    journal = {arXiv preprint arXiv:2502.04465},
    year    = {2025},
}

@article{dellalibera2025focalcodecstream,
    title   = {{FocalCodec-Stream}: Streaming Low-Bitrate Speech Coding via Causal Distillation},
    author  = {Luca {Della Libera} and Cem Subakan and Mirco Ravanelli},
    journal = {arXiv preprint arXiv:2509.16195},
    year    = {2025},
}

📧 Contact

luca.dellalib@gmail.com


Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · pytorch

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов
581aa40

0 моделей