/ Модель

Характеристики

Лицензия
Apache 2.0
Базовая модель
wavlm-large
Библиотека
torch
Опубликована
20 сен 2025

focalcodec_50hz_4k_causal

Обработка аудиоАудио → аудио3 профессии

FocalCodec — причинный речевой кодек для низкобитрейтного потокового кодирования аудио с частотой 16 или 24 кГц.

682скачиваний за 30 дней1лайквеса обновлены22 сен 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

FocalCodec — причинный речевой кодек с частотой кодирования 50 Гц и одним кодбуком из 4096 кодов, разработанный Luca Della Libera. Модель основана на focal modulation и предназначена для низкобитрейтного кодирования речи с возможностью потоковой обработки. Чекпойнт обучен на Libri-Light и работает с речевым аудио с частотой 16 или 24 кГц.

Модель принимает аудио и выдаёт аудио, закодированное и восстановленное кодеком; в репозитории опубликованы веса safetensors для PyTorch. Это дообученная версия microsoft/wavlm-large. Лицензия — Apache-2.0. README не сообщает о качестве восстановления, поддерживаемых языках речи или ограничениях по длительности входа.

Сценарии применения

  • низкобитрейтное кодирование речевых записей
  • потоковая передача речи с кодированием на лету
  • сжатие аудио для хранения и передачи

Ограничения

В README не приведены метрики качества восстановления или сведения о поддерживаемых языках речи; модель обучена на Libri-Light.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

⚡ FocalCodec

A low-bitrate single-codebook 16 / 24 kHz speech codec based on focal modulation.

This repository contains the 50 Hz causal checkpoint with a codebook size of 4096 trained on Libri-Light, as described in the preprints.


▶️ Quickstart

See the readme at: https://github.com/lucadellalib/focalcodec


@ Citing

@article{dellalibera2025focalcodec,
    title   = {{FocalCodec}: Low-Bitrate Speech Coding via Focal Modulation Networks},
    author  = {Luca {Della Libera} and Francesco Paissan and Cem Subakan and Mirco Ravanelli},
    journal = {arXiv preprint arXiv:2502.04465},
    year    = {2025},
}

@article{dellalibera2025focalcodecstream,
    title   = {{FocalCodec-Stream}: Streaming Low-Bitrate Speech Coding via Causal Distillation},
    author  = {Luca {Della Libera} and Cem Subakan and Mirco Ravanelli},
    journal = {arXiv preprint arXiv:2509.16195},
    year    = {2025},
}

📧 Contact

luca.dellalib@gmail.com


Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · torch

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов
f60218e

0 моделей