/ Модель

Характеристики

Лицензия
Apache 2.0
Базовая модель
wavlm-large
Библиотека
torch
Опубликована
11 фев 2026

dycast

Обработка аудиоАудио → аудио3 профессии

DyCAST — речевой кодек с переменной частотой кадров для динамической токенизации и кодирования речи.

57скачиваний за 30 дней5лайковвеса обновлены11 фев 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

DyCAST — речевой кодек с переменной частотой кадров, построенный на основе FocalCodec. Репозиторий содержит чекпойнт, обученный на LibriTTS 960, и индекс IVF с непрерывными латентными представлениями частотой 50 Гц, полученными на выборках LibriSpeech. Модель описана в препринте «Beyond Fixed Frames: Dynamic Character-Aligned Speech Tokenization»; авторами работы указаны Luca Della Libera, Cem Subakan и Mirco Ravanelli.

Модель предназначена для кодирования речи с динамической токенизацией, выровненной по символам. В метаданных Hugging Face указана задача audio-to-audio и базовые компоненты facebook/mms-1b-all, lucadellalib/focalcodec_50hz и microsoft/wavlm-large. Репозиторий распространяется по лицензии Apache-2.0. README не приводит численных характеристик битрейта, качества или контекста.

Сценарии применения

  • кодирование речевых сигналов
  • эксперименты с токенизацией речи, выровненной по символам
  • исследование кодеков речи с переменной частотой кадров

Ограничения

README не сообщает измерения качества или битрейта и не описывает режим использования кодека подробно. Индекс латентных представлений подготовлен на выборках LibriSpeech, а чекпойнт обучен на LibriTTS 960.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

🔀 DyCAST

A variable-frame-rate 16 kHz speech codec based on FocalCodec.

This repository contains the checkpoint trained on LibriTTS 960, as described in the preprint.

The IVF index index.faiss contains continuous latents at 50 Hz from LibriSpeech train-clean-100, dev-clean, and test-clean.


▶️ Quickstart

See the readme at: https://github.com/lucadellalib/dycast


@ Citing

@article{dellalibera2026dycast,
    title   = {Beyond Fixed Frames: Dynamic Character-Aligned Speech Tokenization},
    author  = {Luca {Della Libera} and Cem Subakan and Mirco Ravanelli},
    journal = {arXiv preprint arXiv:2601.23174},
    year    = {2026},
}
@article{dellalibera2025focalcodecstream,
    title   = {{FocalCodec-Stream}: Streaming Low-Bitrate Speech Coding via Causal Distillation},
    author  = {Luca {Della Libera} and Cem Subakan and Mirco Ravanelli},
    journal = {arXiv preprint arXiv:2509.16195},
    year    = {2025},
}
@inproceedings{dellalibera2025focalcodec,
    title     = {{FocalCodec}: Low-Bitrate Speech Coding via Focal Modulation Networks},
    author    = {Luca {Della Libera} and Francesco Paissan and Cem Subakan and Mirco Ravanelli},
    booktitle = {Advances in Neural Information Processing Systems},
    year      = {2025},
}

📧 Contact

luca.dellalib@gmail.com


Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · torch

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов
b81d138

0 моделей