/ Модель
Каталог

Характеристики

Лицензия
CC BY 4.0
Опубликована
1 дек 2025

Ссылки

Hugging Face

LayaCodec

YatharthS
Обработка аудиоАудио → аудио

Нейронный аудиокодек, который сжимает речь в компактные токены и восстанавливает её для использования, в частности, в конвейерах синтеза речи.

17скачиваний за 30 дней14лайковвеса обновлены14 дек 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

LayaCodec — нейронный аудиокодек и токенизатор для сжатия и восстановления речи; модель опубликована YatharthS. Она кодирует аудио с частотой 16 кГц в последовательность дискретных токенов, используя кодовую книгу размером 8192, с частотой от 12,5 до 50 токенов в секунду, и декодирует его в аудио с частотой 44,1 кГц. Низкая частота токенов и компактная кодовая книга рассчитаны на ускорение обучения и масштабирование моделей синтеза речи; автор также заявляет декодирование более чем в 40 раз быстрее большинства диффузионных кодеков.

Модель предназначена для нейронного кодирования и декодирования аудио и может служить аудиотокенизатором в конвейерах TTS. В карточке указаны английский язык и обучающие наборы MLS Sidon и Libriheavy-HQ. Разработка обозначена как незавершённая: модель обучалась на нескольких сотнях часов данных и, по словам автора, требует дальнейшего обучения. Веса доступны по лицензии CC-BY-4.0; лицензия кода — Apache-2.0.

Сценарии применения

  • сжатие речевого аудио в дискретные токены
  • декодирование токенов в аудио с частотой 44,1 кГц
  • токенизация речи для моделей синтеза речи
  • ускорение обучения TTS-моделей за счёт снижения частоты аудиотокенов

Ограничения

Модель находится в разработке и обучалась лишь на нескольких сотнях часов аудиоданных; автор отмечает, что ей требуется дальнейшее обучение. Заявленные скорость и качество приведены в карточке модели, но независимые результаты оценки не указаны.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

LayaCodec

LayaCodec: Rapid, High-Fidelity Audio Compression: Reaching the Pareto Frontier in Neural Audio Codecs

This is a neural audio codec/tokenizer that encodes 16khz at a rate from 12.5 t/s(0.16 kpbs) to 50 t/s(0.65 kpbs) using a single 8192 size codebook and decodes it into 44.1khz audio. This allows for much faster and scalable TTS models compared to othern modern codecs for several reasons.

  1. Much lower token rates than other single pass codecs such as Xcodec2(50 t/s), Snac(83 t/s), Dac(774 t/s), etc.
  2. Much smaller codebook size(8192) compared to Xcodec2(65536) for faster TTS model training speed.
  3. Over 40x faster then most diffusion based codecs allowing for much simpler and larger scale TTS models where codecs are not the bottleneck.
  4. Decodes audio into 44.1khz which is much higher quality then the common 24khz or 16khz sampling rate.

Repo: https://github.com/ysharma3501/LayaCodec

This is still W.I.P, it has only seen a few hundred hours of training data but surprisingly good quality. It will still need some more training.

Model is released with a permissive CC-BY-4.0 license and Code is released with Apache-2.0 license.

Thanks very much to the authors of FocalCodec and Anime-XCodec2.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов
b54023f

0 моделей

    Создать бенчмарк