/ Модель

Характеристики

Лицензия
CC BY 4.0
Опубликована
1 янв 2026

LEMAS-TTS

Синтез речиТекст → аудио5 профессий

LEMAS-TTS — многоязычная zero-shot модель, синтезирующая речь из текста на десяти языках.

19скачиваний за 30 дней19лайковвеса обновлены31 мар 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

LEMAS-TTS — многоязычная система синтеза речи с нуля по тексту, представленная в исследовательской работе LEMAS; разработчик — проект LEMAS. Модель использует нерекуррентную архитектуру на основе flow matching и обучена на корпусе LEMAS-Dataset объёмом более 150 000 часов аудио на десяти языках.

Система предназначена для zero-shot синтеза речи на китайском, английском, испанском, русском, французском, немецком, итальянском, португальском, индонезийском и вьетнамском языках. Для повышения устойчивости и качества при многоязычном синтезе применяются состязательное обучение против акцента и функция потерь CTC.

Модель подходит для генерации озвучки по тексту и многоязычных речевых приложений, которым важна работа без отдельной настройки для каждого голоса или языка. Репозиторий содержит варианты ONNX и PyTorch с весами Safetensors. Лицензия — CC BY 4.0.

Сценарии применения

  • генерация речи по тексту на русском языке
  • многоязычная озвучка текстового контента
  • создание речи на нескольких языках без отдельной настройки для каждого языка
  • синтез речи с уменьшением переноса акцента между языками
  • разработка приложений с автоматической озвучкой

Ограничения

README не приводит количественных оценок качества или подробных ограничений по голосам и допустимому вводу; качество синтеза может различаться между языками и сценариями.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

LEMAS-TTS

LEMAS-TTS is a multilingual zero-shot text-to-speech system, presented in the paper LEMAS: A 150K-Hour Large-scale Extensible Multilingual Audio Suite with Generative Speech Models.

Model Description

LEMAS-TTS is built upon a non-autoregressive flow-matching framework. It leverages the massive scale and linguistic diversity of the LEMAS-Dataset to achieve robust zero-shot multilingual synthesis. The model incorporates accent-adversarial training and CTC loss to mitigate cross-lingual accent issues, enhancing synthesis stability and quality across diverse languages.

Supported Languages

The model supports 10 major languages for zero-shot synthesis:

  • Chinese (zh)
  • English (en)
  • Spanish (es)
  • Russian (ru)
  • French (fr)
  • German (de)
  • Italian (it)
  • Portuguese (pt)
  • Indonesian (id)
  • Vietnamese (vi)

Training Data

LEMAS-TTS was trained on the LEMAS-Dataset, which is, to our knowledge, currently the largest open-source multilingual speech corpus with word-level timestamps. It covers over 150,000 hours across 10 major languages.

Citation

@article{zhao2026lemas,
  title={LEMAS: A 150K-Hour Large-scale Extensible Multilingual Audio Suite with Generative Speech Models},
  author={Zhao, Zhiyuan and Lin, Lijian and Zhu, Ye and Xie, Kai and Liu, Yunfei and Li, Yu},
  journal={arXiv preprint arXiv:2601.04233},
  year={2026}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Архитектура ? неизвестна transformers в образе рантайма.

Ревизия весов
386ba35

0 моделей