/ Модель

Характеристики

Размер весов
1,5 ГБ
Лицензия
CC BY-NC-SA 4.0
Архитектура
dual_ar · dense
Опубликована
24 ноя 2024

fish-speech-1.5

Синтез речиТекст → аудио3 профессии

Fish Speech V1.5 — многоязычная модель Fish Audio для преобразования текста в речь на 13 языках.

3 328скачиваний за 30 дней778лайковвеса обновлены25 мар 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Fish Speech V1.5 — многоязычная модель синтеза речи, разработанная Fish Audio. Она преобразует текст в аудио и обучена на более чем миллионе часов многоязычных аудиоданных. Модель относится к плотной архитектуре dual_ar и доступна в формате PyTorch.

Модель предназначена для создания озвучки на английском, китайском, японском, немецком, французском, испанском, корейском, арабском, русском, нидерландском, итальянском, польском и португальском языках. В обучающих данных больше всего часов английской и китайской речи, затем японской; остальные языки представлены меньшим объёмом.

Лицензия CC BY-NC-SA 4.0 требует указания авторства, распространения производных материалов на тех же условиях и не допускает коммерческого использования. Карточка не описывает параметры управления голосом или оценку качества синтеза.

Сценарии применения

  • озвучивание текста на русском языке
  • создание англоязычной озвучки
  • синтез речи на китайском и японском языках
  • озвучивание материалов на европейских языках
  • создание аудиоверсий текстового контента

Ограничения

Лицензия запрещает коммерческое использование. Карточка не приводит оценки качества и не описывает возможности управления голосом.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Fish Speech V1.5

Fish Speech V1.5 is a leading text-to-speech (TTS) model trained on more than 1 million hours of audio data in multiple languages.

Supported languages:

  • English (en) >300k hours
  • Chinese (zh) >300k hours
  • Japanese (ja) >100k hours
  • German (de) ~20k hours
  • French (fr) ~20k hours
  • Spanish (es) ~20k hours
  • Korean (ko) ~20k hours
  • Arabic (ar) ~20k hours
  • Russian (ru) ~20k hours
  • Dutch (nl) <10k hours
  • Italian (it) <10k hours
  • Polish (pl) <10k hours
  • Portuguese (pt) <10k hours

Please refer to Fish Speech Github for more info.
Demo available at Fish Audio.

Citation

If you found this repository useful, please consider citing this work:

@misc{fish-speech-v1.4,
      title={Fish-Speech: Leveraging Large Language Models for Advanced Multilingual Text-to-Speech Synthesis}, 
      author={Shijia Liao and Yuxuan Wang and Tianyu Li and Yifan Cheng and Ruoyi Zhang and Rongzhi Zhou and Yijin Xing},
      year={2024},
      eprint={2411.01156},
      archivePrefix={arXiv},
      primaryClass={cs.SD},
      url={https://arxiv.org/abs/2411.01156}, 
}

License

This model is permissively licensed under the CC-BY-NC-SA-4.0 license.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Архитектура dual_ar неизвестна transformers в образе рантайма.

Ревизия весов
275a984

0 моделей