/ Модель
Каталог

Характеристики

Размер весов
3,6 ГБ
Лицензия
CC BY-NC-SA 4.0
Архитектура
dual_ar · dense
Опубликована
4 июн 2025

Ссылки

Hugging Face

oa

cocktailpeanut
Синтез речиТекст → аудио3 профессии

OpenAudio S1 — многоязычная модель Fish Speech для выразительного синтеза речи из текста с управлением эмоциями и интонацией.

2 354скачиваний за 30 дней1лайквеса обновлены4 июн 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

OpenAudio S1 — многоязычная модель синтеза речи от разработчиков проекта Fish Speech. Репозиторий описывает семейство из полной версии S1 размером 4B и дистиллированной S1-mini размером 0,5B; в метаданных для этой модели указаны архитектура dual_ar, плотная архитектура и формат PyTorch. Обе версии обучались с применением RLHF.

Модель преобразует текст в речь на китайском, английском, немецком, японском, французском, испанском, корейском, арабском, нидерландском, русском, итальянском, польском и португальском языках. Она поддерживает маркеры эмоций, интонации и некоторых звуковых проявлений, например смеха, шёпота и плача, чтобы управлять выразительностью синтеза. В README приведены результаты Seed TTS Eval для английского языка, но они не гарантируют аналогичного качества для всех языков и сценариев.

Для использования весов применяется лицензия CC BY-NC-SA 4.0, которая ограничивает коммерческое использование и предусматривает условия атрибуции и распространения производных материалов.

Сценарии применения

  • озвучивание текста на русском и других поддерживаемых языках
  • создание выразительной речи с заданной эмоцией или интонацией
  • генерация реплик для озвучки видео и аудиоконтента
  • синтез шёпота, смеха и других обозначенных голосовых проявлений

Ограничения

Приведённые метрики оценки относятся только к английскому языку и не позволяют судить о качестве для остальных поддерживаемых языков. Лицензия CC BY-NC-SA 4.0 ограничивает коммерческое использование.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.9Универсальные способностиАудио и музыкаAI помогает анализировать, очищать, преобразовывать и создавать звук и музыку.15 задач4 835моделейI.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953моделиI.10Универсальные способностиВидео, анимация и 3DAI помогает создавать, анализировать и преобразовывать динамический визуальный контент и 3D-сцены.18 задач3 279моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

OpenAudio S1

OpenAudio S1 is a leading text-to-speech (TTS) model trained on more than 2 million hours of audio data in multiple languages.

Supported languages:

  • English (en)
  • Chinese (zh)
  • Japanese (ja)
  • German (de)
  • French (fr)
  • Spanish (es)
  • Korean (ko)
  • Arabic (ar)
  • Russian (ru)
  • Dutch (nl)
  • Italian (it)
  • Polish (pl)
  • Portuguese (pt)

Please refer to Fish Speech Github for more info. Demo available at Fish Audio Playground. Visit the OpenAudio website for blog & tech report.

Emotion and Tone Support

OpenAudio S1 supports a variety of emotional, tone, and special markers to enhance speech synthesis:

1. Emotional markers: (angry) (sad) (disdainful) (excited) (surprised) (satisfied) (unhappy) (anxious) (hysterical) (delighted) (scared) (worried) (indifferent) (upset) (impatient) (nervous) (guilty) (scornful) (frustrated) (depressed) (panicked) (furious) (empathetic) (embarrassed) (reluctant) (disgusted) (keen) (moved) (proud) (relaxed) (grateful) (confident) (interested) (curious) (confused) (joyful) (disapproving) (negative) (denying) (astonished) (serious) (sarcastic) (conciliative) (comforting) (sincere) (sneering) (hesitating) (yielding) (painful) (awkward) (amused)

2. Tone markers: (in a hurry tone) (shouting) (screaming) (whispering) (soft tone)

3. Special markers: (laughing) (chuckling) (sobbing) (crying loudly) (sighing) (panting) (groaning) (crowd laughing) (background laughter) (audience laughing)

Special markers with corresponding onomatopoeia:

  • Laughing: Ha,ha,ha
  • Chuckling: Hmm,hmm

Model Variants and Performance

OpenAudio S1 includes the following models:

  • S1 (4B, proprietary): The full-sized model.
  • S1-mini (0.5B): A distilled version of S1.

Both S1 and S1-mini incorporate online Reinforcement Learning from Human Feedback (RLHF).

Seed TTS Eval Metrics (English, auto eval, based on OpenAI gpt-4o-transcribe, speaker distance using Revai/pyannote-wespeaker-voxceleb-resnet34-LM):

  • S1:
    • WER (Word Error Rate): 0.008
    • CER (Character Error Rate): 0.004
    • Distance: 0.332
  • S1-mini:
    • WER (Word Error Rate): 0.011
    • CER (Character Error Rate): 0.005
    • Distance: 0.380

License

This model is permissively licensed under the CC-BY-NC-SA-4.0 license.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Архитектура dual_ar неизвестна transformers в образе рантайма.

Ревизия весов
be35f06

0 моделей

    Создать бенчмарк