/ Модель
Каталог

Характеристики

Размер весов
3,6 ГБ
Лицензия
CC BY-NC-SA 4.0
Опубликована
31 мая 2025

Ссылки

Hugging Face

s1-mini

fishaudio
Синтез речиТекст → аудио3 профессии

FishAudio S1-mini — дистиллированная многоязычная модель Fish Audio для синтеза речи из текста с управлением эмоциями и интонацией.

1 857скачиваний за 30 дней752лайкавеса обновлены6 фев 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

FishAudio S1-mini — многоязычная модель синтеза речи от Fish Audio, дистиллированная версия FishAudio S1 размером 0,5 млрд параметров. Она преобразует текст в речь на 13 языках: английском, китайском, японском, немецком, французском, испанском, корейском, арабском, русском, нидерландском, итальянском, польском и португальском. Модель поддерживает маркеры эмоций, интонации и голосовых эффектов, например шёпота, смеха и плача.

Модель подходит для озвучивания текста и создания речи с заданной эмоциональной окраской и манерой произношения. В приведённой оценке Seed TTS для английского S1-mini показала WER 0,011, CER 0,005 и расстояние между голосами 0,380; это результаты автоматической оценки, а не гарантия качества для всех языков и сценариев. Репозиторий содержит веса PyTorch. Лицензия CC BY-NC-SA 4.0 требует указания авторства, распространения производных материалов на тех же условиях и не разрешает коммерческое использование.

Сценарии применения

  • озвучивание текста на 13 языках
  • создание эмоционально окрашенной речи для персонажей
  • синтез шёпота, крика и других выразительных интонаций
  • генерация смеха, плача и других голосовых эффектов
  • создание многоязычных голосовых демонстраций

Ограничения

Опубликованные метрики относятся к автоматической оценке английской речи и не характеризуют качество на всех поддерживаемых языках. Лицензия запрещает коммерческое использование.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.9Универсальные способностиАудио и музыкаAI помогает анализировать, очищать, преобразовывать и создавать звук и музыку.15 задач4 835моделейI.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953моделиI.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

FishAudio S1

FishAudio S1 is a leading text-to-speech (TTS) model trained on more than 2 million hours of audio data in multiple languages.

Supported languages:

  • English (en)
  • Chinese (zh)
  • Japanese (ja)
  • German (de)
  • French (fr)
  • Spanish (es)
  • Korean (ko)
  • Arabic (ar)
  • Russian (ru)
  • Dutch (nl)
  • Italian (it)
  • Polish (pl)
  • Portuguese (pt)

Please refer to Fish Speech Github for more info. Demo available at Fish Audio Playground. Visit the Fish Audio website for blog & tech report.

Emotion and Tone Support

FishAudio S1 supports a variety of emotional, tone, and special markers to enhance speech synthesis:

1. Emotional markers: (angry) (sad) (disdainful) (excited) (surprised) (satisfied) (unhappy) (anxious) (hysterical) (delighted) (scared) (worried) (indifferent) (upset) (impatient) (nervous) (guilty) (scornful) (frustrated) (depressed) (panicked) (furious) (empathetic) (embarrassed) (reluctant) (disgusted) (keen) (moved) (proud) (relaxed) (grateful) (confident) (interested) (curious) (confused) (joyful) (disapproving) (negative) (denying) (astonished) (serious) (sarcastic) (conciliative) (comforting) (sincere) (sneering) (hesitating) (yielding) (painful) (awkward) (amused)

2. Tone markers: (in a hurry tone) (shouting) (screaming) (whispering) (soft tone)

3. Special markers: (laughing) (chuckling) (sobbing) (crying loudly) (sighing) (panting) (groaning) (crowd laughing) (background laughter) (audience laughing)

Special markers with corresponding onomatopoeia:

  • Laughing: Ha,ha,ha
  • Chuckling: Hmm,hmm

Model Variants and Performance

FishAudio S1 includes the following models:

  • S1 (4B, proprietary): The full-sized model.
  • S1-mini (0.5B): A distilled version of S1.

Both S1 and S1-mini incorporate online Reinforcement Learning from Human Feedback (RLHF).

Seed TTS Eval Metrics (English, auto eval, based on OpenAI gpt-4o-transcribe, speaker distance using Revai/pyannote-wespeaker-voxceleb-resnet34-LM):

  • S1:
    • WER (Word Error Rate): 0.008
    • CER (Character Error Rate): 0.004
    • Distance: 0.332
  • S1-mini:
    • WER (Word Error Rate): 0.011
    • CER (Character Error Rate): 0.005
    • Distance: 0.380

License

This model is permissively licensed under the CC-BY-NC-SA-4.0 license.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Доступ к модели ограничен автором; у платформы нет доступа к весам.

Ревизия весов
f4b4450

0 моделей

    Создать бенчмарк