I.9Аудио и музыка

OmniVoice MLX Q8 FP16 — версия модели OmniVoice, подготовленная разработчиком remember2015 для запуска через MLX на Apple Silicon. Линейные слои Qwen3-кодировщика квантованы до int8 с размером группы 64, активации работают в fp16, а выходные головы кодовых книг оставлены в fp32. Репозиторий содержит веса в safetensors и токенизатор Qwen3; для работы также нужны веса аудиокодека из upstream, которые имеют отдельную лицензию и не включены в репозиторий. Модель предназначена для синтеза речи из текста. По описанию базовой OmniVoice она поддерживает клонирование голоса и настройку его характеристик; в карточке указаны китайский и английский языки. Автор сообщает, что CER, сходство голосов и UTMOS не изменились относительно официального 32-шагового семплера. Опубликованная конфигурация занимает 829 МБ, а резидентное использование памяти с кодеком составляет 1,6 ГБ; приведённые замеры производительности относятся к конкретной системе M2 Max и не гарантируют такую же скорость на других устройствах. Модель распространяется по лицензии CC BY-NC 4.0, а лицензия весов кодека определяется отдельно.

OpenVoice V2 — Core ML — это конвертированная в формат Core ML модель для преобразования голоса, основанная на myshell-ai/OpenVoice. Конверсию для запуска на устройствах Apple выполнил Daisuke Majima; модель состоит из двух пакетов: кодировщика говорящего и преобразователя голоса, которые последовательно запускаются из Swift. Модель преобразует входное аудио в аудио с голосом заданного говорящего и поддерживает клонирование голоса по примерно 10 секундам образца. Она предназначена для локального вывода на iPhone, iPad и Mac. Общий размер пакетов — около 58 МБ; в карточке указана проверенная конфигурация вычислений CPU и GPU. Лицензия — MIT.

Orpheus 3B 0.1 Finetuned — модель синтеза речи (TTS), разработанная CanopyAI и опубликованная в формате GGUF командой Unsloth. Она основана на Llama и предназначена для преобразования текста в естественную, выразительную речь, включая сценарии потоковой генерации в реальном времени. Модель поддерживает английский язык. Заявлены человеческая интонация, эмоциональность и естественный ритм речи, клонирование голоса без дополнительного обучения, а также управление эмоциями и интонацией с помощью специальных тегов. Заявленная задержка потоковой генерации составляет около 200 мс и может снижаться примерно до 100 мс при потоковой передаче входных данных. Размер модели — 3 млрд параметров; конкретные сведения о модальностях помимо текстового ввода и речевого вывода, размере контекстного окна и технических характеристиках архитектуры в README не указаны. Модель подходит для голосовых интерфейсов, диалоговых систем, озвучивания контента и других приложений, где важны качество, выразительность и низкая задержка. Возможность клонирования голоса расширяет область применения, но требует осторожного использования и согласия владельца голоса. Модель распространяется по лицензии Apache-2.0. Разработчики запрещают использование для имперсонации без согласия, дезинформации, обмана, незаконной или вредоносной деятельности.

Orpheus 3B 0.1 Pretrained — базовая модель синтеза речи от CanopyLabs, построенная на архитектуре Llama и предназначенная для дальнейшей настройки под задачи генерации речи. Она принимает текст и генерирует речь; заявлены естественные интонации, эмоциональная выразительность и ритм. Среди сценариев применения разработчик также указывает клонирование голоса с нуля и классификацию, однако основная задача модели в метаданных — синтез речи. Модель основана на дообученной Meta-Llama-3.2-3B-Instruct, распространяется в формате Safetensors и имеет лицензию Apache-2.0. Разработчик предупреждает не использовать её для имитации голоса без согласия, дезинформации или мошенничества.

Orpheus 3B 0.1 Pretrained — базовая модель синтеза речи от CanopyAI, построенная на архитектуре Llama и представленная как Speech-LLM. Она предназначена для генерации речи по тексту и последующего дообучения под прикладные сценарии, включая клонирование голоса по образцу без предварительного дообучения и классификацию. Разработчики заявляют о естественной интонации, эмоциональной выразительности и ритме речи. Модель содержит 3,3 млрд параметров, использует плотную архитектуру LlamaForCausalLM и формат safetensors. Метаданные указывают контекст до 131 072 токенов и английский язык. Лицензия — Apache 2.0. В карточке репозитория модель связана с объединением Orpheus 3B и Meta Llama 3.2 3B Instruct; базовая модель предназначена для дальнейшего применения и адаптации.

Pakorn2112/Orpheus-TTS-hmong-3b — модель синтеза речи на языке хмонг (Hmoob / Hmong Daw), созданная LocalVoice.org на основе Orpheus-3B TTS. Это дообученная PEFT LoRA модель семейства Llama с 3,3 млрд параметров; для кодирования аудио используется SNAC с частотой 24 кГц. Модель принимает текст и выдаёт речь, поддерживает эмоциональные метки и необязательный префикс для нескольких голосов. Модель предназначена для озвучивания текста на хмонг, в том числе потокового и работающего в реальном времени на одной GPU. В README рекомендуются чистые монофонические записи WAV с частотой 24 кГц и отдельные реплики длиной 1–8 секунд для получения качественного результата. Контекстная длина по метаданным — 131 072 токена. Лицензия — Apache-2.0.

Карточка модели Shura123/OuteTTS-0.2-500M на Hugging Face совпадает с карточкой OuteAI/OuteTTS-0.2-500M, поэтому описание составлено по ней. OuteTTS-0.2-500M — модель синтеза речи от OuteAI, основанная на Qwen-2.5-0.5B. Это плотная авторегрессионная языковая модель архитектуры Qwen2 с 499,1 млн параметров; она принимает текст и аудиопромпты и генерирует речь. Контекст по метаданным составляет 32 768 токенов, хотя в README для генерации со speaker profile приводится ориентир 4096 токенов и до примерно 54 секунд аудио без учёта сокращения из-за профиля. Модель предназначена для преобразования текста в речь, следования аудиопромпту и клонирования голоса по профилю диктора. Основной язык — английский; поддержка китайского, японского и корейского заявлена как экспериментальная. README отмечает улучшения естественности звучания, точности следования промпту и разнообразия голосов по сравнению с предыдущей версией. Для качественного клонирования рекомендуются чистый аудиофрагмент длительностью около 10–15 секунд и точная расшифровка; необычные акценты и характеристики голоса могут воспроизводиться менее точно. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.

Это польский голос для синтеза речи Piper с именем jarvis_wg_glos. Модель перепакована из репозитория WitoldG/polish_piper_models для использования с Speaches и распространяется в формате ONNX. Модель предназначена для преобразования польского текста в речь. Карточка не приводит сведений об архитектуре, размере, длине контекста, лицензии или дополнительных характеристиках звучания.

eduardem/piper-tts-romanian — набор из пяти дообученных голосов Piper на архитектуре VITS для синтеза румынской речи из текста. Модели доступны в формате ONNX; синтез неавторегрессионный и рассчитан на детерминированную генерацию аудио, в том числе на CPU. В README указаны женские голоса Lili, Raluca и Sanda, варианты качества high и medium, а также показатели WER для некоторых голосов. Модель подходит для озвучивания румынских статей, рассказов, сообщений и другого текста, включая массовую генерацию аудио. Карточка показывает примеры длинного текста и английских заимствований в румынских предложениях; для длинного ввода автор указывает ограничения и рекомендует отдельный голос Liana, который в этот репозиторий не входит. Лицензия — CC BY-NC 4.0, поэтому коммерческое использование не разрешено.

Plapre Pico — модель синтеза речи на датском языке, разработанная командой syv-ai. Она преобразует датский текст в аудио с частотой дискретизации 24 кГц и поддерживает выбор встроенных голосов, условную генерацию по голосовой характеристике и клонирование голоса по эталонной аудиозаписи. Модель построена на LLaMA-подобной архитектуре с 30 слоями и размером скрытого состояния 576. Базовая модель содержит около 118 млн параметров, дополнительно используется проекция говорящего примерно на 74 тыс. параметров. Текст разбивается на BPE-токены, после чего авторегрессионно генерируются аудиотокены токенизатора Kanade с частотой 25 токенов в секунду и кодовой книгой размером 12 800. Для идентификации голоса применяется 128-мерное embedding-представление, которое может быть извлечено из референсного WAV-файла. Доступны варианты в формате GGUF с разными уровнями квантования, а основная точность — bfloat16. Модель предназначена для озвучивания датских текстов, создания аудиофайлов, приложений с синтезом речи и сценариев, где требуется воспроизведение выбранного или клонированного голоса. Поддерживается разбиение длинного текста на предложения и настройка параметров генерации. Основное ограничение — заявленная языковая поддержка ограничена датским языком; сведения о качестве, скорости, допустимых коммерческих сценариях и устойчивости клонирования голоса в README не приведены. Модель распространяется по лицензии CC BY 4.0.

MLX-версия модели Qwen3-TTS-12Hz-0.6B-CustomVoice, разработанная сообществом mlx-community и конвертированная из оригинальной модели Qwen/Qwen3-TTS-12Hz-0.6B-CustomVoice с использованием mlx-audio 0.3.0. Модель предназначена для синтеза речи по тексту и поддерживает сценарии генерации аудио, включая использование референсного аудиофайла для voice cloning. Модель имеет размер 0,6 млрд параметров, представлена в 8-битном формате и подготовлена для запуска в экосистеме MLX через библиотеку mlx-audio. В README не указаны архитектура, поддерживаемые языки, точный размер контекста, перечень модальностей и другие детальные характеристики. Приведён пример генерации речи из английского текста с возможностью указать референсный WAV-файл. Модель удобна для локального применения на совместимом с MLX оборудовании и интеграции через CLI или Python API. Ограничения, качество voice cloning, поддерживаемые языки и системные требования в карточке не описаны. Распространяется по лицензии Apache-2.0.

Это мультиязычная модель синтеза речи Qwen3-TTS 12Hz 0.6B, подготовленная loom-ai-org для запуска в loom.cpp. Репозиторий содержит экспорт GGUF исходных весов Qwen/Qwen3-TTS-12Hz-0.6B-Base; README указывает, что параметры не изменены. Модель принимает текст и аудиопример голоса и выдаёт токены нейрокодека, которые нужно преобразовать в звуковую волну с помощью совместимого qwen3-tts-tokenizer-12hz-loom. Модель предназначена для синтеза речи с клонированием голоса по образцу. Поддерживаются китайский, английский, японский, корейский, немецкий, французский, русский, португальский, испанский и итальянский языки. Для клонирования можно использовать аудиопример, а в режиме ICL также передать его расшифровку. Лицензия — Apache-2.0. Модель сама не формирует аудиоволну: её выход — шестнадцать потоков кодек-токенов, требующих отдельного декодера. Для клонирования необходим аудиопример, поскольку таблицы встроенных голосов нет; режим ICL требует расшифровку образца. По умолчанию генерация стохастическая, а скорость ниже ожидаемой для размера модели из-за особенностей экспорта и предсказания кодов.

Slim-Orpheus 3B Japanese — модель синтеза речи на основе Llama, созданная разработчиком Gapeleon путём сокращения исходной модели с 28 до 16 слоёв и обучения на японском языке. Она предназначена для преобразования японского текста в речь с выбором одного из 14 голосов. По карточке, качество звучания различается между голосами: часть оценена как хорошая, часть — как приемлемая или низкая, а один голос отмечен как нестабильный. Модель содержит 2,1 млрд параметров, использует архитектуру Llama и формат safetensors; заявленная длина контекста — 131 072 токена. Карточка описывает исходный Orpheus как Speech-LLM с потоковой генерацией речи, но не подтверждает, что все приведённые характеристики производительности сохраняются после сокращения модели. Лицензия — Apache-2.0.

snorTTS-Indic-v0 — мультиязычная модель синтеза речи, разработанная snorbyte. Она генерирует речь на девяти индийских языках: хинди, тамильском, телугу, маратхи, каннада, малаялам, пенджаби, гуджарати и бенгальском. Модель также поддерживает клонирование голоса, переключение языков в одной фразе и перенос голоса между языками. Модель основана на плотной архитектуре LLaMA 3.2 с 3,3 млрд параметров и принимает текст, а для управления голосом использует идентификаторы дикторов и речевые примеры. Для представления звука применяется кодек SNAC с частотой 24 кГц и тремя кодбуками. Указанное в метаданных контекстное окно — 131 072 токена. Веса доступны в формате Safetensors; лицензия — Apache-2.0. Модель подходит для создания озвучки и многоязычных речевых интерфейсов, а также для экспериментов с клонированием и переносом голоса. Качество и естественность речи могут различаться между языками и дикторами; в README приведены рекомендованные идентификаторы дикторов и настройки скорости лишь для части языков.

Sopro-v2-turbo — компактная модель синтеза речи с клонированием голоса из семейства Sopro, опубликованная Samuel Vitorino. Модель содержит 120 млн параметров и распространяется под лицензией Apache-2.0. Репозиторий содержит веса в формате safetensors; для запуска требуются актуальные версии библиотеки sopro или браузерного ONNX-рантайма Sopro. Модель преобразует текст в речь на английском, европейском португальском, французском и немецком языках. Она поддерживает потоковую генерацию и zero-shot клонирование голоса по 5–20 секундам образца аудио; также предусмотрен запуск на CPU ноутбука и в браузере. По данным карточки, задержка до первого аудио в потоковом режиме составляет около 300 мс на CPU ноутбука. К ограничениям относятся ошибки произношения некоторых сокращений, чисел и символов, а также слабая работа с текстом, смешивающим языки. Потоковый режим может уступать офлайн-режиму по качеству, а мобильная браузерная версия использует квантизацию и может давать худший результат или аварийно завершаться на устройствах с малым объёмом памяти. Веса не снабжены водяными знаками; разработчики просят не использовать клонирование для выдачи себя за других людей.

23f2003853/speecht5_finetuned_voxpopuli_ro — дообученная версия SpeechT5 от Microsoft для синтеза речи из текста. Модель построена на архитектуре SpeechT5ForTextToSpeech и распространяется в формате safetensors. В метаданных указана задача text-to-audio, а название репозитория указывает на настройку для румынского языка и связь с VoxPopuli; README при этом сообщает, что обучающий датасет неизвестен. Модель предназначена для преобразования текста в речь. В README приведён результат оценки Loss 0,4394, но без описания набора данных и методики эту оценку нельзя напрямую интерпретировать как качество синтеза. Модель распространяется по лицензии MIT.

sapinsapin/speecht5_tts-pld-ceb — модель синтеза речи из текста, разработанная sapinsapin дообучением microsoft/speecht5_tts на датасете sapinsapin/pld. Она предназначена для озвучивания текста на Cebuano и использует архитектуру SpeechT5; для генерации речи предусмотрена привязка к голосу говорящего через x-vector conditioning и вокодер microsoft/speecht5_hifigan. Модель обучалась 1000 шагов на 1847 аудиофрагментах; формат весов — safetensors, библиотека запуска — Transformers. Модель подходит для создания озвучки и речевых образцов на Cebuano. В карточке приведено значение eval_loss 0.4070, однако качество и естественность синтеза отдельно не описаны. Распространяется по лицензии MIT.

Willie999/speecht5_twi_tts — модель синтеза речи из текста на базе SpeechT5, дообученная автором репозитория на неизвестном наборе данных. Архитектура относится к семейству SpeechT5; веса опубликованы в формате safetensors. Модель предназначена для преобразования текста в аудио. В README приведено значение loss 1,8945 на наборе оценки, но описание набора данных и подробности оценки отсутствуют. Репозиторий распространяется по лицензии MIT.

utrobinmv/tts_ru_free_hf_vits_high_multispeaker — русскоязычная модель синтеза речи с несколькими голосами на архитектуре VITS. Она принимает обычный текст с пунктуацией, без предварительного преобразования в фонемы, и генерирует речь на русском языке. Доступны два голоса: женский с идентификатором 0 и мужской с идентификатором 1; текст следует подавать строчными буквами. Модель сама расставляет ударения, но для повышения качества README рекомендует указывать их перед гласными. Модель содержит 4,7 млн параметров, опубликована в формате Safetensors и доступна по лицензии Apache-2.0. Она подходит для озвучивания русскоязычных текстов с выбором женского или мужского голоса. Из описания не следует, что модель поддерживает другие языки или функции клонирования голоса.

Aynur27/uz-speecht5-own-voice3 — дообученная на неизвестном наборе данных модель синтеза речи на основе SpeechT5 от Microsoft. Архитектура — SpeechT5ForTextToSpeech; модель принимает текст и генерирует аудио. В карточке указана оценка Loss 0,6495 на наборе для оценки. Модель предназначена для преобразования текста в речь. Название репозитория указывает на узбекский язык и собственный голос, но README не подтверждает эти характеристики и не описывает голос, данные обучения или сценарии использования. Распространяется под лицензией MIT.

Vi-SparkTTS-0.5B — модель синтеза речи семейства Spark-TTS, разработанная DragonLineageAI и обученная на вьетнамском наборе данных viVoice. Она преобразует текст в звучащую речь и рассчитана на генерацию естественного голоса; автор описывает сценарии как исследовательское и производственное применение. Модель использует архитектуру SparkTTSModel типа dense и распространяется в формате PyTorch с весами Safetensors. В README приведён вариант запуска через библиотеку Transformers и возможность дообучения на других наборах данных или языках. Лицензия CC BY-NC-ND 4.0 требует указания авторства и запрещает коммерческое использование и распространение производных материалов.

wasmdashai/vits-ar — арабская модель синтеза речи, разработанная Wasmdash AI на архитектуре VITS с использованием предварительно обученных весов Facebook vits ara. Она преобразует текст на арабском языке в речевую аудиоволну и рассчитана на стандартный арабский текст и различные диалектные формы, включая разговорные выражения и местную лексику. В карточке качество звука оценено как среднее. Модель содержит около 3,5 млн параметров, использует архитектуру VITS и обучалась на данных Common Voice 17.0 и wasmdashai/db-arabic-f1-nn. Для применения указан Transformers версии 4.33 и выше. Репозиторий распространяется под лицензией AFL-3.0.

laion/vocalburst-captioning-whisper — дообученная LAION модель на архитектуре Whisper-small encoder–decoder для создания текстовых описаний коротких неречевых вокализаций: смеха, вздохов, крика, кашля, плача, одышки и прочих подобных звуков. Она принимает аудиофрагмент и генерирует свободный текст на английском языке. Веса занимают 153,1 млн параметров; модель построена на Transformers и сохранена в формате safetensors. Модель подходит для автоматической подписи вокальных звуков в аудиозаписях и для конвейеров разметки аудио. Её можно использовать вместе с laion/vocalburst-locator: детектор находит временные границы вокализаций, после чего эта модель описывает каждый сегмент. На валидационной выборке авторы получили cosine similarity 0,2506 по метрике CLAP против 0,190 у базовой модели. Модель дообучена на синтетических примерах вокализаций; приведённые результаты относятся к этой валидационной выборке, а полнота обнаружения зависит от совместно используемого детектора. Лицензия — CC BY 4.0.

VoXtream2 — потоковая zero-shot модель синтеза речи, разработанная Никитой Торгашовым, Густавом Эйе Хентером и Габриэлем Сканце. Она принимает текст и короткий аудиопромпт с целевым голосом, чтобы генерировать речь с заданными характеристиками голоса без отдельного обучения под диктора. Модель поддерживает управление скоростью речи, которое можно менять во время генерации, и потоковую выдачу аудио. По данным карточки, она работает до четырёх раз быстрее реального времени и обеспечивает задержку первого аудиопакета 74 мс на потребительском GPU. Акустический промпт может быть на любом языке; карточка указывает английский как язык модели, но не подтверждает поддержку синтеза текста на других языках. Для работы текст ограничен 1000 символами, а аудиопромпт — 3–10 секундами; максимум составляет 20 секунд, после чего аудио обрезается. Модель обучена на Emilia и HiFiTTS2. Лицензия — CC BY 4.0. Разработчики запрещают генерировать голос человека без его согласия.

Orpheus 3B Hi Pretrained — базовая модель синтеза речи от CanopyAI, построенная на Llama и дообученная на базе meta-llama/Llama-3.2-3B-Instruct. Она предназначена для генерации естественной речи с интонацией, эмоциональной окраской и ритмом, а также для клонирования голоса по образцу без предварительного дообучения и последующей адаптации под пользовательские сценарии. Модель принимает текст и генерирует речь; в карточке заявлена поддержка испанского и итальянского языков. Репозиторий использует Transformers и формат Safetensors; лицензия — Llama 3.2. Карточка позиционирует модель как основу для дальнейшей настройки, в том числе для синтеза речи и клонирования голоса. Количественные результаты и подробные условия клонирования в карточке не приведены. Не следует использовать модель для имитации голоса без согласия, дезинформации или мошенничества.

Canopy Labs выпустила эту дообученную версию Orpheus 3B для синтеза речи из текста. Модель построена на базе Llama и предназначена для генерации естественной, выразительной речи с потоковой выдачей; в карточке заявлены задержка около 200 мс и возможность снизить её примерно до 100 мс при потоковой подаче текста. Модель поддерживает клонирование голоса по образцу без предварительного дообучения и управление эмоциями и интонацией с помощью тегов. Метаданные указывают китайский язык. Модель распространяется в формате safetensors по лицензии Apache-2.0. Авторы просят не использовать её для имитации голоса без согласия, обмана или незаконной деятельности.

Карточка модели yapwithai/canopy-orpheus-3b-0.1-ft на Hugging Face совпадает с карточкой canopylabs/orpheus-3b-0.1-ft, поэтому описание составлено по ней. Orpheus 3B 0.1 Finetuned — модель синтеза речи на основе Llama, выпущенная Canopy Labs в марте 2025 года. Она предназначена для преобразования текста в естественную речь и поддерживает потоковую генерацию с низкой задержкой: в карточке заявлены около 200 мс, а при потоковой подаче текста — около 100 мс. Модель рассчитана на выразительную речь с естественной интонацией, эмоциями и ритмом. README также заявляет клонирование голоса без предварительного дообучения и управление эмоциями и интонацией с помощью тегов. Репозиторий использует Transformers и содержит веса PyTorch в формате Safetensors; размер модели — 3 млрд параметров. Базовые модели, указанные в метаданных, — canopylabs/orpheus-3b-0.1-pretrained и meta-llama/Llama-3.2-3B-Instruct. В метаданных указан английский язык и лицензия Apache-2.0. README предупреждает не использовать модель для имитации голоса без согласия, обмана или незаконной деятельности. Заявления о качестве и задержке приведены авторами и не подтверждены в предоставленных данных независимой оценкой.

Celune-1.7B-Calm — односпикерная нейросетевая модель синтеза речи, созданная lunahr на основе дообучения Qwen/Qwen3-TTS-12Hz-1.7B-Base. Она преобразует текст в речь одним фиксированным голосом: мягким, спокойным, с ASMR-подобной подачей. Модель рассчитана на озвучивание персонажей, вспомогательный синтез речи, локальные голосовые системы и творческие проекты; стиль речи можно направлять текстовыми или инструктивными подсказками, сохраняя заданную голосовую идентичность. Модель поддерживает английский и ещё девять языков, включая русский, китайский, японский, корейский, французский, немецкий, испанский, итальянский и португальский. Веса опубликованы в формате safetensors, для запуска указана библиотека faster-qwen3-tts. Лицензия — MIT. Голос и его идентичность фиксированы обучающими данными, поэтому модель не предназначена для синтеза разными дикторами. Чрезмерно необычные инструкции могут сделать речь нестабильной; длинные фрагменты со смешением языков могут ухудшить результат. Для большей стабильности рекомендуется не смешивать языки в одном предложении и не использовать специальные токены или разметку в озвучиваемом тексте.

aufklarer/CSM-1B-MLX-8bit — конверсия модели Sesame CSM-1B в формат MLX с 8-битной квантизацией для генерации речи непосредственно на устройствах Apple Silicon. Архитектура семейства Moshi сочетает основную Llama-модель класса 1B, предсказывающую первый кодековый код Mimi, и декодер Llama-100M для остальных кодовых книг; заявленный общий размер — класс 1,5 млрд параметров, файлы модели занимают около 1,7 ГБ. Модель преобразует текст в речь и может переносить голос из короткого аудиопримера, используя его аудиозапись и транскрипт. README приводит время генерации быстрее реального времени на системах Apple с чипами серии M и задержку первого аудио около 120 мс в потоковом режиме. Модель ориентирована на английский язык; для синтеза нужны текст и референсное аудио с транскриптом. Известные ограничения: качество слабее для других языков, конец аудио иногда обрезает последнее слово, а клонирование голоса может сглаживать просодию относительно специально подготовленного референса. Указанная лицензия — Apache-2.0.

Dia — плотная модель генерации речи на 1,6 млрд параметров, разработанная Nari Labs. Она преобразует текст в реалистичную речь и диалоги с репликами нескольких говорящих, обозначенными тегами [S1] и [S2]. Можно подать аудио вместе с его расшифровкой, чтобы управлять тоном и эмоциями или клонировать голос; модель также воспроизводит невербальные звуки, например смех, кашель и вздохи. Поддерживается генерация только на английском языке. Модель предназначена для синтеза диалогов, озвучивания сценариев и экспериментов с управляемой речью. Для работы проверена конфигурация с PyTorch 2.0+ и CUDA 12.6 на GPU; поддержка CPU в карточке обозначена как будущая. Весá доступны в форматах PyTorch и Safetensors. Лицензия — Apache-2.0. Разработчики указывают, что модель предназначена для исследовательского и образовательного применения, и запрещают выдавать сгенерированную речь за речь реальных людей без разрешения, создавать вводящий в заблуждение контент и использовать модель для незаконных или вредоносных действий.