I.9Аудио и музыка

FerhatDk/wav2vec2-base_music_speech_both_classification — модель классификации аудио на основе Wav2Vec2, дообученная автором на базе facebook/wav2vec2-base. Она предназначена для отнесения аудиозаписей к классам музыки и речи. В README сообщается точность 0,9847 и значение loss 0,0586 на оценочном наборе, однако состав набора и методика оценки не описаны. Модель содержит 113,3 млн параметров, использует формат PyTorch и распространяется по лицензии Apache-2.0.

Auralis — модель синтеза речи, разработанная AstraMind.ai на основе Coqui XTTS-v2. Она преобразует текст в речь для создания аудиокниг, диалогов, подкастов и озвучивания приложений, поддерживает потоковую генерацию длинных текстов и клонирование голоса по короткому аудиофрагменту. В карточке заявлены параллельная обработка запросов и работа на потребительских и производительных GPU; для RTX 3090 указаны ориентиры по скорости и потреблению видеопамяти, которые могут зависеть от сценария и оборудования. Модель поддерживает английский, испанский, французский, немецкий, итальянский, португальский, польский, турецкий, русский, нидерландский, чешский, арабский, китайский (упрощённый), венгерский, корейский, японский и хинди. Репозиторий содержит веса в формате safetensors. Указана лицензия Apache 2.0, однако для компонентов базовой XTTS-v2 карточка отдельно ссылается на лицензию Coqui AI; условия использования производной модели следует проверять с учётом обеих лицензий.

YuE2-3B — открытая модель генерации музыки от разработчика m-a-p. Она преобразует текстовое описание стиля и слова песни в композицию с вокалом и аккомпанементом, а также поддерживает создание кавер-версий по исходной записи и редактирование мелодии и гармонии через партитуру ABC. Для планирования музыкальной структуры и генерации звука используется плотная архитектура YuE2ForCausalLM: Mixture-of-Transformers сочетает авторегрессионные и неавторегрессионные этапы, после чего акустические латенты преобразуются VAE в стереозвук. Модель содержит 1,8 млрд параметров, поддерживает контекст до 24 576 токенов и рассчитана на английский и китайский языки. По данным карточки, для локального запуска нужны Linux, Python 3.10 или новее и NVIDIA GPU с 24 ГБ памяти и поддержкой BF16. YuE2-3B предназначена для создания песен, кавер-аранжировок и итеративной доработки композиции по текстовым инструкциям и редактируемой партитуре. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Качество генерации может варьироваться; для каверов требуется отдельно подготовить мелодическую партитуру ABC и текст песни, а редактирование партитуры требует проверки музыкальной корректности.

Audio8 TTS Preview 0.1B ONNX INT8 — компактная многоязычная модель синтеза речи с zero-shot клонированием голоса, разработанная командой Audio8. Эта версия предназначена для локального запуска на CPU через ONNX Runtime без обязательного использования CUDA, PyTorch или Transformers. Модель поддерживает кантонский и китайский языки, а также нидерландский, английский, французский, немецкий, итальянский, японский, корейский, польский и испанский языки. Релиз имеет статус preview, поэтому языковое покрытие ограничено указанными 11 языками. Основная модель содержит около 100 млн параметров без учёта аудиокодека и использует архитектуру DualAR, вдохновлённую Fish Audio S2 Pro. Медленная авторегрессионная часть представляет собой 24-слойную гибридную Falcon-H1 архитектуру с attention и Mamba, шириной 512, 8 attention heads, 2 KV heads и d_state 64; быстрая авторегрессионная часть содержит 4 слоя шириной 512. Используются 10 codebooks по 4096 элементов. Контекст составляет до 2048 упакованных текстовых и аудиопозиций. Slow AR и Fast AR квантизованы в INT8, кодек работает в FP16, а результатом является монофонический звук FP32 с частотой 44,1 кГц. Сильные стороны модели — небольшой размер, низкое потребление памяти, поддержка локальных профилей голоса и возможность работы на CPU; онлайн-сессии занимают около 0,6 ГБ памяти, а полный репозиторий с компонентом регистрации голоса — около 1 ГБ. Модель подходит для локальных CLI-, web-, HTTP- и streaming-сервисов, однако фактическая производительность и потребление памяти зависят от платформы. Для использования требуется Python 3.10 или новее и совместимая сборка ONNX Runtime; официально протестированы macOS arm64 и Linux x86_64. Модель распространяется по лицензии Apache 2.0. Конструкция ONNX-экспорта и стратегия INT8-квантизации адаптированы на основе общественного проекта Masterx, но графы и инструменты были независимо созданы командой Audio8.

Bark — трансформерная модель преобразования текста в аудио, разработанная Suno. Репозиторий содержит крупный из двух опубликованных вариантов Bark и предназначен для генерации речи и других аудиосигналов. Модель строит аудио в несколько этапов: преобразует текст в семантические токены, затем в токены кодека EnCodec и далее формирует аудио. Она поддерживает многоязычную речь, а также может генерировать музыку, фоновые шумы, простые звуковые эффекты и невербальные звуки, например смех, вздохи и плач. В карточке перечислены английский, немецкий, испанский, французский, хинди, итальянский, японский, корейский, польский, португальский, русский, турецкий и китайский языки. Модель доступна для инференса через Transformers и оригинальную библиотеку Bark. Выход не фильтруется; авторы предупреждают о возможном злоупотреблении, включая несанкционированное использование для имитации голоса. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но не для коммерческих целей. Авторы позиционируют модель для исследовательских целей.

BigVGAN — нейросетевой вокодер, разработанный Sang-gil Lee, Wei Ping, Boris Ginsburg, Bryan Catanzaro и Sungroh Yoon. Репозиторий содержит предварительно обученные веса для синтеза аудиосигнала из мел-спектрограммы; эта конфигурация предназначена для частоты дискретизации 22 кГц и 80 мел-полос. Её применяют как компонент систем синтеза речи и аудио, преобразующий акустические признаки в звуковую волну. Модель работает с аудио на входе и выдаёт аудио. В BigVGAN-v2 предусмотрены обучающие данные с речью на нескольких языках, окружающими звуками и музыкальными инструментами; архитектура включает антиалиасинговую активацию, а для ускорения вывода доступно CUDA-ядро. Для его сборки требуются nvcc и ninja, а README указывает на проверку с CUDA 12.1. Репозиторий распространяется по лицензии MIT.

BigVGAN-v2 — нейронный вокодер, разработанный Sang-gil Lee, Wei Ping, Boris Ginsburg, Bryan Catanzaro и Sungroh Yoon. Эта версия принимает мел-спектрограмму с 128 полосами и синтезирует аудиоволну с частотой дискретизации 44 кГц; коэффициент увеличения частоты дискретизации составляет 512. В модели 122 млн параметров, она обучена на крупной компиляции аудиоданных и не является дообучением другой модели. Модель предназначена для преобразования мел-спектрограмм в аудио, например, как компонент систем синтеза речи и других аудио-генеративных конвейеров. Обучение включало разные типы аудио: речь на нескольких языках, окружающие звуки и музыкальные инструменты. Для ускорения вывода доступно CUDA-ядро; README сообщает об ускорении в 1,5–3 раза на GPU A100. Для его сборки нужны CUDA, nvcc и ninja. Модель распространяется по лицензии MIT.

Canary-1B-v2 CTC aligner GGUF — это отдельная модель для автоматического распознавания речи и принудительного выравнивания аудио с готовой расшифровкой. Она разработана командой NVIDIA NeMo как вспомогательная CTC-модель, входящая в состав nvidia/canary-1b-v2, а затем извлечена и преобразована в формат GGUF проектом CrispStrobe для использования с инструментом nfa-align. Модель построена на архитектуре FastConformer с CTC-головой и содержит около 600 млн параметров. Она предназначена прежде всего для получения временных границ слов и сегментов в аудиозаписях, в том числе для текстов, созданных другими ASR-системами или введённых вручную. Также поддерживается автономное CTC-распознавание речи. Модель работает с аудио 16 кГц и поддерживает 25 европейских языков, включая английский, русский, немецкий, французский, испанский, итальянский, польский и украинский. Для токенизации используется единый SentencePiece-словарь Canary-1B-v2. Сильная сторона модели — точное принудительное выравнивание на уровне слов: заявленная средняя абсолютная ошибка на тестовом английском примере составила 78 мс, что существенно лучше выравнивания через cross-attention основной модели Canary. Ограничение заключается в использовании субсловной, а не посимвольной токенизации, поэтому точность может зависеть от языка и текста; сведения о максимальном контексте и полном наборе эксплуатационных требований не указаны. Доступны версии F16 и GGUF-квантизации Q8_0, Q5_0 и Q4_K, причём Q4_K заявлена как рекомендуемая и дающая идентичные результаты выравнивания относительно F16. Веса модели распространяются по лицензии CC-BY-4.0 с обязательной атрибуцией NVIDIA и команды NeMo. Код преобразования и среда ggml указаны как распространяемые по MIT, однако это не изменяет лицензию самих весов.

mlx-community/chatterbox-multilingual-v3 — версия Chatterbox Multilingual V3 от mlx-community, подготовленная в формате MLX из ResembleAI/chatterbox с помощью mlx-audio 0.4.7. Это плотная модель семейства Chatterbox для синтеза речи из текста; для работы ей также нужны веса S3TokenizerV2 из отдельного репозитория. Модель предназначена для преобразования текста в речь на нескольких языках, включая русский, английский, арабский, немецкий, испанский, французский, хинди, японский и китайский. Базовая модель Resemble AI также поддерживает клонирование голоса по аудиообразцу, однако README этой версии прямо подтверждает только синтез речи, поэтому клонирование не включено в заявленные задачи. Репозиторий использует библиотеку mlx-audio и формат safetensors. Лицензия — MIT. Карточка не сообщает размер модели, длину контекста или конкретные ограничения качества; для запуска требуется дополнительный токенизатор S3TokenizerV2.

Confucius4-TTS — мультиязычная система синтеза речи от разработчика netease-youdao. Она использует архитектуру «кодировщик речи + большая языковая модель»: модуль Text2Semantic строит последовательность семантических токенов по тексту и голосовым характеристикам, а Semantic2Acoustic преобразует её в мел-спектрограмму. Модель предназначена для генерации естественной речи, переноса голоса и эмоций, а также синтеза на другом языке с сохранением идентичности говорящего. Поддерживаются китайский, английский, японский, корейский, немецкий, французский, испанский, индонезийский, итальянский, тайский, португальский, русский, малайский и вьетнамский языки. Для клонирования голоса не требуется транскрипт образца или дополнительное обучение. README сообщает о конкурентных результатах на тестах разборчивости и сходства голоса, но не приводит полные таблицы всех метрик. Веса опубликованы в форматах PyTorch и Safetensors по лицензии Apache-2.0. Для запуска указаны Python 3.10 и CUDA 12.6; скорость, аппаратные требования и ограничения по длине входного текста в карточке не описаны.

CosyVoice-300M — модель синтеза речи из текста от команды FunAudioLLM. В README она относится к линейке CosyVoice и описана как базовая модель на 300 млн параметров; для этого репозитория указано представление ONNX. Лицензия — Apache-2.0. Модель предназначена для преобразования текста в речь и поддерживает китайский, английский, японский, корейский, немецкий, испанский, французский, итальянский и русский языки. В README для семейства CosyVoice также заявлены клонирование голоса с нулевым обучением, межъязыковой синтез, управление языком, диалектом, эмоцией, скоростью и громкостью, потоковая генерация и коррекция произношения. Эти возможности описаны для семейства; карточка не уточняет, какие из них доступны именно в варианте 300M. README указывает на потоковый режим и поддержку нормализации чисел, символов и разных текстовых форматов. Ограничения производительности или качества именно этой версии в карточке не приведены; перечисленные в README результаты сравнения относятся к линейке моделей и не позволяют уверенно оценить вариант 300M отдельно.

dots.tts-mf — модель синтеза речи от dots-studio, созданная дистилляцией dots.tts-soar. Это авторегрессионная система с 2 млрд параметров: семантический энкодер и LLM формируют условия для акустической головы на основе flow matching, которая генерирует непрерывные аудиолатенты; дискретные аудиокодек-токены не используются. LLM инициализирована из Qwen2.5-1.5B-Base, а аудиотракт использует AudioVAE для монофонической речи с частотой 48 кГц. Модель предназначена для низколатентного синтеза речи и клонирования голоса по образцу. Дистилляция MeanFlow позволяет получать результат за 2–4 вычисления модели на шаг; автор рекомендует 4 шага как компромисс между скоростью и качеством. На бенчмарке CV3-Eval для hard-en указана WER 4,37 при четырёх шагах. Модель принимает текст и референсный голосовой образец, выдаёт аудио; текст подаётся напрямую через BPE без фонемной транскрипции. Качество распознавания слов ниже для малоресурсных и недостаточно представленных языков, включая арабский, хинди, турецкий и вьетнамский; на 2–3 шагах отмечается ухудшение WER и сходства голоса. Настройка guidance_scale при генерации не действует, поскольку classifier-free guidance встроен при дистилляции. Обучение на преимущественно речевых данных не покрывает пение и совместную генерацию речи со звуками. Лицензия — Apache-2.0.

dots.tts-mf-1step — самостоятельный артефакт модели dots.tts, предназначенный для синтеза речи из текста. Он настроен для фиксированного вывода за один шаг; параметры семплирования сохранены в config.json и выбираются автоматически. Репозиторий содержит веса в формате safetensors, для запуска используется библиотека dots_tts. Модель также помечена как поддерживающая клонирование голоса. Модель ориентирована на одношаговый сценарий инференса; качество многошаговой генерации для неё не заявлено, а свежая публичная оценка по бенчмаркам не приводится. Лицензия — Apache-2.0. Для высокоточного клонирования голоса требуется разрешение и согласие человека, чей голос используется.

dots.tts-soar — модель синтеза речи от dots-studio, представляющая собой дообученную версию dots.tts-base с этапом Self-corrective Alignment. Это авторегрессионная система на 2 млрд параметров, которая напрямую обрабатывает текст в BPE-токенах и генерирует непрерывные аудиолатенты с помощью flow-matching-головы, затем декодируемые в монозвук с частотой 48 кГц. В архитектуре используются семантический энкодер, LLM на базе Qwen2.5-1.5B-Base и CAM++ speaker x-vector для сохранения характеристик голоса. Модель предназначена для многоязычного синтеза речи и клонирования голоса по образцу, в том числе в производственных сценариях с авторизованным использованием. SCA улучшает соответствие текста и тембра, а в карточке заявлены высокие результаты сходства голосов на приведённых бенчмарках. Поддерживаются zero-shot-сценарии без отдельного дообучения под голос. На малоресурсных и отличающихся письменностью языках, включая арабский, хинди, турецкий и вьетнамский, точность распознавания текста в речи ниже, чем для более обеспеченных данными языков. Модель не предназначена для пения или совместной генерации речи и звуковых эффектов. Высокая реалистичность клонирования голоса создаёт риск злоупотреблений; README рекомендует использовать только авторизованные образцы и помечать синтетическое аудио. Лицензия — Apache-2.0.

IndexTTS-2.5 — модель синтеза речи с нуля и клонирования голоса, разработанная IndexTeam и Bilibili. Она создаёт речь по тексту, используя один аудиофрагмент как образец голоса; поддерживает перенос голоса между языками и управление эмоцией отдельно от тембра. Модель построена на авторегрессионной архитектуре: GPT-backbone примерно на 0,8 млрд параметров формирует представление для декодера речи в мел-спектрограмму на основе flow matching, а BigVGAN преобразует его в аудиоволну с частотой 22,05 кГц. Поддерживаются китайский, английский, японский, испанский и арабский языки. По сравнению с IndexTTS-2 добавлены японский, испанский и арабский, ускорен вывод и добавлено управление скоростью речи. Модель подходит для озвучивания текстов, создания речи заданным голосом и многоязычного переноса голоса. Для инференса требуются Python 3.10–3.11, NVIDIA GPU и около 6 ГБ видеопамяти. Длинные тексты разбиваются на сегменты, поэтому просодия может нарушаться на их границах; управление эмоцией по текстовому описанию требует отдельной модели QwenEmotion, а случайная генерация эмоций снижает точность клонирования. Модель не проверяет согласие говорящего на клонирование. Условия использования регулируются bilibili Model Use License Agreement.

Indic Parler-TTS — мультиязычная модель синтеза речи, разработанная в сотрудничестве команд Hugging Face Audio и AI4Bharat. Это дообученная версия Indic Parler-TTS Pretrained на наборе данных объёмом 1 806 часов; модель построена на архитектуре Parler-TTS и распространяется в формате Safetensors через Transformers. Модель преобразует текст в речь на 21 языке, включая английский и 20 языков Индии. Дополнительное текстовое описание задаёт характеристики звучания: голос, темп, высоту, эмоциональную окраску, выразительность, акцент, реверберацию и фоновый шум. Заявлена поддержка 69 голосов; для трёх дополнительных языков — чхаттисгархи, кашмири и пенджаби — поддержка неофициальная. Эмоциональные подсказки официально поддерживаются для десяти языков, а для остальных заявлены без подробного тестирования. Рекомендуемые голоса и качество могут различаться по языкам; смена языка определяется по тексту запроса. Лицензия — Apache-2.0.

KittenTTS 2 — мультиязычная модель синтеза речи от KittenML с языковой моделью на 1,7 млрд параметров и клонированием голоса по контексту. Она принимает текст и генерирует токены аудиокодека S3, которые вокодер преобразует в звук с частотой 24 кГц. Для синтеза доступны 47 голосов; акцент для девяти перечисленных языков задаётся выбором соответствующего голоса. Модель рассчитана на озвучивание текста и позволяет управлять выразительностью с помощью тегов эмоций, голосовых событий и выделения слов. Варианты весов включают упакованные ternary-веса, bf16 и более компактный вариант с 4-битным эмбеддингом; последний немного уступает по качеству. Для декодера доступен дистиллированный компактный вариант, снижающий точность звучания. Модель запускается на CPU; для неанглийского текста рекомендуется отключать нормализацию, настроенную на английские числа и даты. Управление эмоциями находится в бета-стадии, работает не гарантированно и зависит от голоса и фразы. Лицензия указана как other, конкретные условия в доступных материалах не раскрыты.

OpenVINO/Kokoro-82M-int8-ov — модель синтеза речи из текста (TTS), созданная на основе Kokoro-82M от разработчика hexgrad. Модель преобразована в формат OpenVINO IR, а её веса сжаты до INT8 методом NNCF. Она содержит 82 миллиона параметров и предназначена для генерации аудио из текстовых входных данных, включая локальное развертывание, производственные приложения и личные проекты. Модель совместима с OpenVINO 2026.3.0 и новее, а также Optimum Intel 1.27.0 и новее; пример генерации использует частоту дискретизации 24 кГц и голос af_heart. Ключевое преимущество модели — компактность, потенциально высокая скорость и сниженное потребление ресурсов по сравнению с более крупными моделями при сопоставимом качестве. README не указывает поддерживаемые языки, полный набор голосов, максимальный контекст или другие подробности архитектуры. Модель предоставляется для целей оценки, поэтому производительность, точность и стабильность могут различаться; дополнительные ограничения следует учитывать по карточке исходной модели. Исходные веса распространяются по лицензии Apache-2.0.

Карточка модели mahrukhsaeed/Kokoro-text-to-speech-82M на Hugging Face совпадает с карточкой hexgrad/Kokoro-82M, поэтому описание составлено по ней. Kokoro-82M — открытая модель синтеза речи, разработанная и обученная участниками проекта Kokoro. Модель содержит 82 млн параметров и основана на архитектурах StyleTTS 2 и ISTFTNet; для генерации речи она использует текст и фонемные представления. В README указано, что модель компактна, работает быстрее и дешевле многих более крупных систем и при этом обеспечивает сопоставимое качество. Модель предназначена для преобразования текста в аудио, включая локальное использование, интеграцию в приложения и коммерческие сервисы. В версии 1.0 заявлены 8 языков и 54 голоса; метаданные подтверждают английский язык. README описывает обучение на нескольких сотнях часов аудио и IPA-разметке. Веса распространяются по лицензии Apache-2.0, что допускает коммерческое применение при соблюдении условий лицензии.

Карточка модели inclusionAI/Ming-omni-tts-16.8B-A3B на Hugging Face совпадает с карточкой inclusionAI/Ming-omni-tts-0.5B, поэтому описание составлено по ней. Ming-omni-tts-0.5B — модель синтеза речи и аудио от InclusionAI. Она принимает текст и инструкции на естественном языке и генерирует речь с управляемыми темпом, высотой, громкостью, эмоцией и диалектом. Также модель поддерживает подбор голоса по описанию, более 100 встроенных голосов и генерацию речи, фоновых звуков и музыки в одном аудиоканале. Модель использует плотную архитектуру BailingMMNativeForConditionalGeneration, непрерывный аудиотокенизатор с частотой 12,5 Гц и стратегию Patch-by-Patch; размер в названии модели — 0,5 млрд параметров. В README описаны возможности для китайской речи, включая управление кантонским диалектом, а также нормализация математических выражений и химических формул. Модель распространяется по лицензии Apache-2.0. Заявленные в карточке оценки относятся к указанным разработчиком бенчмаркам и не гарантируют аналогичного качества на произвольных данных. README приводит пример запуска через репозиторий проекта, но не описывает подробно требования к оборудованию или полный интерфейс управления генерацией.

MiniMax-Music3-bf16 — community-конверсия модели MiniMaxAI/MiniMax-Music3 в формате BF16 для запуска через MLX на компьютерах Apple Silicon. Модель содержит 7,8 млрд параметров и использует плотную архитектуру MiniMaxMusic3ForConditionalGeneration; заявленный контекст — 10 240 токенов. Конверсия включает компоненты авторегрессионной генерации, декодирования RVQ, кодирования условий, flow-matching DiT и стереовокодер. Модель предназначена для создания песен по тексту песни и описанию музыки. Чекпойнт требует текст песни; для инструментальной композиции README предписывает явно указать [instrumental]. Выходной звук — стерео, 44,1 кГц. Жанр, темп, инструменты и вокальные характеристики задаются вероятностно, а запрошенная длительность является верхней границей: генерация может завершиться раньше. Это неофициальная конверсия сообщества, все заслуги за исходную модель принадлежат MiniMax. Для запуска используется библиотека mlx-audio; формат BF16 не применяет квантизацию весов. В метаданных указана лицензия other; перед использованием следует проверить лицензию исходного чекпойнта MiniMaxAI/MiniMax-Music3.

jaeyong2/neutts-air-ko — дообученная версия модели Neuphonic neutts-air для синтеза речи из текста. Модель основана на архитектуре Qwen2 и содержит 552,8 млн параметров; в метаданных указан контекст длиной 32 768 токенов. Репозиторий содержит веса в формате safetensors. Модель предназначена для преобразования текста в речь. В карточке указаны корейский и английский языки. Базовая модель Neuphonic поддерживает клонирование голоса по короткому аудиообразцу, однако карточка этой версии не подтверждает такую возможность отдельно. Модель распространяется по лицензии Apache-2.0.

Карточка модели SwinliQ-AI-2/OmniVoice на Hugging Face совпадает с карточкой k2-fsa/OmniVoice, поэтому описание составлено по ней. OmniVoice — многоязычная модель синтеза речи от команды k2-fsa, дообученная на базе Qwen/Qwen3-0.6B. Она использует архитектуру в стиле диффузионной языковой модели и предназначена для преобразования текста в речь, клонирования голоса по короткому аудиореференсу и создания голоса по заданным атрибутам. Модель заявлена для более чем 600 языков. Она поддерживает управление характеристиками голоса, включая пол, возраст, высоту тона, диалект и акцент, а также генерацию невербальных звуков по маркерам и коррекцию произношения с помощью пиньиня или фонем. В README заявлена скорость генерации до 40 раз выше реального времени. OmniVoice подходит для озвучивания текста, создания голосовых прототипов и генерации речи с заданным звучанием. Клонирование голоса допускается только при наличии соответствующих прав и согласия: разработчики запрещают несанкционированное подражание голосу, мошенничество и незаконное или неэтичное использование. Лицензия в предоставленных материалах не указана.

Карточка модели TopherAU/OmniVoice на Hugging Face совпадает с карточкой maanka2/OmniVoice, поэтому описание составлено по ней. OmniVoice — многоязычная модель синтеза речи с нулевым обучением, разработанная для генерации речи по тексту на более чем 600 языках. Согласно карточке, она построена на архитектуре в стиле диффузионной языковой модели и дообучена на Qwen/Qwen3-0.6B. Модель поддерживает клонирование голоса по короткому аудиопримеру и создание голоса по атрибутам, включая пол, возраст, высоту голоса и акцент. OmniVoice подходит для озвучивания текста, создания голосовых вариантов и управляемой генерации речи. Она поддерживает невербальные вставки, например смех, и коррекцию произношения с помощью пиньиня или фонем. В README заявлены скорость до 40 раз выше реального времени и высокая точность клонирования; это характеристики из карточки разработчика, а не независимая оценка. Модель распространяется по лицензии Apache-2.0. Разработчики запрещают несанкционированное клонирование и имитацию голоса, а также мошенническое и незаконное использование.

OmniVoice-bf16 — конверсия модели OmniVoice от k2-fsa в формат bfloat16, опубликованная пользователем drbaph. Это плотная модель преобразования текста в речь на архитектуре diffusion language model; версия использует веса и активации BF16 вместо FP32, что примерно вдвое сокращает размер файлов и потребление видеопамяти при заявленной незначительной потере качества. Модель предназначена для многоязычного синтеза речи, генерации голоса по описанию и клонирования голоса без предварительного обучения на конкретном дикторе. В карточке заявлена поддержка более 600 языков, а метаданные перечисляют языки от болгарского до японского. Модель подходит для локальной генерации речи через OmniVoice, в том числе в ComfyUI; README также указывает на возможность использования через исходный интерфейс OmniVoice. Для ускоренной работы рекомендуется GPU NVIDIA с CUDA и нативной поддержкой BF16, доступной на Ampere и более новых поколениях; на CPU инференс поддерживается, но медленный. Репозиторий содержит формат safetensors и имеет лицензию Apache-2.0.

Orpheus 3B 0.1 Finetuned — модель синтеза речи на основе архитектуры Llama, выпущенная командой CanopyAI. Она преобразует текст в речь и предназначена для озвучивания, потокового синтеза в реальном времени и создания выразительных голосовых интерфейсов. Модель поддерживает управление эмоциями и интонацией с помощью тегов, а также клонирование голоса без предварительного дообучения под конкретный голос. В README заявлены естественная интонация, чёткость речи и потоковая задержка около 200 мс, которую можно снизить примерно до 100 мс при потоковой подаче текста. Модель содержит 3,3 млрд параметров, использует LlamaForCausalLM, принимает текст и генерирует аудио; указанный контекст — 131 072 токена. В метаданных указан английский язык. Модель основана на объединении canopylabs/orpheus-3b-0.1-pretrained и meta-llama/Llama-3.2-3B-Instruct. Лицензия — Apache-2.0. README предостерегает от клонирования голоса без согласия и от использования для обмана или мошенничества.

OuteTTS 1.0 0.6B — компактная модель синтеза речи от OuteAI, построенная на плотной авторегрессионной архитектуре Qwen3ForCausalLM с 513,9 млн параметров. Она принимает текст и формирует аудио, поддерживает клонирование голоса по образцу и пакетную генерацию через библиотеку outetts. Модель обучена на английском, китайском, нидерландском, французском, грузинском, немецком, венгерском, итальянском, японском, корейском, латышском, польском, русском и испанском языках; заявленная длина контекста в метаданных — 40 960 токенов. Модель подходит для озвучивания текста, создания голосовых интерфейсов и генерации речи голосом из предоставленного образца. Для лучшего качества рекомендуется создать профиль диктора на целевом языке; при переносе голоса между языками могут сохраняться его акцент и особенности произношения. README указывает оптимальную длительность генерации около 42 секунд и предупреждает, что при собственной реализации важно применять штраф за повторы к окну из 64 последних токенов. Модель распространяется по лицензии Apache-2.0. Для клонирования голоса README требует явного предварительного согласия человека и запрещает обманное или незаконное использование.

Qwen3-TTS-12Hz-1.7B-VoiceDesign-8bit — модель синтеза речи, разработанная сообществом mlx-community на основе Qwen/Qwen3-TTS-12Hz-1.7B-VoiceDesign и преобразованная в формат MLX с использованием mlx-audio 0.3.0. Модель предназначена для генерации аудио по тексту и поддерживает сценарии voice cloning с использованием эталонной аудиозаписи. Из доступных данных известно, что модель содержит 1,7 млрд параметров, использует 8-битное представление и рассчитана на работу через библиотеку mlx-audio. В README приведены примеры генерации речи из текста с опциональной ссылкой на аудиофайл; сведения о поддерживаемых языках, архитектуре, длине контекста, качестве, ограничениях и точном наборе модальностей не указаны. Модель распространяется по лицензии Apache-2.0.

Карточка модели SYNAPSEai1/SynapseMusicV12-XL-SFT на Hugging Face совпадает с карточкой ACE-Step/acestep-v15-xl-sft, поэтому описание составлено по ней. ACE-Step/acestep-v15-xl-sft — вариант XL модели ACE-Step 1.5, разработанный проектом ACE-Step. Это плотная модель генерации аудио на основе DiT с примерно 4 млрд параметров по README; метаданные каталога указывают 3,1 млрд параметров. Модель обучена методом supervised fine-tuning и предназначена для создания музыки по текстовому описанию. Поддерживает CFG для управления соответствием генерации запросу; вариант SFT ориентирован на высокое качество и стандартный режим работы. Модель использует 32 слоя DiT Decoder, скрытый размер 2560 и 32 головы внимания. README рекомендует от 12 ГБ видеопамяти с выгрузкой на CPU и INT8-квантизацией, от 16 ГБ с выгрузкой на CPU или от 20 ГБ без выгрузки. В карточке указана лицензия MIT; README заявляет о коммерческой применимости сгенерированной музыки и обучении на лицензированной, свободной и синтетической музыке. Эти заявления описывают проект, а не гарантируют права на каждый конкретный результат.

Kyutai TTS — потоковая модель синтеза речи от Kyutai. Она начинает генерировать аудио после получения первых слов, поэтому подходит для диалогов и сценариев с низкой задержкой. Модель поддерживает английский и французский языки, а также обусловливание голоса с помощью заранее вычисленных голосовых эмбеддингов из репозитория голосов Kyutai. Архитектура — иерархический decoder-only Transformer с примерно 1,8 млрд параметров: основная модель содержит 1 млрд параметров, а depth-трансформер — 600 млн. Модель генерирует аудиотокены Mimi с частотой 12,5 кадров в секунду; при инференсе можно использовать меньше токенов на кадр для ускорения генерации. Веса доступны в формате safetensors и распространяются по лицензии CC-BY 4.0. Модель предназначена для потокового синтеза, поддерживает пакетную обработку и не требует удваивать размер пакета для CFG благодаря дистилляции CFG. Прямой CFG не поддерживается. Встроенного водяного знака нет; клонирование голоса ограничено использованием заранее вычисленных голосовых эмбеддингов.