I.9Аудио и музыка
В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
4 835 моделейPocket TTS (English) — экспорт для loom.cpp модели Kyutai, выпущенной в 2026 году. Это flow language model примерно на 100 млн параметров, которая преобразует текст в речь через латенты аудиокодека Mimi. Веса не изменены относительно kyutai/pocket-tts; репозиторий упаковывает их в формат GGUF и включает встроенный драйвер. Модель рассчитана на синтез речи на английском языке. Встроен голос alba, ещё 25 голосов доступны отдельными файлами; можно также использовать собственный файл состояния голоса. Экспорт предназначен для запуска через loom-py-rt. По умолчанию генерация семплируется с температурой 0,3, поэтому результаты могут различаться; seed позволяет воспроизвести результат. Длинный текст разбивается на предложения длиной до 50 токенов, а более длинные предложения делятся по запятым. Лицензия модели — CC-BY-4.0; для голосов действуют отдельные лицензии записей, некоторые из них запрещают коммерческое использование. Сохраняются ограничения исходной модели Kyutai, включая запрет на имитацию или клонирование голоса без законного согласия и на выдачу синтезированной речи за подлинную запись человека.
vadimbelsky/qwen3.5-TTS-Emirati — дообученная модель синтеза речи на базе Qwen3-TTS-12Hz-1.7B-Base, опубликованная пользователем vadimbelsky. В карточке описано добавление поддержки арабского языка в базовую модель, изначально не имевшую арабского в словаре токенов аудиокодека. Для арабского добавлены языковое встраивание и отдельный префикс кодека; датасет автоматически распознаёт арабский текст по диапазону Unicode. Название указывает на эмиратский вариант арабского, однако карточка не уточняет его диалектные особенности. Модель предназначена для преобразования текста в речь; карточка также показывает пример генерации речи на английском с пользовательским голосом. Архитектура — плотная Qwen3-TTS с условной генерацией, веса представлены в safetensors. Поддерживаемые языки по метаданным — арабский и английский. Лицензия — Apache-2.0. Карточка не приводит отдельной оценки качества или подробных ограничений применения.
Mahmoud Ibrahim подготовил дообученную модель Qwen3-TTS-12Hz-0.6B для синтеза арабской речи с пользовательским профилем голоса ali. Модель предназначена для преобразования текста в аудио на арабском языке, с акцентом на египетский диалект; в карточке Hugging Face указана задача text-to-speech и архитектура Qwen3TTSForConditionalGeneration. Модель распространяется в формате safetensors по лицензии Apache-2.0. README указывает базовую модель Qwen3-TTS-12Hz-0.6B. Сведения о размере и длине контекста в предоставленных метаданных и README отсутствуют.
cstr/qwen3-tts-0.6b-customvoice-GGUF — GGUF-квантизированная версия модели Qwen3-TTS-12Hz-0.6B-CustomVoice, разработанной Qwen/QwenLM и подготовленной для работы с CrispASR. Это модель синтеза речи из текста с фиксированными голосами: она генерирует аудио без эталонного WAV-файла и клонирования голоса. Модель предназначена для локального text-to-speech и поддерживает английский, китайский, немецкий, французский, итальянский, испанский, португальский, японский и корейский языки. Доступны девять встроенных голосов, включая мужские и женские варианты; для Dylan и Eric предусмотрены диалектные режимы пекинского и сычуаньского китайского. Используется talker на базе Qwen3 с 28 слоями, скрытым размером 1024, 16 головами внимания и 8 KV-головами. Выход представляет собой 16 кодовых книг RVQ по 2048 значений, декодируемых отдельным Qwen3-TTS-Tokenizer-12Hz в монофонический PCM-аудиосигнал 24 кГц. В поставке указан файл Q8_0 размером около 968 МБ, рекомендованный авторами; по заявлению README, проверка через ASR показывает в основном точное соответствие синтезированного текста исходному. Сильные стороны модели — компактный размер, работа без референсного аудио, несколько готовых голосов и интеграция с локальным CrispASR. Ограничения — отсутствие произвольного клонирования и дизайна голоса, необходимость отдельной модели кодека и совместимого runtime, а также ограниченный набор встроенных голосов и языковых режимов. Модель распространяется по лицензии Apache 2.0. Для генерации требуется совместный файл Qwen3-TTS-Tokenizer-12Hz-GGUF; README описывает использование через backend qwen3-tts-customvoice в CrispASR.
Qwen3-TTS-12Hz-0.6B-CustomVoice-4bit — модель синтеза речи, разработанная сообществом mlx-community и конвертированная из Qwen/Qwen3-TTS-12Hz-0.6B-CustomVoice в формат MLX с использованием mlx-audio 0.3.0. Модель предназначена для генерации речи по тексту и поддерживает сценарии, связанные с пользовательскими голосами и клонированием голоса по эталонной аудиозаписи. Известно, что модель имеет размер 0.6B параметров, работает в 4-битном представлении и использует частоту дискретизации 12 Hz, однако подробности архитектуры, поддерживаемые языки и максимальная длина контекста в README не указаны. Для работы используется библиотека mlx-audio; приведённые примеры показывают генерацию аудио из текста с возможностью передать путь к референсной аудиозаписи. К сильным сторонам относятся компактный размер, 4-битная квантизация и адаптация к MLX, что может быть удобно для запуска в соответствующей экосистеме. Ограничения, качество синтеза, требования к оборудованию и точный набор поддерживаемых функций следует уточнять в оригинальной карточке модели. Лицензия — Apache-2.0.
Qwen3-TTS-12Hz-1.7B-CustomVoice-8bit — это 8-битная квантованная версия модели синтеза речи Qwen3-TTS-12Hz-1.7B-CustomVoice, преобразованная в формат MLX сообществом mlx-community с помощью библиотеки mlx-audio версии 0.3.0. Базовую модель разработала команда Qwen. Модель предназначена для преобразования текста в речь и сценариев генерации речи с пользовательским голосом; в примере использования предусмотрена передача эталонного аудиофайла. Запуск рассчитан на библиотеку mlx-audio и MLX-совместимое окружение. Известны размер базовой модели 1,7 млрд параметров, частота 12 Hz и 8-битное представление. Сведения о поддерживаемых языках, длине контекста, точной архитектуре и полном наборе модальностей в README не указаны. К сильным сторонам относятся MLX-формат, ориентированный на запуск в соответствующей экосистеме, а также уменьшенное 8-битное представление, потенциально снижающее требования к памяти. Ограничения и качество работы в различных языках, голосах и аудиосценариях в предоставленных данных не описаны. Модель распространяется по лицензии Apache-2.0.
mlx-community/Soprano-1.1-80M-bf16 — версия модели Soprano-1.1-80M, подготовленная сообществом mlx-community для запуска через библиотеку mlx-audio. Модель на базе архитектуры Qwen3ForCausalLM содержит 75,5 млн параметров и предназначена для синтеза речи из текста; формат репозитория — safetensors. Модель подходит для преобразования текста в речь в приложениях, использующих MLX. Согласно описанию базовой модели, она ориентирована на быстрое создание выразительной английской речи. Контекст модели — 1024 токена. README указывает на исходную карточку ekwek/Soprano-1.1-80M для подробностей; лицензия и дополнительные языки в предоставленных данных не описаны.
SpeechT5-TTS-v1 for Thai — модель синтеза речи из текста, созданная ThuraAung1601 дообучением microsoft/speecht5_tts на наборе Edited Thai Common Voice. Она предназначена для преобразования тайского текста в аудио; в карточке указано значение loss 0.5074 на оценочной выборке. Модель использует архитектуру SpeechT5 и распространяется в формате safetensors. Модель выпущена под лицензией MIT. Карточка не сообщает сведения о размере модели, длине контекста, голосах, качестве звучания или ограничениях применения.
svara-tts-v1-GGUF — это квантованные файлы модели Svara TTS v1, разработанной kenpath и преобразованной в формат GGUF пользователем mradermacher. Модель предназначена для синтеза речи из текста, включая многоязычные и индийские языковые сценарии, а также задачи с низкой задержкой, zero-shot-синтезом и управлением эмоциями, если это поддерживается исходной моделью. В карточке указана архитектурная основа Orpheus и использование LoRA, дискретных аудиотокенов и библиотеки Transformers. Поддерживаются хинди, бенгальский, маратхи, телугу, каннада, бходжпури, магадхи, чхаттисгархи, майтхили, ассамский, бодо, догри, гуджарати, малаялам, пенджаби, тамильский, непальский, санскрит и английский языки. Размер исходной модели и максимальная длина контекста не указаны. Доступны варианты квантования от Q2_K размером около 1,5 ГБ до F16 размером около 6,7 ГБ. Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как обеспечивающий очень хорошее качество, а F16 — как избыточный по объёму. Квантование уменьшает требования к ресурсам, но варианты с более низкой точностью могут снижать качество синтеза. В README также не приведены подробности о качестве голосов, поддерживаемых дикторах, требованиях к запуску и совместимости конкретных инструментов. Лицензия модели — Apache-2.0.
Veena-GGUF — GGUF-версия модели Veena, разработанной Maya Research для синтеза речи из текста. Модель предназначена для генерации естественной и выразительной речи на хинди и английском языках, включая смешанные англо-хинди сценарии. Она может применяться в голосовых интерфейсах, озвучивании контента и других задачах text-to-speech. В основе лежит авторегрессионный трансформер на архитектуре Llama с примерно 3 млрд параметров. Для кодирования аудио используется нейронный кодек SNAC, выходной звук имеет частоту дискретизации 24 кГц. Доступны четыре голоса: kavya, agastya, maitri и vinaya. В исходной карточке заявлена задержка менее 80 мс на GPU H100-80GB, а также поддержка 4-битного квантования. Данный репозиторий содержит GGUF-модели, созданные с помощью llama.cpp; для некоторых слоёв применено повышение точности квантования, что может улучшать качество при одновременном увеличении размера файла. Сильными сторонами являются поддержка хинди, английского и их смешения, несколько вариантов голоса, высокое качество вывода и возможность эффективного инференса с квантованием. Ограничения включают отсутствие подробных данных о конкретном размере GGUF-файла, вариантах квантования и совместимости с аппаратным обеспечением, а заявленная задержка относится к H100-80GB и не гарантируется на других устройствах. Модель распространяется по лицензии Apache 2.0.
VoxCPM-GGUF — это набор весов моделей VoxCPM, адаптированный для запуска в формате GGUF через проект VoxCPM.cpp на базе ggml. Модель разработана сообществом OpenBMB, а репозиторий и конвертацию для C++-инференса поддерживает bluryar. Назначение модели — синтез речи из текста с использованием аудиоподсказки и текстовой расшифровки, что позволяет задавать характеристики целевого голоса и применять voice cloning-сценарии. В карточке указаны базовые модели openbmb/VoxCPM1.5 и openbmb/VoxCPM-0.5B. Доступны варианты квантования Q4_K, Q8_0, F16 и F32, включая конфигурации с AudioVAE-F16. Для инференса поддерживаются CPU, CUDA и Vulkan. Входными данными служат текст, а также prompt-аудио и соответствующий prompt-текст; выходом является WAV-аудио. В README приведены примеры на китайском языке, однако полный список поддерживаемых языков и размер контекстного окна не указаны. К сильным сторонам относятся автономный C++-инференс, существенно меньший размер квантованных файлов и возможность работы на CPU или GPU. Для voxcpm-0.5b размер варианта Q4_K составляет около 477 МБ, для voxcpm1.5 — около 582 МБ; приведённые бенчмарки показывают ускорение CUDA по сравнению с CPU. Ограничениями являются необходимость отдельного проекта VoxCPM.cpp и аудиокомпонентов для полного конвейера, а также ещё не завершённые планы по улучшению производительности и серверному OpenAI-совместимому API. Проект распространяется по лицензии Apache 2.0.
Yue2-3B-GGUF — это набор весов модели Yue2-3B, разработанный проектом m-a-p и адаптированный для работы в формате GGUF через audio.cpp. Модель предназначена для генерации музыки по текстовому описанию и тексту песни, включая сценарии прямой text-to-music генерации, поэтапного планирования, создания каверов с учётом мелодии и генерации на основе полной партитуры. В репозитории также представлены VAE-компоненты, конфигурации модели и токенизатор Qwen. Модель имеет размер 3B параметров; точная архитектура в README не указана. Доступны варианты основных весов BF16, Q8_0 и Q4_0, а также VAE в форматах F32 и F16, что позволяет выбирать между качеством, скоростью и потреблением памяти. Для BF16 с F32 VAE указано потребление до 12535 MiB VRAM, а для Q8_0 и Q4_0 с F16 VAE — около 8867 и 7755 MiB соответственно. Заявлены поддержка LoRA в audio.cpp 0.8.1 и режим работы с длинными аудиотреками; в тесте длительностью около 195–225 секунд относительное время генерации составило примерно 0,20–0,27 от длительности аудио на RTX 5090. Сильные стороны модели — локальный запуск через audio.cpp, наличие нескольких уровней квантизации и поддержка различных режимов музыкальной генерации. README демонстрирует англоязычные текстовые запросы, вокал, инструменты и музыкальные стили, однако полный набор поддерживаемых языков и другие ограничения качества не указаны. Модель распространяется по лицензии CC BY-NC 4.0, поэтому коммерческое использование может быть ограничено условиями лицензии.
Canopy Labs выпустила Orpheus 3B Hi Finetuned — модель синтеза речи на основе Llama, дообученную для генерации выразительной речи на хинди из текста. Она предназначена для озвучивания текста с естественной интонацией, эмоциями и ритмом, в том числе в потоковых приложениях. В карточке заявлены клонирование голоса без предварительного дообучения, управление эмоциями и интонацией с помощью тегов и потоковая задержка около 200 мс, потенциально около 100 мс при потоковой подаче текста. Модель использует Transformers и хранится в формате safetensors. В метаданных указаны связи merge с canopylabs/orpheus-3b-0.1-pretrained и meta-llama/Llama-3.2-3B-Instruct; размер модели не указан. Лицензия — Apache-2.0. Карточка предостерегает от клонирования голоса без согласия, обмана и незаконного или вредоносного использования.
Orpheus 3B Zh Pretrained — китайскоязычная модель синтеза речи на базе Llama, выпущенная Canopy Labs в апреле 2025 года. Это базовый чекпойнт для создания систем преобразования текста в речь и последующего дообучения под прикладные сценарии. Разработчики также указывают zero-shot клонирование голоса и классификацию среди возможных задач. Модель предназначена для генерации естественной речи с интонацией, эмоциями и ритмом; заявлена поддержка клонирования голоса без предварительного дообучения. В основе лежит дообученная Meta-Llama-3.2-3B-Instruct, загрузка и работа с весами поддерживаются через Transformers и safetensors. README описывает китайскую версию, но размер контекста и число параметров отдельно не приводит. Лицензия — Llama 3.2. Разработчики запрещают использовать модель для имитации голоса без согласия, дезинформации, обмана и незаконной или вредоносной деятельности. Качество генерации заявлено авторами; независимые оценки в карточке не приведены.
Align — это компактная модельная каскадная система Desert Ant Labs для уточнения временных границ слов в уже распознанной речи. Она принимает моно-аудио и слова с предварительными временными метками от Apple SpeechTranscriber или SpeechAnalyzer и возвращает те же слова с исправленными временами начала и конца; если поправка выглядит небезопасной, сохраняет исходную метку. Система дополняет распознавание и не заменяет его. Каскад состоит из двух небольших этапов. Для устройств Apple используются скомпилированные Core ML-модели в FP16 общим размером около 560 КБ; также доступны LiteRT-модели TFLite для Linux, Windows и Node. README сообщает о поддержке английского, испанского, французского, итальянского, португальского, немецкого, японского, корейского и китайского языков. Модель предназначена для уточнения меток времени в субтитрах, расшифровках и аудио-видео монтаже; заявленное время обработки — несколько миллисекунд на устройстве. В приведённых измерениях Align снижает ошибку временных границ, но результаты сравнивались преимущественно с машинными оценками, а не с полной разметкой человеком. Исправление может ухудшить отдельные границы; особенно слабый случай — произнесённые числа. Для языков вне поддерживаемого набора входные метки передаются без изменений. В метаданных указана лицензия other; конкретные условия лицензии в предоставленных данных не раскрыты.
BigVGAN — нейросетевой вокодер, разработанный Sang-gil Lee, Wei Ping, Boris Ginsburg, Bryan Catanzaro и Sungroh Yoon. Этот репозиторий содержит вариант для синтеза звуковой волны с частотой дискретизации 24 кГц по мел-спектрограмме с 100 полосами; модель предназначена для преобразования акустических признаков в аудио. Вариант относится к семейству BigVGAN-v2. В README для близкого чекпойнта с конфигурацией 24 кГц и 100 полос указано 112 млн параметров, коэффициент передискретизации 256 и обучение на крупной компиляции аудиоданных; точные характеристики именно этого репозитория метаданные не приводят. Версия BigVGAN-v2 ориентирована на ускоренный вывод, для которого доступно CUDA-ядро. Модель подходит для синтеза речи и других типов звука из мел-спектрограмм, но сама по себе не принимает текст и не выполняет преобразование текста в речь: для подготовки спектрограммы нужна другая модель или внешний этап. Для CUDA-ускорения требуется совместимая среда с CUDA, nvcc и ninja. Лицензия репозитория — MIT.
EMTIAZZ/chatterbox-bangla-tts — дообученная версия Chatterbox TTS от Resemble AI для синтеза речи на бенгальском языке (бангла). Для адаптации изменён компонент T3, преобразующий текст в речевые токены; S3Gen и VoiceEncoder остаются замороженными. Модель поддерживает синтез с клонированием голоса по короткому аудиофрагменту. Модель предназначена для создания озвучивания на бангла и генерации речи с характеристиками голоса из референсной записи. Для клонирования README рекомендует чистое референсное аудио длительностью не менее трёх секунд; качество может зависеть от сходства говорящего с обучающими данными. В карточке указана лицензия MIT; README также рекомендует сверяться с условиями Resemble AI для коммерческого использования.
Dia — текстовая модель синтеза речи на 1,6 млрд параметров, созданная Nari Labs. Она преобразует текстовую расшифровку в реалистичную диалоговую речь и поддерживает разметку реплик тегами [S1] и [S2]. Можно задать аудио как условие генерации, чтобы управлять интонацией и эмоциями; также модель воспроизводит неречевые звуки, например смех, кашель и вздохи. Модель предназначена для генерации английских диалогов, клонирования голоса и экспериментов с выразительной речью. Для работы проверена конфигурация с GPU, PyTorch 2.0+ и CUDA 12.6; поддержка CPU на момент описания не заявлена. Веса опубликованы в формате safetensors. Лицензия — Apache-2.0; авторы указывают исследовательское и образовательное назначение и запрещают злоупотребление сходством с реальными людьми и создание вводящего в заблуждение контента.
mlx-community/Dia-1.6B-fp16 — конвертированная в формат MLX версия модели Dia-1.6B от Nari Labs. Она предназначена для синтеза речи по тексту и рассчитана на работу в экосистеме MLX; исходная модель описана как англоязычная система для реалистичной диалоговой речи с управлением голосом и эмоциями по аудиоусловию. Репозиторий содержит веса в формате safetensors и использует библиотеку MLX. Модель подходит для генерации диалоговых реплик и озвучивания текстов на английском языке. README отсылает к карточке исходной модели за подробностями; лицензия репозитория — Apache-2.0. Параметры контекста и иные характеристики качества в доступных данных не приведены.
F5-TTS Burmese v2 — модель синтеза речи на основе Flow-Matching Diffusion Transformer, разработанная автором репозитория freococo. Она обучена на более чем 794,5 часа бирманской речи и содержит около 337 млн параметров; карточка описывает 22 слоя, 16 голов и размерность 1024. Модель предназначена для преобразования текста на бирманском языке в речь и поддерживает клонирование голоса по образцу. Автор сообщает об улучшениях фонетического выравнивания, передачи тонов, естественности разговорной речи и сокращении обрывов аудио; веса FP16 занимают около 674 МБ. Модель подходит для озвучивания текста и создания речи голосом-образцом. В репозитории также доступны промежуточные чекпойнты для продолжения дообучения. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование. Длина контекста и условия качества за пределами описанных автором сценариев в карточке не приведены.
Это дообученная версия Higgs Audio v3 размером 4 млрд параметров для синтеза речи на телугу голосом одного диктора. Модель преобразует текст в выразительную речь и может работать с переключением между телугу и английским; референсный аудиофрагмент для генерации не нужен. Для телугу требуется текст в ISO-15919-транслитерации и тот же frontend.py, который применялся при обучении: без него токенизация может разбивать текст на байтовые фрагменты. В README указано, что это первая исследовательская версия адаптации. Лицензия в метаданных обозначена как other, конкретные условия использования не приведены.
Карточка модели Anjan9320/IndicF5 на Hugging Face совпадает с карточкой ai4bharat/IndicF5, поэтому описание составлено по ней. IndicF5 — полиглотная модель синтеза речи от AI4Bharat, обученная на 1417 часах аудио из Rasa, IndicTTS, LIMMITS и IndicVoices-R. Она преобразует текст в речь на 11 индийских языках: ассамском, бенгальском, гуджарати, хинди, каннада, малаялам, маратхи, одиа, пенджаби, тамильском и телугу. Для генерации нужны текст, эталонный аудиофрагмент и его расшифровка; эталон задаёт характеристики голоса и просодию. Модель предназначена для синтеза речи с управлением голосом по примеру, например для озвучивания текстов и создания голосовых интерфейсов на поддерживаемых языках. Авторы характеризуют качество как близкое к человеческому. Лицензия — MIT. Использовать клонирование голоса разрешено только при наличии явного согласия владельца; несанкционированное клонирование запрещено.
Карточка модели rsolanki1822/IndicF5-mirror на Hugging Face совпадает с карточкой ai4bharat/IndicF5, поэтому описание составлено по ней. IndicF5 — полиглотная модель синтеза речи от AI4Bharat, обученная на 1417 часах аудио из Rasa, IndicTTS, LIMMITS и IndicVoices-R. Она преобразует текст в речь на 11 индийских языках: ассамском, бенгальском, гуджарати, хинди, каннада, малаялам, маратхи, одиа, пенджаби, тамильском и телугу. Для генерации нужны текст, эталонный аудиофрагмент и его расшифровка; эталон задаёт характеристики голоса и просодию. Модель предназначена для синтеза речи с управлением голосом по примеру, например для озвучивания текстов и создания голосовых интерфейсов на поддерживаемых языках. Авторы характеризуют качество как близкое к человеческому. Лицензия — MIT. Использовать клонирование голоса разрешено только при наличии явного согласия владельца; несанкционированное клонирование запрещено.
Irodori-TTS-500M-v3 GGUF — это GGUF/GGML-квантизированная версия модели синтеза речи Aratako/Irodori-TTS-500M-v3, разработанной Aratako. Репозиторий cstr/irodori-tts-GGUF содержит только преобразование формата и варианты квантизации исходных весов, без дообучения, объединения или изменения архитектуры и возможностей. Модель предназначена для использования с CrispStrobe/CrispASR. Модель ориентирована прежде всего на синтез японской речи, включая смешанный текст, и поддерживает zero-shot клонирование голоса по образцу аудио через латентное кондиционирование DAC-VAE. Это 500-миллионная Rectified Flow Diffusion Transformer (RF-DiT) с 102-тысячным BPE-словарём токенизатора sarashina2.2. Архитектура включает текстовый энкодер и DiT-блок на 24 слоя с размерностью 2048, а генерация выполняется решателем Euler RF ODE за 40 шагов с classifier-free guidance. Выход — монофонический звук 48 кГц. Доступны варианты F16, Q4_K и Q8_0; Q4_K указан как рекомендуемый и занимает около 852 МБ, что позволяет разместить модель в 8 ГБ RAM, а Q8_0 обеспечивает качество, близкое к исходному. Качество и требования к ресурсам зависят от выбранной квантизации. Модель ориентирована на японский язык, поэтому пригодность для других языков README не подтверждает. Для клонирования голоса требуется эталонная аудиозапись, а лицензия MIT распространяется с учётом условий лицензии исходной модели.
Kartoffel Orpheus-3B German Natural — модель преобразования немецкого текста в речь, созданная SebastianBodza на основе Orpheus-3B. Версия Natural дообучена на записях естественной немецкой речи из подкастов, лекций и других материалов OER, обработанных конвейером в стиле Emilia. Модель предназначена для синтеза речи с несколькими предустановленными голосами. Модель может генерировать речь с разными интонациями, но в этой версии поддержка эмоций и выразительности ограничена. Автор отмечает, что некоторые голоса нестабильны, отдельные голоса могут дублироваться, а оценка пола голоса ненадёжна. Репозиторий использует формат safetensors и библиотеку Transformers; лицензия указана как Llama 3.2.
KazakhTTS-OmniVoice — модель синтеза казахской речи, разработанная на основе OmniVoice и дообученная для казахского языка. Она принимает текст и генерирует речь; для работы предназначена библиотека omnivoice. Модель поддерживает управление характеристиками голоса через подсказки: можно задавать мужской или женский голос, возрастной стиль от детского до пожилого, а также низкую, умеренную или высокую высоту тона. При дообучении использовались данные ISSAI_KazakhTTS2 и синтетические примеры с контролируемыми характеристиками голоса. Модель ориентирована на озвучивание текстов на казахском языке с настройкой звучания голоса. Карточка не приводит размер модели и длину контекста. Лицензия в предоставленных данных не указана; исходный датасет ISSAI_KazakhTTS2 не включён в репозиторий.
Карточка модели rtrthryjh/Kokoro-82M-Backpack-TTS на Hugging Face совпадает с карточкой backpack-run/Kokoro-82M-Backpack-TTS, поэтому описание составлено по ней. Это пакет голосов Kokoro-82M, подготовленный Backpack для локального синтеза речи. Он содержит неизменённые артефакты модели hexgrad/Kokoro-82M в формате PyTorch и предназначен для использования с голосовым runtime Backpack; пакет не заменяет выбранную пользователем чат-модель и не является результатом обучения Backpack. Модель преобразует текст в аудио. В комплект входят четыре файла голосов: af_heart, am_michael, bf_emma и bm_george. В README указана поддержка нескольких языков, а метаданные описывают базовую модель как компактную многоязычную систему синтеза речи. Пакет прошёл проверку загрузки и детерминированного вывода аудио. Для запуска README рекомендует kokoro==0.9.4 и интерфейсы KModel и KPipeline. Лицензия — Apache-2.0. Ограничения качества синтеза для отдельных языков и акцентов могут различаться; в README также отмечено, что синтезированная речь может вводить в заблуждение.
Kokoro Vietnamese — Ngọc Huyền — это дообученная модель синтеза речи на базе hexgrad/Kokoro-82M, подготовленная для голоса Ngọc Huyền. Репозиторий содержит инференсный чекпойнт PyTorch, голосовой пакет и конфигурацию с вьетнамским словарём; обучение и дообучение в репозитории не описаны. Модель преобразует текст на вьетнамском языке в речь. Для преобразования графем в фонемы используется vig2p и адаптированный фронтенд Kokoro, который учитывает вьетнамские начальные согласные и тоны. Модель рассчитана на синтез одним голосом; сведений о размере, длине контекста или других поддерживаемых языках карточка не содержит. Лицензия — Apache-2.0. Для работы требуется совместимый инференсный код и вьетнамский фронтенд из репозитория; качество произношения зависит от корректной обработки вьетнамского текста и фонемизации.
Magpie-TTS-Multilingual-357M-MLX-8bit — порт модели преобразования текста в речь NVIDIA Magpie-TTS Multilingual 357M для библиотеки MLX и Apple Silicon. Это авторегрессионная модель с несколькими кодовыми книгами аудио, которая генерирует речь через Nano-Codec с последующим декодированием в монофонический звук с частотой 22,05 кГц. Модель содержит 357 млн параметров; веса основных компонентов квантованы до INT8, а декодер кодека работает в FP16. Модель предназначена для синтеза речи на английском, испанском, немецком, французском, итальянском, вьетнамском, китайском, хинди и японском языках. Её можно применять для озвучивания текста в приложениях и локальных сценариях на Apple Silicon. Карточка описывает проверку синтеза на отдельных тестовых фразах, но она не доказывает качество на произвольных текстах. Для работы с японским текстом README отдельно указывает на предварительную токенизацию и преобразование в фонетическую форму. Лицензия указана как other; исходные веса NVIDIA распространяются по NVIDIA Open Model License.
facebook/mms-tts-ell — модель синтеза греческой речи из текста, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она предназначена для озвучивания греческих текстов; отдельный чекпойнт MMS-TTS обучен для каждого языка. Модель использует архитектуру VITS и генерирует речевую аудиоволну непосредственно из текстовой последовательности. В ней сочетаются вариационный автоэнкодер, Transformer-кодировщик текста, нормализующие потоки, HiFi-GAN-подобный декодер и стохастический предсказатель длительности. Чекпойнт содержит 3,6 млн параметров и доступен в форматах PyTorch и Safetensors. Он интегрирован с библиотекой Transformers начиная с версии 4.33. Из-за стохастического предсказателя длительности одинаковый текст может получать разный ритм и звучание; для повторяемого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.