I.9Аудио и музыка
В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
4 835 моделейEvoAwaken-Workshop/Breeze-TTS-2-gguf — это GGUF-конверсия модели Breeze-TTS-2, разработанной BreezeBlue, адаптированная для нативного Rust-инференса через rust-model-inference. Модель предназначена для синтеза речи на английском и китайском языках и поддерживает обычный Text-to-Speech, управление характеристиками голоса по текстовой инструкции и клонирование тембра по референсной записи с транскрипцией. Это мультимодульная TTS-система примерно на 3,5 млрд параметров: backbone Qwen3 на 1,4 млрд параметров, текстовый энкодер T5Gemma2 на 1 млрд, depth decoder на 0,4 млрд и аудиокодек Mimi примерно на 0,1 млрд параметров. Аудиотокенизатор основан на Qwen3-TTS. Для клонирования требуется моно WAV PCM16 с частотой 24 кГц и соответствующий текст; многоканальные записи и другие частоты дискретизации обрабатываются автоматически. Доступны варианты BF16, F16, F32, Q8_0 и Q4_0. Q8_0 рекомендован для развёртывания благодаря меньшему размеру и более высокой скорости, тогда как Q4_0 обеспечивает максимальное сжатие, но заметно ухудшает качество речи и не рекомендуется для production. Модель не совместима со стандартным llama.cpp: необходим runtime rust-model-inference с поддержкой архитектур breeze и breeze_audio, а также отдельный codec projection-файл. Лицензия указана как breezeblue-research-and-non-commercial-license, поэтому коммерческое использование может быть ограничено условиями лицензии; перед применением следует ознакомиться с её полным текстом.
Это неофициальный, не связанный с авторами исходной модели порт BreezeBlue/Breeze-TTS-2 для MLX. Модель с архитектурой BreezeForConditionalGeneration содержит 1,4 млрд параметров; опубликован вариант bf16 без квантизации в формате safetensors. Контекст — до 2048 токенов. Модель предназначена для синтеза речи из текста на английском и китайском языках. Семейство Breeze-TTS-2 также поддерживает клонирование голоса и управление его подачей. Порт рассчитан на запуск с библиотекой MLX. Модель лицензирована для исследовательского и некоммерческого использования. README не уточняет качество синтеза, требования к оборудованию или ограничения клонирования голоса.
rishikksh20 подготовил для локального синтеза речи на компьютерах Apple с процессорами Apple Silicon INT8-версию Breeze-TTS-2 в формате MLX. Это дообученная модель Breeze с плотной архитектурой BreezeForConditionalGeneration, содержащая 1,4 млрд параметров; для инференса используется контекст до 2048 токенов. Веса преобразованы в INT8 с группами размера 64 для подходящих слоёв, часть слоёв оставлена в FP16, а аудиотокенизатор — в FP32. Модель принимает текст и генерирует речь. Базовая Breeze-TTS-2 предназначена для потокового синтеза английской и китайской речи, клонирования голоса и управления его подачей. Репозиторий содержит только INT8-веса: для запуска нужны отдельный runtime-проект, macOS и Apple Silicon; версия не рассчитана на CUDA, Linux или компьютеры Mac с Intel и не настроена для Inference API Hugging Face. Квантизация может повлиять на качество и выбор вариантов синтеза, поэтому следует проверить разборчивость, произношение и сходство голоса. Лицензия в предоставленных данных не указана.
Breeze-TTS-2-mlx-4bit — неофициальный и не связанный с разработчиком MLX-порт модели Breeze-TTS-2 от BreezeBlue. Это 4-битная квантованная версия, предназначенная для синтеза речи из текста, включая сценарии клонирования голоса, создания голоса и управления характеристиками речи. Модель поддерживает английский и китайский языки и относится к классу text-to-speech и speech-generation. Порт подготовлен для библиотеки MLX; сведения о размере, архитектуре, максимальной длине контекста, поддерживаемых модальностях помимо текста и дополнительных требованиях в README не указаны. 4-битное представление, вероятно, ориентировано на снижение требований к памяти, однако точные характеристики производительности и качества также не приведены. Модель предназначена только для исследовательского и некоммерческого использования согласно лицензии BreezeBlue Research and Non-Commercial License. Она является производной от Breeze TTS 2 и не является официальным продуктом BreezeBlue.
Breeze-TTS-2-mlx-8bit — неофициальный и не связанный с разработчиком порт модели BreezeBlue/Breeze-TTS-2 в формате MLX, созданный сообществом mlx-community. Это 8-битная версия модели для синтеза речи из текста. Модель предназначена для задач text-to-speech и генерации речи, включая клонирование голоса, создание голоса и управление характеристиками или манерой речи. В карточке заявлена поддержка английского и китайского языков. Сведения об архитектуре, количестве параметров, длине контекста, поддерживаемых аудиоформатах и требованиях к вычислительным ресурсам не указаны. Ключевое преимущество модели — 8-битное представление и адаптация к MLX, что может быть удобно для запуска в соответствующей экосистеме. При этом это неофициальный порт, поэтому его поведение и совместимость могут отличаться от исходной модели BreezeBlue/Breeze-TTS-2. Модель распространяется по лицензии BreezeBlue Research and Non-Commercial License и предназначена только для исследовательского и некоммерческого использования.
Chatterbox TTS Persian gguf — конвертация модели Thomcles/Chatterbox-TTS-Persian-Farsi, основанной на ResembleAI Chatterbox, в форматы GGUF/ggml для использования с CrispASR. Модель предназначена для синтеза речи на персидском языке (Farsi): преобразует текст в речевые токены, а затем генерирует аудио WAV с частотой дискретизации 24 кГц. Она подходит для локальных сценариев text-to-speech и приложений, которым требуется озвучивание персидского текста через CrispASR. Пайплайн включает символьный токенизатор, компонент T3 на базе авторегрессионной 30-слойной архитектуры Llama размером 520M параметров, S3Gen с Conformer-энкодером и 1D UNet-денаизером CFM, а также вокодер HiFTGenerator с цепочками свёрток, активациями Snake и iSTFT. Для работы необходимы два файла GGUF: T3-модель и S3Gen-модель; в README указана конфигурация с chatterbox-t3-fa-f16.gguf и chatterbox-s3gen-q8_0.gguf. Данные об ограничениях качества, поддерживаемых голосах и контексте не приведены. Модель распространяется по лицензии MIT.
cstr/chatterbox-turbo-GGUF — конверсия и, в некоторых вариантах, квантование модели ResembleAI/chatterbox-turbo в формате GGUF/GGML для использования с CrispASR. Это модель синтеза речи, преобразующая текст в монофонический WAV-аудиосигнал с частотой 24 кГц. Репозиторий не обучал и не дообучал модель, а только изменил формат числового представления весов. Модель представляет собой дистиллированный TTS-конвейер примерно на 350 млн параметров. В его составе GPT-2 BPE-токенизатор на 50 276 токенов, авторегрессионная T3-модель GPT-2 Medium с 24 слоями и размерностью 1024, генератор речевых токенов, UpsampleConformerEncoder, Meanflow CFM-денойзер и вокодер HiFTGenerator. Для генерации используются два шага CFM вместо десяти в базовой Chatterbox, без classifier-free guidance. Доступны варианты T3 и S3Gen с точностью F16, а также квантованием Q8_0 и Q4_K; для работы требуются оба файла. Модель предназначена для локального синтеза речи и поддерживает английский язык. В тексте можно использовать специальные теги эмоций и стиля, включая [laugh], [whispering], [angry], [happy], [dramatic] и другие, однако сила их воздействия может различаться. К сильным сторонам относятся компактный размер, ускоренная двухшаговая генерация и возможность развёртывания в GGUF через CrispASR. Ограничения включают заявленную поддержку только английского языка, необходимость загрузки двух компонентов и зависимость от CrispASR с поддержкой соответствующего формата и исправленного токенизатора. Модель и конверсия распространяются по лицензии MIT. Лицензия и возможности исходной модели определяются upstream-репозиторием ResembleAI/chatterbox-turbo; данный репозиторий не предоставляет дополнительных прав.
Карточка модели TTKCRUSADER/csm-1b на Hugging Face совпадает с карточкой unsloth/csm-1b, поэтому описание составлено по ней. unsloth/csm-1b — версия модели генерации речи CSM 1B от Sesame, подготовленная Unsloth как дообученный вариант базовой sesame/csm-1b. Она преобразует текст и аудиоконтекст в аудиокоды RVQ: архитектура сочетает Llama-backbone с компактным аудиодекодером Mimi. Модель содержит 977,3 млн параметров, использует формат safetensors и имеет контекст длиной 2048 токенов. Модель предназначена для синтеза речи из текста и может генерировать разные голоса; конкретный голос отдельно не настраивался. Основной язык — английский. Авторы отмечают некоторую способность работать с другими языками, но ожидают низкое качество. Это генератор аудио, а не универсальная разговорная модель: она не генерирует текст, поэтому для ведения диалога нужен отдельный LLM. Лицензия — Apache-2.0.
mlx-community/dac-speech-24khz-1.5kbps — конверсия модели ibm-research/DAC.speech.v1.0 в формат MLX. Она предназначена для синтеза речи по тексту и рассчитана на запуск в экосистеме MLX. В репозитории указаны веса Safetensors и лицензия CDLA-Permissive-2.0. Карточка этой версии не содержит подробностей об архитектуре синтеза, размере модели, поддерживаемых языках, длине контекста или качестве речи; за ними следует обращаться к карточке исходной модели. По имеющимся данным, это текстовая модель с речевым выходом.
Dasheng-1.2B — универсальный аудиоэнкодер семейства Dasheng, обученный методом самообучения на 272 356 часах разнообразного аудио. Модель содержит 1,2 млрд параметров и предназначена для извлечения представлений звука, которые можно использовать в задачах классификации речи, музыки и окружающих звуков. Энкодер показал улучшенные результаты на бенчмарке HEAR и сильные результаты на CREMA-D, LibriCount, Speech Commands и VoxLingua, а также хорошо справляется с классификацией музыки и звуков среды. README демонстрирует настройку линейной классификационной головы на ESC-50 при замороженном энкодере. Модель принимает аудио и предназначена для получения признаков, пригодных для последующей классификации; поддерживаемая в каталоге задача — audio-classification. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.
cstr/dia-1.6b-GGUF — это GGUF-конверсия диалоговой модели синтеза речи Dia-1.6B, разработанной nari-labs и предназначенной для использования с CrispASR от CrispStrobe. Модель преобразует текст в выразительную монофоническую речь с частотой 44,1 кГц; для обозначения участников диалога используются теги [S1] и [S2]. Указан английский язык. Архитектура включает 12-слойный текстовый энкодер размерности 1024 с байтовым словарём из 256 элементов и 18-слойный аудиодекодер размерности 2048 с GQA и classifier-free guidance. Декодер авторегрессионно генерирует девять чередующихся DAC-кодбуков, которые преобразуются в PCM с помощью отдельного Descript Audio Codec (DAC). Основной файл модели имеет размер около 3 ГБ и представлен в формате F16; файл DAC-кодека размером около 104 МБ обязателен. Для стабильной генерации рекомендуется использовать текстовые запросы длиной примерно от 100 символов; очень короткие запросы могут приводить к отсутствию речи. Результат зависит от seed и параметров сэмплирования. Модель ориентирована на локальный синтез речи и диалоговых аудиофрагментов через CrispASR. Более компактные квантизованные варианты Q8_0 и Q4_K на момент публикации не представлены, поскольку архитектура чувствительна к точности. Модель и конверсия распространяются по лицензии Apache 2.0; репозиторий заявляет, что не выполнял обучение или дообучение, а только изменил формат представления исходных весов.
cstr/dots-tts-soar-GGUF — это GGUF-конверсия модели dots.tts-soar, разработанной dots и адаптированная для портативного речевого движка CrispASR. Модель предназначена для синтеза речи из текста на английском и китайском языках, включая локальный инференс без Python и PyTorch во время выполнения. Она может работать на CPU, а также использовать Metal, CUDA или Vulkan через CrispASR. Архитектура включает авторегрессионную языковую модель Qwen2.5-1.5B, 24-слойный PatchEncoder на основе VAE, 18-слойную flow-matching DiT-голову и вокодер BigVGAN с выводом аудио 48 кГц. Акустические признаки генерируются в непрерывном латентном пространстве, без дискретного аудиокодека. Доступны варианты F16 размером около 4,6 ГБ, смешанно-квантизованные Q8_0 размером около 3,1 ГБ и Q4_K размером около 2,0 ГБ. Для каждого основного файла требуется отдельный вокодер BigVGAN размером около 0,36 ГБ; CAM++ размером около 0,01 ГБ используется опционально для клонирования голоса. Сильные стороны модели — переносимый формат GGUF, возможность локального запуска и уменьшенный размер квантизованных вариантов при сохранении DiT-головы в F16 для стабильности генерации. Ограничения включают необходимость CrispASR и обязательного файла вокодера, а также зависимость качества и скорости от числа шагов flow matching и доступных ресурсов. Лицензия Apache-2.0 унаследована от upstream-модели dots.tts-soar; репозиторий содержит только конверсию и квантизацию без дополнительного обучения или изменения архитектуры.
Maxdorger29 разработал дообученную версию F5-TTS для синтеза венгерской речи. Модель семейства F5TTS_v1_Base использует архитектуру DiT и flow matching; она обучена примерно на 145 тысячах венгерских речевых примеров общей длительностью около 270 часов. Веса представлены в формате safetensors и FP16 EMA. Модель преобразует венгерский текст в речь и поддерживает клонирование голоса без отдельного дообучения: для образца голоса требуется 5–15 секунд эталонного аудио. Её можно запускать локально на потребительском GPU с 8 ГБ видеопамяти или больше. Для клонирования голоса нужны эталонная аудиозапись и её текстовая расшифровка; генерируемый текст должен быть на венгерском языке. В начале аудио иногда появляется искажённый фрагмент длительностью около 200–400 мс; README описывает способы его обрезки или уменьшения. Очень короткий текст может приводить к неестественной длительности речи, а потоковая генерация пока не поддерживается. Веса распространяются по лицензии CC-BY-NC-4.0, которая ограничивает коммерческое использование.
FastSpeech2Conformer — нерекуррентная модель синтеза речи из текста, объединяющая FastSpeech2 и архитектуру Conformer. Модель предложена авторами статьи «Recent Developments On Espnet Toolkit Boosted By Conformer» и впервые опубликована в репозитории ESPnet; карточку на Hugging Face разместил Connor Henderson. Репозиторий содержит веса PyTorch и поддерживает запуск через библиотеку Transformers. Модель предназначена для быстрого преобразования текста в речь. FastSpeech2 использует длительность, высоту тона и энергию как дополнительные условия, а Conformer сочетает свёрточные блоки для локальных речевых закономерностей с механизмом внимания для дальних зависимостей. В метаданных указан английский язык. Модель распространяется по лицензии Apache 2.0. Карточка не сообщает данные об обучающем наборе, результатах оценки или ограничениях качества; поэтому пригодность голоса и качество синтеза для конкретного применения следует проверять отдельно.
Fun-CosyVoice3-0.5B-2512-GGUF — неофициальная общественная GGUF-сборка модели CosyVoice3-2512, основанная на FunAudioLLM/Fun-CosyVoice3-0.5B-2512. Сборка поддерживается независимым разработчиком и предназначена для запуска через C++/GGML-конвейер cosyvoice.cpp, а не является официальным релизом CosyVoice. Модель относится к системам синтеза речи по тексту и принимает текст вместе с аудиопромптом в формате GGUF, после чего генерирует WAV-аудио. Она подходит для локального инференса и сценариев, где требуется управление голосом на основе заданного речевого примера. В репозитории доступны варианты с точностью от F32 и F16 до различных квантований Q8_0–Q2_K; размер файлов составляет примерно от 0,42 до 3,21 ГиБ. Рекомендуемым вариантом названа Q8_0, обеспечивающая качество, близкое к F16, при меньшем размере; F16 и Q6_K также относятся к высококачественным вариантам. Ключевое ограничение — заметная деградация качества при сильном квантовании: варианты Q4 и ниже могут давать приглушённую речь, артефакты произношения, шум и неразборчивый звук. Для запуска требуется cosyvoice.cpp; отдельные компоненты требуют поддержки AVX2, а работа GPU зависит от используемого бэкенда GGML и драйверов. Языки, максимальная длина контекста и точная архитектура в README не указаны. Файлы модели распространяются по лицензии Apache-2.0, тогда как runtime cosyvoice.cpp имеет лицензию MIT.
Gepard-1.0 — модель синтеза речи Gepard и веса декодера NanoCodec, размещённые EugeneHP как staging-перепубликация контрольной точки для запусков через RLX. Репозиторий содержит веса в форматах GGUF F16 и Safetensors, а также токенизатор и конфигурацию; README указывает на пакет RLX `rlx-gepard` для генерации аудиофайла из текста. Модель предназначена для преобразования текста в речь. В README приведён пример генерации WAV из английского текста, но сведений о поддерживаемых языках, архитектуре или размере исходной модели нет. Указанная лицензия репозитория — Apache-2.0. Репозиторий обозначен как staging-перепубликация, а не как основной runtime-пакет RLX; для использования нужно учитывать инструкции RLX и актуальный путь загрузки весов.
IndicF5 — полиглотная модель синтеза речи для 11 языков Индии. В README репозиторий представлен как улучшенная документация и упрощённая установка модели AI4Bharat; права на модель принадлежат AI4Bharat. Модель обучена на 1417 часах речи из Rasa, IndicTTS, LIMMITS и IndicVoices-R. Для генерации речи нужны текст, аудиозапись с образцом голоса и просодии и расшифровка этой записи. Так можно синтезировать речь с характеристиками, ориентированными на референс. Репозиторий содержит веса в формате safetensors; лицензия в метаданных — MIT. README заявляет поддержку ассамского, бенгальского, гуджаратского, хинди, каннада, малаялам, маратхи, одия, пенджаби, тамильского и телугу. Использовать модель разрешается только для клонирования голосов, на которое получено явное согласие; несанкционированное клонирование запрещено. Заявление о близком к человеческому качестве приведено в карточке модели, но сравнительные оценки качества не указаны.
Jano-TTS — компактная многоголосая модель синтеза речи, построенная на Flow Matching и архитектуре UNet в стиле Matcha. По данным карточки, она содержит около 24,6 млн параметров, поддерживает 128 голосов и создаёт аудио с частотой 24 кГц с помощью вокодера Vocos. Модель предназначена для преобразования текста в речь на английском языке. Небольшой размер и поддержка множества голосов подходят для приложений, которым нужен быстрый синтез речи с выбором диктора. В репозитории указаны веса safetensors и лицензия Apache-2.0.
Kokoro-82M-zh-MLX — модель синтеза речи, подготовленная 1038lab на основе архитектуры Kokoro и голосовых эмбеддингов официальной модели kokoro-v1.1-zh от hexgrad. Она преобразует текст в речь и оптимизирована для локального запуска на компьютерах Apple Silicon с использованием MLX и Metal GPU. В карточке заявлены 103 голоса: китайские женские и мужские, а также английские; доступны настройка голоса и скорости, потоковая генерация и создание аудио быстрее реального времени в приведённых тестах на Mac серии M. Модель предназначена для озвучивания китайского и английского текста, например для голосовых интерфейсов, аудиоматериалов и локальной генерации речи на Mac. Репозиторий содержит веса в формате safetensors. Лицензия — Apache 2.0. Размер параметров в предоставленных данных не подтверждён; обозначение 82M входит в название модели.
Rotem12/kokoro-thai-q8-onnx — оптимизированная INT8-квантизованная ONNX-версия тайской модели синтеза речи Kokoro, подготовленная для приложения Text To Speech on Steam. Акустическая модель происходит от FastThaiG2P v0.3.0, а голосовой пакет основан на Som TTS. Модель преобразует тайский текст в речь. Репозиторий содержит файл ONNX размером 208,4 МБ; по данным карточки, он примерно на 33% меньше исходной версии FP32. Часть компонентов оставлена в FP32, включая LSTM предсказания длительности и высоты тона и апсемплеры вокодера, чтобы сохранить временные характеристики и качество звучания. В описанных тестах длительность совпала с FP32 на 534 примерах, а корреляция основного тона составила 0,9907. Модель рассчитана прежде всего на тайскую речь; тесты также охватывали английские заимствования в тайском тексте. Карточка заявляет поддержку длинных фрагментов до 475 токенов в тестах. Лицензия репозитория — Apache-2.0; отдельные исходные компоненты имеют собственные условия атрибуции, включая CC BY для голосового пакета.
MaskGCT — многоязычная модель синтеза речи из текста, опубликованная Amphion. Она предназначена для преобразования текстовой последовательности в речь и поддерживает английский, китайский, корейский, японский, французский и немецкий языки. Репозиторий содержит веса в формате safetensors; метаданные указывают на дообучение MaskGCT на наборе данных Emilia. Модель можно использовать для генерации речи по тексту в приложениях и исследовательских прототипах. README содержит краткую инструкцию по установке, но не описывает архитектуру, параметры голоса или качество синтеза. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и ограничивает коммерческое применение.
MGM-Omni-TTS-2B-0927 — компонент SpeechLM семейства MGM-Omni, предназначенный для генерации речи; разработчик в предоставленной карточке не назван. Модель основана на Qwen/Qwen3-1.7B и содержит около 1,8 млрд параметров. В метаданных указан контекст 40 960 токенов, а репозиторий включает форматы ONNX и Safetensors. Модель синтезирует речь по тексту и поддерживает клонирование голоса по короткому образцу аудио; в README заявлены сценарии на английском и китайском языках. Версия 0927, по описанию, устойчивее предшественницы при чтении формул и URL. Семейство MGM-Omni также заявляет генерацию длинной и потоковой речи, однако README описывает мультимодальные возможности всего семейства, поэтому их нельзя уверенно приписать этому TTS-компоненту. Модель выпущена по лицензии Apache-2.0. Карточка не приводит конкретных оценок качества именно этой версии, поэтому её практическое качество для целевого голоса, языка и длительности речи следует оценивать на собственных примерах.
MioTTS-0.4B — компактная модель синтеза речи на основе языковой архитектуры LFM2, разработанная Aratako и дообученная на LiquidAI/LFM2-350M. Модель содержит около 456,7 млн параметров и предназначена для преобразования текста в речь на английском и японском языках. Она поддерживает клонирование голоса по короткому аудиофрагменту и использует аудиокодек MioCodec-25Hz-24kHz с частотой кадров 25 Гц. Модель рассчитана на синтез речи с низкой задержкой и умеренными требованиями к ресурсам, включая запуск на потребительских GPU и периферийных устройствах. В README приведены значения RTF 0,035–0,045, измеренные на NVIDIA RTX 5090 с vLLM 0.15.1; производительность на другом оборудовании может отличаться. Карточка указывает лицензию LFM Open License v1.0. Клонирование голосов реальных людей без согласия может нарушать их права и создавать риск обмана; разработчики возлагают ответственность за использование модели на пользователя.
MioTTS-2.6B — двуязычная модель синтеза речи на базе LLM, разработанная Aratako. Она дообучена на LiquidAI/LFM2-2.6B и использует аудиокодек MioCodec-25Hz-24kHz для генерации речи из текста. В репозитории указано около 2,5 млрд параметров, архитектура LFM2 и контекст до 128 000 токенов. Модель предназначена для синтеза речи на английском и японском языках, в том числе с клонированием голоса без дополнительного обучения по короткому образцу аудио. В README заявлены низкая задержка и пригодность для потребительских GPU и периферийных устройств; в качестве данных обучения упомянуты около 100 000 часов англо- и японоязычных записей. Модель распространяется под лицензией other; README характеризует лицензию как разрешительную, но точные условия следует проверять в файлах репозитория. Клонирование голоса требует учитывать согласие и права человека, чей голос используется. Разработчики предостерегают от обманного применения синтезированной речи и перекладывают ответственность за соблюдение законодательства на пользователей.
facebook/mms-tts-bul — модель синтеза болгарской речи из текста, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Это отдельный языковой чекпойнт проекта, рассчитанный на генерацию речи на болгарском языке. Модель использует архитектуру VITS: она преобразует последовательность текста в речевую волну сквозным образом, объединяя вариационный автоэнкодер, Transformer-энкодер текста, нормализующие потоки, стохастический предсказатель длительности и декодер на основе свёрточных слоёв в стиле HiFi-GAN. Размер модели — 3,5 млн параметров; веса доступны в форматах PyTorch и Safetensors. Для работы с чекпойнтом подходит библиотека Transformers версии 4.33 и новее. Модель предназначена для озвучивания болгарского текста. Из-за стохастического предсказания длительности генерация недетерминирована; для повторения результата требуется фиксировать seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-cym — модель синтеза речи на валлийском языке из проекта Massively Multilingual Speech компании Meta (Facebook). Она преобразует входной текст в речевую аудиоволну; отдельный чекпойнт MMS-TTS обучен для каждого языка. Модель построена на архитектуре VITS и содержит текстовый энкодер на основе Transformer, потоковый модуль, стохастический предиктор длительности и декодер HiFi-GAN-типа. Размер модели — 3,5 млн параметров; веса доступны в форматах PyTorch и Safetensors. Для использования предусмотрена библиотека Transformers версии 4.33 и выше. Модель предназначена для озвучивания валлийского текста. Стохастический предиктор позволяет получать варианты с разным ритмом; для воспроизводимого результата требуется фиксированное начальное значение генератора. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерчески.
VIZINTZOR/MMS-TTS-THAI-MALE-NARRATOR — модель синтеза речи на основе VITS, дообученная на записи голоса из Play.ht. Она преобразует текст на тайском языке в речь мужским голосом-рассказчиком. В метаданных указано 3,6 млн параметров; веса опубликованы в формате safetensors. Модель предназначена для озвучивания тайских текстов и создания голосового повествования. README сообщает о дообучении модели и использовании записи из Play.ht, но не приводит деталей о датасете, качестве синтеза или условиях его лицензирования. Лицензия модели в предоставленных данных не указана.
OpenF5 TTS Base — открытая модель синтеза речи, разработанная автором репозитория на базе конфигурации F5-TTS Base V1 и обученная с использованием фреймворка F5-TTS. Она преобразует английский текст в речь и поддерживает клонирование голоса в режиме zero-shot по примеру голоса. Модель обучалась в течение 1 млн шагов на наборе Emilia-YODAS, содержащем английскую речь. Репозиторий распространяется в формате PyTorch под лицензией Apache 2.0, разрешающей коммерческое и личное использование. Это альфа-версия, задуманная прежде всего как открытая база для дальнейшего дообучения. По заявлению автора, она уступает официальной модели F5-TTS по качеству клонирования голоса; стабильность и качество могут быть недостаточными, а возможности передачи эмоций ограничены. Синтетическую речь следует применять ответственно, особенно при воспроизведении голосов идентифицируемых людей.
Karayakar/Orpheus-TTS-Turkish-PT-5000 — дообученная модель Orpheus TTS на архитектуре LlamaForCausalLM, созданная для синтеза турецкой речи по тексту. В README указано, что это версия на шаге обучения 2000; для обучения использовали более 220 часов синтетических голосовых данных, а также данные с реальной озвучкой эмодзи для их поддержки. Модель предназначена для генерации турецкой речи и поддерживает эмоциональные и вокальные маркеры, включая смех, хихиканье, вздох, кашель и удивлённый вдох. В метаданных указаны 3,3 млрд параметров, контекст 131 072 токена, формат safetensors и лицензия MIT. README описывает взаимодействие через Flask API.
Карточка модели luozx/piper-zh-cn-huayan-medium на Hugging Face совпадает с карточкой Trelis/piper-zh-cn-huayan-medium, поэтому описание составлено по ней. Trelis подготовила и разместила модель синтеза речи Piper zhCN-huayan-medium — женский голос, говорящий на путунхуа. Это сквозная модель VITS среднего размера, поставляемая в формате ONNX; она преобразует текст в аудио с частотой дискретизации 22,05 кГц. Модель обучена на данных HuaYan TTS и дообучена на основе lessac medium. Модель предназначена для озвучивания китайского текста в приложениях и других сценариях синтеза речи. Для запуска можно использовать piper-tts либо ONNX отдельно; во втором случае требуется espeak-ng. Репозиторий переиздан из rhasspy/piper-voices. Лицензия модели указана как other; README отдельно указывает GPL для piper-tts и MIT для варианта с ONNX без зависимости от piper-tts, поэтому условия распространения и использования самих весов следует сверять с источником.