I.9Аудио и музыка

Карточка модели Ayeminko/VoxCPM2 на Hugging Face совпадает с карточкой Tha456/VoxCPM2, поэтому описание составлено по ней. VoxCPM2 — модель синтеза речи, представленная в карточке Tha456. Это авторегрессионная диффузионная модель без токенизатора с архитектурой LocEnc → TSLM → RALM → LocDiT, основанной на MiniCPM-4. Размер модели — 2 млрд параметров; она использует AudioVAE V2 и генерирует речь с частотой 48 кГц. Модель предназначена для многоязычного преобразования текста в речь, создания голоса по текстовому описанию и клонирования голоса по короткому аудиофрагменту, в том числе с управлением стилем. По README поддерживает 30 языков, включая русский, и заявляет потоковую генерацию в реальном времени. Репозиторий использует формат safetensors и библиотеку voxcpm. Лицензия Apache-2.0 разрешает коммерческое использование. Качество Voice Design и управления стилем может меняться между запусками; результаты зависят от языка, а очень длинный или выразительный ввод иногда вызывает нестабильность. README запрещает использовать модель для имитации личности, мошенничества и дезинформации и рекомендует маркировать сгенерированную речь.

Карточка модели eadx/VoxCPM2 на Hugging Face совпадает с карточкой Tha456/VoxCPM2, поэтому описание составлено по ней. VoxCPM2 — модель синтеза речи, представленная в карточке Tha456. Это авторегрессионная диффузионная модель без токенизатора с архитектурой LocEnc → TSLM → RALM → LocDiT, основанной на MiniCPM-4. Размер модели — 2 млрд параметров; она использует AudioVAE V2 и генерирует речь с частотой 48 кГц. Модель предназначена для многоязычного преобразования текста в речь, создания голоса по текстовому описанию и клонирования голоса по короткому аудиофрагменту, в том числе с управлением стилем. По README поддерживает 30 языков, включая русский, и заявляет потоковую генерацию в реальном времени. Репозиторий использует формат safetensors и библиотеку voxcpm. Лицензия Apache-2.0 разрешает коммерческое использование. Качество Voice Design и управления стилем может меняться между запусками; результаты зависят от языка, а очень длинный или выразительный ввод иногда вызывает нестабильность. README запрещает использовать модель для имитации личности, мошенничества и дезинформации и рекомендует маркировать сгенерированную речь.

Карточка модели reaksmeydev/VoxCPM2 на Hugging Face совпадает с карточкой Tha456/VoxCPM2, поэтому описание составлено по ней. VoxCPM2 — модель синтеза речи, представленная в карточке Tha456. Это авторегрессионная диффузионная модель без токенизатора с архитектурой LocEnc → TSLM → RALM → LocDiT, основанной на MiniCPM-4. Размер модели — 2 млрд параметров; она использует AudioVAE V2 и генерирует речь с частотой 48 кГц. Модель предназначена для многоязычного преобразования текста в речь, создания голоса по текстовому описанию и клонирования голоса по короткому аудиофрагменту, в том числе с управлением стилем. По README поддерживает 30 языков, включая русский, и заявляет потоковую генерацию в реальном времени. Репозиторий использует формат safetensors и библиотеку voxcpm. Лицензия Apache-2.0 разрешает коммерческое использование. Качество Voice Design и управления стилем может меняться между запусками; результаты зависят от языка, а очень длинный или выразительный ввод иногда вызывает нестабильность. README запрещает использовать модель для имитации личности, мошенничества и дезинформации и рекомендует маркировать сгенерированную речь.

VoxCPM2-bf16 — конвертированная для MLX версия многоязычной модели синтеза речи VoxCPM2 от OpenBMB. Модель содержит около 2 млрд параметров и выдаёт аудио с частотой дискретизации 48 кГц. Репозиторий использует веса BFloat16 и формат safetensors; запуск предусмотрен через библиотеку mlx-audio на Apple Silicon. Модель преобразует текст в речь, клонирует голос по короткому аудиофрагменту и создаёт голос по текстовому описанию без эталонной записи. Поддерживает 30 языков, включая английский, китайский, индонезийский, японский и корейский, и четыре режима генерации: zero-shot, продолжение, клонирование по образцу и комбинированный режим. Лицензия — Apache 2.0. Полная версия BFloat16 занимает около 4,96 ГБ; README сообщает о real-time factor 0,48 для этой конфигурации на Apple Silicon. Качество голоса зависит от входного текста и аудиообразца; для генерации и клонирования требуются совместимые инструменты mlx-audio. Модель ориентирована на синтез речи, поэтому её выход — аудио, а не текст.

YuE2-3B — открытая модель генерации музыки, разработанная командой YuE2. Она создаёт песни с вокалом и аккомпанементом по тексту песни и описанию стиля, а также позволяет менять мелодию, гармонию, текст и стиль через редактируемую партитуру в формате ABC. Модель поддерживает создание музыки с планированием мелодии и аккордов, только мелодии либо без символического плана; также предусмотрены сценарии кавер-аранжировки и итеративного редактирования с агентом. В основе — плотная архитектура YuE2ForCausalLM размером 1,8 млрд параметров с контекстом 24 576 токенов. Модель сначала формирует партитуру и семантические токены, затем синтезирует акустические представления; декодер VAE создаёт стереозвук с частотой 48 кГц. Карточка демонстрирует песни на английском и китайском языках. Для локального запуска README указывает Linux, Python 3.10+, NVIDIA GPU с поддержкой BF16 и 24 ГБ видеопамяти. Репозиторий использует формат safetensors и лицензию CC BY-NC 4.0, которая ограничивает коммерческое использование. Модель предназначена для сочинения песен, создания каверов и доработки музыкальных аранжировок. README сообщает о высоких результатах на WildSongBench, однако конкретное качество зависит от запроса и выбранных настроек; для запуска также нужны совместимое оборудование и отдельный VAE-декодер.

ZONOS2-GGUF — это GGUF-квантизованные веса модели ZONOS2, разработанной Zyphra для синтеза речи из текста. Модель предназначена для высококачественного многоязычного text-to-speech, низколатентной генерации аудио и клонирования голоса по образцу. Вся цепочка, включая ECAPA-TDNN-энкодер говорящего, MoE-основу и DAC-вокодер, доступна в нативной реализации C++ zonos2.cpp без Python, PyTorch и обязательных CUDA-ядер во время инференса; поддерживаются CPU и CUDA. Модель обучена более чем на 6 миллионах часов многоязычной речи и ориентирована на естественное, выразительное звучание и высокую точность клонирования голоса. Поддерживаются английский, китайский, японский, корейский, русский, итальянский, португальский, французский, испанский, вьетнамский, немецкий, иврит, нидерландский и ряд других языков, включая украинский, польский, арабский, хинди и индонезийский. Доступны варианты от F16 размером 15,3 ГБ до Q4_K размером 4,9 ГБ; в квантизованных версиях F16 сохраняется для attention, router, embeddings и speaker projection, а квантизуются только матрицы MoE-экспертов. Q8_0 рекомендован как практически без потерь, тогда как Q4_K подходит для систем с ограниченной VRAM и сохраняет близкое к полной точности качество аудио. Ограничения включают значительный объём файлов и зависимость от zonos2.cpp для запуска GGUF, а качество клонирования и синтеза может зависеть от выбранного уровня квантизации и исходного голосового образца. Модель распространяется по лицензии Apache-2.0.

Zonos-v0.1-transformer — открытая модель преобразования текста в речь от Zyphra, построенная на трансформерной архитектуре. Она нормализует и фонетически разбирает текст с помощью eSpeak, затем предсказывает токены DAC и генерирует речь с частотой 44 кГц. Модель обучена на более чем 200 тысячах часов разноязычной речи и поддерживает английский, японский, китайский, французский и немецкий языки. Модель предназначена для естественного синтеза речи, клонирования голоса по короткому аудиореференсу и управления характеристиками звучания, включая темп, высоту тона, эмоции и качество аудио. Для задания голоса можно передать вектор говорящего или аудиофрагмент; текст и аудиопр prefix позволяют точнее воспроизводить особенности речи, например шёпот. Заявленная скорость работы составляет около двукратного реального времени на RTX 4090. Для запуска README указывает Linux и современный GPU NVIDIA серии 3000 или новее с объёмом видеопамяти от 6 ГБ; требуется библиотека eSpeak. Модель распространяется по лицензии Apache-2.0.

Карточка модели Tuananh20015/acestep-v15-xl-sft на Hugging Face совпадает с карточкой ACE-Step/acestep-v15-xl-sft, поэтому описание составлено по ней. ACE-Step/acestep-v15-xl-sft — вариант XL модели ACE-Step 1.5, разработанный проектом ACE-Step. Это плотная модель генерации аудио на основе DiT с примерно 4 млрд параметров по README; метаданные каталога указывают 3,1 млрд параметров. Модель обучена методом supervised fine-tuning и предназначена для создания музыки по текстовому описанию. Поддерживает CFG для управления соответствием генерации запросу; вариант SFT ориентирован на высокое качество и стандартный режим работы. Модель использует 32 слоя DiT Decoder, скрытый размер 2560 и 32 головы внимания. README рекомендует от 12 ГБ видеопамяти с выгрузкой на CPU и INT8-квантизацией, от 16 ГБ с выгрузкой на CPU или от 20 ГБ без выгрузки. В карточке указана лицензия MIT; README заявляет о коммерческой применимости сгенерированной музыки и обучении на лицензированной, свободной и синтетической музыке. Эти заявления описывают проект, а не гарантируют права на каждый конкретный результат.

Audio8 TTS Preview 0.6B ONNX INT4 — мультиязычная модель синтеза речи с клонированием голоса в zero-shot режиме, разработанная Audio8 AI. Данная версия представляет CPU-ориентированную ONNX Runtime-сборку базовой модели Audio8-TTS-Preview-0.6b и предназначена для локальной генерации речи, потокового воспроизведения и интеграции через локальные сервисы и API. Модель содержит около 601 млн параметров и использует архитектуру DualAR: медленный авторегрессионный трансформер формирует семантические токены аудиокадров, а быстрый авторегрессионный трансформер предсказывает кодовые книги аудиокодека. В состав входят 24 слоя Slow AR, 4 слоя Fast AR, ширина 896, 14 attention heads и 2 KV heads; используются 10 кодовых книг по 4096 элементов. Контекст составляет до 2048 упакованных текстовых и аудиопозиций. Веса авторегрессионных компонентов представлены в формате weight-only INT4, активации и KV-cache используют FP16, а выходной звук формируется в формате FP32 с частотой 44,1 кГц, моно. Поддерживаются кантонский, китайский, нидерландский, английский, французский, немецкий, итальянский, японский, корейский, польский и испанский языки. К сильным сторонам относятся компактный размер, работа на CPU без CUDA, сравнительно низкое потребление памяти и локальное клонирование голоса по эталонной записи длительностью от 0,5 до 30 секунд с транскрипцией. Это preview-версия с ограниченным языковым охватом, поэтому качество и стабильность для языков вне рекомендованного набора не гарантируются; заявленные характеристики памяти проверены преимущественно на macOS arm64 и Apple M2. Модель распространяется по лицензии Apache 2.0.

Bark Small — компактный вариант модели Bark, созданной Suno для преобразования текста в аудио. Модель состоит из трёх трансформерных компонентов: преобразует текст в семантические токены, затем в аудиотокены EnCodec и в итоговое аудио. Версия Small использует компоненты размером 80 млн параметров каждый. Модель предназначена для синтеза реалистичной речи на нескольких языках, а также музыки, фонового шума и простых звуковых эффектов. Она может генерировать невербальные звуки, например смех, вздохи и плач. Карточка перечисляет поддержку английского, немецкого, испанского, французского, хинди, итальянского, японского, корейского, польского, португальского, русского, турецкого и китайского языков. Доступны предварительно обученные веса для запуска через Transformers или оригинальную библиотеку Bark. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование. Модель выпущена для исследовательского использования; её выход не фильтруется, а авторы предупреждают о возможности злоупотреблений, включая имитацию голоса. В карточке не заявлены ограничения по длине текста или аудио и не приводятся отдельные показатели качества для версии Small.

onnx-community/chatterbox-ONNX — это открытая модель синтеза речи Chatterbox, разработанная Resemble AI и представленная в экспортированном формате ONNX. Она предназначена для преобразования текста в английскую речь, создания голосовых агентов, озвучивания видео, игр и другого контента, а также для zero-shot voice cloning и voice conversion по образцу голоса. Модель использует backbone на основе Llama размером 0,5 млрд параметров и обучена на 0,5 млн часов очищенных данных. Поддерживается английский язык; заявлена частота дискретизации аудио 24 кГц. Ключевые возможности включают управление выразительностью и интенсивностью речи через параметр exaggeration, стабильный синтез с alignment-informed inference и опциональную водяную маркировку выходных аудиофайлов. Формат ONNX обеспечивает переносимый запуск через ONNX Runtime на различных платформах. Сильными сторонами модели являются открытая лицензия, возможность локального и кроссплатформенного использования, voice cloning, управление эмоциональной выразительностью и заявленное превосходство над ElevenLabs в некоторых сравнительных оценках. Ограничения включают подтвержденную поддержку только английского языка, зависимость качества клонирования от предоставленного образца голоса и необходимость настройки параметров для выразительной речи; увеличение exaggeration может ускорять темп речи. Модель распространяется по лицензии MIT.

Chatterbox-Turbo-TTS-8bit — модель синтеза речи, опубликованная сообществом mlx-community и преобразованная из ResembleAI/chatterbox-turbo для работы в формате MLX. Она использует архитектуру Chatterbox Turbo и 8-битную квантизацию GPT-2-основы T3, чтобы снизить потребление памяти при сохранении качества аудио. Для работы также требуются веса токенизатора S3TokenizerV2 из mlx-community/S3TokenizerV2, которые загружаются автоматически. Модель предназначена для преобразования текста в речь и запуска через библиотеку mlx-audio-plus на совместимой с MLX среде. В карточке указан английский язык. Данных о размере модели, длине контекста и конкретных настройках голоса в предоставленных источниках нет. Лицензия в источниках не указана.

Модель wsntxxn/cnn8rnn-laionclap-audiocapsv2-grounding предназначена для привязки текстовых описаний звуковых событий к аудиозаписи. Она принимает аудиофрагмент и текстовый запрос о звуковом событии и оценивает вероятность его присутствия с временным разрешением 40 мс. Модель обучена на расширенной версии AudioCaps v2; текстовый энкодер — замороженный RoBERTa из LAION-CLAP, поэтому значительную часть параметров составляет текстовый энкодер. Модель подходит для поиска заданных звуковых событий в аудио и определения их временных интервалов. В метаданных указаны архитектура Cnn8RnnLaionClapGroundingModel, библиотека Transformers и формат safetensors. Лицензия — Apache-2.0. Карточка указывает английский язык.

Confucius4-TTS GGUF — это конвертация модели Confucius4-TTS, разработанной NetEase Youdao, для нативного запуска в среде CrispASR. Модель предназначена для синтеза речи из текста и zero-shot клонирования голоса по референсной аудиозаписи, включая сценарии многоязычного TTS. Архитектура состоит из трёх этапов: GPT-2 для преобразования текста в семантические представления с кондиционированием диктора через ECAPA-TDNN и признаки w2v-BERT, flow-matching DiT+WaveNet для преобразования семантики в акустическое представление с использованием CAMPPlus и reference-mel prompt, а также вокодер BigVGAN с частотой дискретизации 22,05 кГц. Доступны языки zh, en, ja, ko, de, fr, es, it, pt, ru, vi, th, id и ms. Контекстная длина не указана. Преимущества модели — zero-shot клонирование голоса, многоязычность и наличие нескольких вариантов GGUF-квантизации. T2S-варианты имеют размер от 376 МБ до 1,27 ГБ, S2A — от 135 до 213 МБ; также доступен F16-вокодер размером 214 МБ. Ограничения, требования к производительности и подробности качества синтеза в README не указаны. Конвертация распространяется по лицензии Apache-2.0; используемые CAMPPlus и BigVGAN имеют отдельные указания об источниках и лицензиях, включая MIT для BigVGAN.

cstr/cosyvoice3-0.5b-2512-GGUF — GGUF-конверсия модели Fun-CosyVoice3-0.5B-2512, разработанной командой Alibaba FunAudioLLM. Это потоковая многоязычная система синтеза речи (TTS) с поддержкой zero-shot клонирования голоса, предназначенная для генерации речи из текста и работы через CrispASR с backend cosyvoice3-tts. Модель поддерживает китайский, английский, японский, корейский, кантонский, французский, немецкий, испанский, португальский, итальянский и русский языки, а также 18 китайских диалектов. Архитектура представляет собой трёхэтапный конвейер: языковая модель CosyVoice3LM на базе Qwen2-0.5B с авторегрессионной головой речевых токенов, потоковый Flow-модуль на базе DiT и CausalConditionalCFM, а также вокодер CausalHiFTGenerator на основе HiFi-GAN, NSF и iSTFT. Выходной сигнал — монофонический PCM с частотой 24 кГц. Доступны варианты GGUF с точностью F16, а также квантованные версии Q4_K и Q8_0. Минимальная рабочая конфигурация из LLM Q4_K, Flow Q8_0, HiFT F16 и банка голосов занимает около 745 МБ; эталонная конфигурация F16 — около 1,96 ГБ. В комплект входят предзаписанные многоязычные голоса и отдельные компоненты для клонирования по произвольному WAV-файлу. Квантование Q4_K сохраняет содержание речи, но может вызывать небольшие изменения пунктуационной интонации. Модель распространяется по лицензии Apache-2.0. Для клонирования голоса и использования аудиоматериалов необходимо иметь соответствующие права; это особенно важно при работе с пользовательскими голосовыми образцами.

Карточка модели suliniacats/dots.tts-soar на Hugging Face совпадает с карточкой dots-studio/dots.tts-soar, поэтому описание составлено по ней. dots.tts-soar — модель синтеза речи от dots-studio, представляющая собой дообученную версию dots.tts-base с этапом Self-corrective Alignment. Это авторегрессионная система на 2 млрд параметров, которая напрямую обрабатывает текст в BPE-токенах и генерирует непрерывные аудиолатенты с помощью flow-matching-головы, затем декодируемые в монозвук с частотой 48 кГц. В архитектуре используются семантический энкодер, LLM на базе Qwen2.5-1.5B-Base и CAM++ speaker x-vector для сохранения характеристик голоса. Модель предназначена для многоязычного синтеза речи и клонирования голоса по образцу, в том числе в производственных сценариях с авторизованным использованием. SCA улучшает соответствие текста и тембра, а в карточке заявлены высокие результаты сходства голосов на приведённых бенчмарках. Поддерживаются zero-shot-сценарии без отдельного дообучения под голос. На малоресурсных и отличающихся письменностью языках, включая арабский, хинди, турецкий и вьетнамский, точность распознавания текста в речи ниже, чем для более обеспеченных данными языков. Модель не предназначена для пения или совместной генерации речи и звуковых эффектов. Высокая реалистичность клонирования голоса создаёт риск злоупотреблений; README рекомендует использовать только авторизованные образцы и помечать синтетическое аудио. Лицензия — Apache-2.0.

cstr/f5-tts-GGUF — конверсия модели F5-TTS v1 Base в формат GGUF для запуска в CrispASR. Веса представлены в F16, а критические компоненты — AdaLN, RoPE и временное встраивание — в F32. Архитектура включает 22-слойный Diffusion Transformer с 330 млн параметров, символьный ConvNeXtV2-энкодер текста и вокодер Vocos с 13 млн параметров; файл модели содержит DiT и Vocos. Модель синтезирует монофоническое аудио PCM с частотой 24 кГц и поддерживает клонирование голоса по эталонной записи длительностью 3–15 секунд вместе с её текстовой расшифровкой. Она предназначена для генерации речи из текста и zero-shot-клонирования голоса в среде CrispASR. Карточка указывает английский и китайский языки. Автор рекомендует F16: более сильная квантизация может накапливать ошибки в ходе итеративного ODE-синтеза и приводить к неразборчивой речи. Лицензия репозитория — CC-BY-NC-4.0; исходная модель SWivid/F5-TTS указана в README под лицензией MIT.

Это конвертированная в формат safetensors версия весов Fish Speech v1.5, подготовленная jkeisling для работы с fish-speech.rs и экосистемой Hugging Face. Модель использует архитектуру DualAR и предназначена для синтеза речи по тексту на нескольких языках. Fish Speech v1.5 обучена более чем на миллионе часов аудиоданных. Поддерживаются китайский, английский, японский, немецкий, французский, испанский, корейский, арабский, русский, нидерландский, итальянский, польский и португальский языки. Репозиторий упрощает загрузку весов и токенизатора, но эти веса несовместимы с официальным кодом инференса Fish Speech; VQGAN взят из версии 1.4. Лицензия CC BY-NC-SA 4.0 запрещает коммерческое использование.

Это экспорт модели FunAudioLLM Fun-CosyVoice3-0.5B-2512 в формат GGUF для движка loom.cpp. В составе — языковая модель Qwen2-0.5B для речевых токенов, flow-matching DiT и вокодер HiFT; модель сама кодирует входной текст и синтезирует речь с частотой 24 кГц на девяти языках: китайском, английском, японском, корейском, немецком, испанском, французском, итальянском и русском. Репозиторий содержит неизменённые веса базовой модели, упакованные в GGUF для использования через loom-py-rt. Модель предназначена для преобразования текста в речь, в том числе для многоязычной озвучки и клонирования голоса по короткому аудиообразцу. В поставке есть один встроенный голос на основе образца речи на мандаринском диалекте; для других голосов нужно отдельно подготовить голосовой файл с помощью двух ONNX-моделей и Python. Синтез случайный, но его можно воспроизводить с заданным seed. Лицензия — Apache-2.0.

Higgs TTS 2 — базовая аудиомодель Boson AI для генерации речи по тексту. Модель построена на Llama 3.2 3B и использует аудиоадаптер DualFFN; в README указано 3,6 млрд параметров языковой модели и 2,2 млрд параметров адаптера, а метаданные Hugging Face указывают общий размер 3,2 млрд параметров. Архитектура семейства Higgs Audio V2, формат весов — safetensors, библиотека — Transformers; длина контекста — 2048 токенов. Модель предназначена для выразительного синтеза речи, в том числе с адаптацией просодии и эмоций, клонированием голоса по образцу и генерацией многоязычных диалогов с несколькими говорящими. README также описывает напевание мелодий клонированным голосом и совместную генерацию речи с фоновой музыкой. В карточке указаны английский, китайский, немецкий и корейский языки; модель обучалась на аудиоданных, охватывающих речь, музыку и звуковые события. README сообщает о сильных результатах на тестах синтеза речи и эмоциональной выразительности, но приведённые оценки получены на конкретных бенчмарках и не гарантируют качество в каждом сценарии. Модель не проходила постобучение или дообучение, а лицензия обозначена как other, поэтому условия использования следует сверять с лицензией и условиями репозитория Boson AI.

Irodori-TTS-v4.1-Small-8bit — японская модель синтеза речи из текста, опубликованная mlx-community как версия в формате MLX, преобразованная из Aratako/Irodori-TTS-v4.1-Small. Она построена на архитектуре Irodori-TTS и предназначена для озвучивания текста, клонирования голоса по референсному аудио и генерации голоса по текстовому описанию (VoiceDesign). В чекпойнт включены текстовый энкодер ModernBERT-ja-310m с токенизатором и японский аудиокодек Semantic-DACVAE-Japanese-32dim; для инференса дополнительные загрузки не нужны. Модель принимает референсное аудио длительностью до 120 секунд, а предсказатель длительности автоматически оценивает длительность синтеза. Веса квантизированы до 8 бит с размером группы 64 через mlx.nn.quantize; предсказания длительности отличаются от модели fp16 не более чем на один кадр (40 мс). Версия v4.1 обновляет предсказатель длительности, обученный отдельно при замороженных остальных параметрах; остальные 683 из 714 тензоров совпадают с v4. Для коротких запросов только с описанием голоса модель может переоценивать длительность и повторять текст; можно передать референсное аудио или задать duration_scale либо seconds. Использование рассчитано на mlx-audio. Сведения о лицензии в предоставленных материалах отсутствуют.

Карточка модели erenyeager-1/Kokoro-82M на Hugging Face совпадает с карточкой hexgrad/Kokoro-82M, поэтому описание составлено по ней. Kokoro-82M — открытая модель синтеза речи, разработанная и обученная участниками проекта Kokoro. Модель содержит 82 млн параметров и основана на архитектурах StyleTTS 2 и ISTFTNet; для генерации речи она использует текст и фонемные представления. В README указано, что модель компактна, работает быстрее и дешевле многих более крупных систем и при этом обеспечивает сопоставимое качество. Модель предназначена для преобразования текста в аудио, включая локальное использование, интеграцию в приложения и коммерческие сервисы. В версии 1.0 заявлены 8 языков и 54 голоса; метаданные подтверждают английский язык. README описывает обучение на нескольких сотнях часов аудио и IPA-разметке. Веса распространяются по лицензии Apache-2.0, что допускает коммерческое применение при соблюдении условий лицензии.

Карточка модели Jamestown34854/Kokoro-82M на Hugging Face совпадает с карточкой hexgrad/Kokoro-82M, поэтому описание составлено по ней. Kokoro-82M — открытая модель синтеза речи, разработанная и обученная участниками проекта Kokoro. Модель содержит 82 млн параметров и основана на архитектурах StyleTTS 2 и ISTFTNet; для генерации речи она использует текст и фонемные представления. В README указано, что модель компактна, работает быстрее и дешевле многих более крупных систем и при этом обеспечивает сопоставимое качество. Модель предназначена для преобразования текста в аудио, включая локальное использование, интеграцию в приложения и коммерческие сервисы. В версии 1.0 заявлены 8 языков и 54 голоса; метаданные подтверждают английский язык. README описывает обучение на нескольких сотнях часов аудио и IPA-разметке. Веса распространяются по лицензии Apache-2.0, что допускает коммерческое применение при соблюдении условий лицензии.

Marvis-TTS-100M-v0.2 — компактная модель синтеза речи от Marvis-AI на архитектуре Sesame CSM-1B. Она преобразует текст в речь и предназначена для потоковой генерации с низкой задержкой на устройствах, включая iPhone, iPad и Mac с Apple Silicon. Модель обрабатывает текст целиком, что помогает сохранять связность речи и естественную интонацию, и поддерживает работу с чередующимися текстовыми и аудиотокенами. В карточке указаны 123,7 млн параметров и контекст 2048 токенов; архитектура включает мультимодальный трансформер и аудиодекодер. Поддерживаются английский, французский и немецкий языки, также заявлено клонирование голоса по аудиопримеру. Модель распространяется по лицензии Apache-2.0. Для клонирования голосов необходимы соответствующие разрешения; качество и скорость на конкретном устройстве зависят от среды запуска.

MeloTTS-Spanish — испанская версия многоязычной системы синтеза речи, разработанной MyShell.ai. Она преобразует текст в аудио и предназначена для озвучивания испаноязычных текстов; семейство MeloTTS также рассчитано на синтез речи на нескольких языках и поддерживает работу в реальном времени на CPU. Модель поставляется в формате PyTorch и распространяется по лицензии MIT. README отмечает высокое качество синтеза для семейства, но не приводит отдельных оценок качества испанской версии, сведений о голосах или размере модели.

MiniMax Music 3 — модель генерации песен от MiniMaxAI. Она принимает текст песни и описание музыки, чтобы создавать цельные композиции продолжительностью до пяти минут с вокалом, развивающейся аранжировкой и структурой из куплетов, припевов, переходов и других секций. Текстовые метки секций и подробное описание стиля позволяют задавать жанр, темп, тональность, вокальную подачу, инструменты и развитие звучания. Архитектура сочетает 8B Global LLM для долгосрочной структуры, 0.6B Local LLM для акустических деталей и модуль синтеза на основе Flow Matching и Flow-VAE. Global LLM инициализирована из Qwen3-8B. Модель выдаёт стереозвук WAV с частотой 32 кГц и разрядностью 16 бит. Модель подходит для создания песенных демо, музыкальных эскизов и композиций по заданным словам и стилю. Описание и секционные метки дают генеративный контроль, но не гарантируют точного соблюдения текста, темпа, тональности, инструментов или структуры. Генерация требует CUDA, поддерживается только в не потоковом режиме; длина текстового запроса ограничена 5 000 токенами, а генерация — 9 000 акустическими кадрами. Лицензия в предоставленных данных не указана.

MOSS-TTS-v1.5 — многоязычная модель синтеза речи, разработанная командой OpenMOSS-Team и продолжающая MOSS-TTS 1.0. Это плотная модель семейства moss_tts_delay; веса опубликованы в формате safetensors. Модель принимает текст и генерирует речь, поддерживает клонирование голоса по аудиореференсу, длинные высказывания, управление длительностью на уровне токенов, произношением через Pinyin и IPA, переключение языков и вставку пауз с помощью текстовых маркеров. Версия 1.5 улучшает синтез при явном указании языка, стабильность сходства голоса при клонировании и следование пунктуационным паузам; также она надёжнее работает, когда аудиореференс значительно длиннее целевого текста. Поддерживается 31 язык, включая китайский, кантонский, английский, русский, японский, арабский и ряд европейских и азиатских языков. Модель лицензирована по Apache-2.0. Для запуска README рекомендует Transformers 5.0.0; доступность и качество могут различаться по языкам, а без языкового тега некоторые языки могут звучать хуже, чем в версии 1.0.

Это ResNet-подобная модель SpeechBrain для подавления шума в речи. Её обучали на Voicebank и DEMAND с использованием mimic loss: сначала обучается перцептивная модель на чистой речи, затем модель улучшения речи, а после этого ASR-модель на базе, предварительно обученной на LibriSpeech, дообучается с фронтендом улучшения речи. Модель улучшения и ASR-компонент можно использовать вместе или по отдельности. Модель предназначена для улучшения зашумлённой английской речи и повышения устойчивости распознавания речи. В карточке приведены показатели PESQ 3,05, COVL 3,74 и WER 2,80 на тесте; результаты на других наборах данных не гарантируются. Репозиторий содержит веса PyTorch и работает с SpeechBrain 0.5.12. Лицензия — Apache-2.0.

Scicom International разработала Multilingual-TTS-1.7B-Base как продолжение предобучения Qwen/Qwen3-1.7B-Base на данных синтеза речи и преобразования голоса. Это плотная авторегрессионная модель семейства Qwen3 с 1,9 млрд параметров; для работы с речевыми токенами используется NeuCodec, который декодирует речь с частотой 50 токенов в секунду и частотой дискретизации 24 кГц. В README заявлены многоязычный синтез речи с выбором диктора и клонирование голоса, а также обучение на корпусах более чем для 150 языков. Модель рассчитана на генерацию речевого представления по тексту и на клонирование голоса по примеру. В метаданных Hugging Face задача обозначена как text-generation, поэтому для непосредственного получения аудио требуется совместимое декодирование NeuCodec; приведённые в README примеры демонстрируют аудиовыход. Модель поддерживает контекст до 32 768 токенов по метаданным; README отдельно упоминает настройку обучения с контекстом 10 000 токенов. В README не приведены результаты бенчмарков, поэтому качество для конкретных языков и голосов оценить по имеющимся данным нельзя. Модель основана на Qwen/Qwen3-1.7B-Base и обучена на наборах Multilingual-TTS, Emilia-YODAS-Voice-Conversion и Malaysian-Emilia. Лицензия в предоставленных данных не указана.

OpenAudio S1 — многоязычная модель синтеза речи от разработчиков проекта Fish Speech. Репозиторий описывает семейство из полной версии S1 размером 4B и дистиллированной S1-mini размером 0,5B; в метаданных для этой модели указаны архитектура dual_ar, плотная архитектура и формат PyTorch. Обе версии обучались с применением RLHF. Модель преобразует текст в речь на китайском, английском, немецком, японском, французском, испанском, корейском, арабском, нидерландском, русском, итальянском, польском и португальском языках. Она поддерживает маркеры эмоций, интонации и некоторых звуковых проявлений, например смеха, шёпота и плача, чтобы управлять выразительностью синтеза. В README приведены результаты Seed TTS Eval для английского языка, но они не гарантируют аналогичного качества для всех языков и сценариев. Для использования весов применяется лицензия CC BY-NC-SA 4.0, которая ограничивает коммерческое использование и предусматривает условия атрибуции и распространения производных материалов.