I.9Аудио и музыка

Это преобразованная в формат Vokra GGUF модель синтеза речи kokoro-82m-stacked. Веса взяты из upstream-модели hexgrad/Kokoro-82M; Vokra упаковывает их для прямого отображения в память и использования в своём inference runtime. Архитектура указана как kokoro-82m-istftnet. Модель предназначена для преобразования текста в речь. Для текстового ввода требуется предварительная обработка G2P; конкретный фронтенд зависит от ожидаемого моделью голоса. Репозиторий содержит файл GGUF размером 338,8 МБ. Модель распространяется по лицензии Apache-2.0.

Kokoro-82M-v1.1-zh — компактная модель синтеза речи из серии Kokoro, обученная Hexgrad на базе hexgrad/Kokoro-82M. Короткий дополнительный этап обучения добавил данные более чем о 100 китайских дикторах из профессионального набора и три часа синтетических английских записей. Модель содержит 82 млн параметров и построена на архитектуре StyleTTS 2 с ISTFTNet; это декодер без диффузии. Модель предназначена для преобразования текста в речь на китайском и английском языках, в том числе с выбором голоса из доступных. В README указано 103 голоса и приведены примеры генерации аудио с частотой 24 кГц. Выпуск опубликован для сбора отзывов о новых голосах и токенизации и не является безусловным улучшением предыдущей версии: часть прежних голосов в нём отсутствует. Модель распространяется по лицензии Apache 2.0. Карточка описывает ограниченный состав обучающих данных и ранний выпуск; качество и покрытие отдельных голосов могут отличаться.

Koko-TTS — компактная модель синтеза речи, описанная в карточке как разработанная для быстрого синтеза с высоким качеством. Она содержит около 24,6 млн параметров и использует flow-matching: RoPE-based Transformer кодирует текст, свёрточный предсказатель длительностей учитывает эмбеддинги говорящего, а декодер построен на Matcha-style 1D U-Net. Для преобразования мел-спектрограмм в звук используется нейровокодер Vocos с частотой дискретизации 24 кГц. Модель предназначена для преобразования текста в речь в реальном времени и поддерживает несколько идентификаторов говорящих; примеры карточки и данные LibriTTS-R указывают на англоязычное применение. Карточка также описывает настройку на собственных наборах аудиоданных. Ограничения по лицензии не заявлены: модель распространяется по Apache-2.0. Карточка не приводит результатов сравнительной оценки качества или скорости.

KugelAudio-0-Open GGUF — набор GGUF-конверсий модели KugelAudio-0-Open для синтеза речи, предназначенный для использования с CrispASR. Исходная модель основана на архитектуре Microsoft VibeVoice и сочетает авторегрессионную генерацию с диффузионной обработкой. README не указывает конкретную организацию или команду разработчиков исходной модели; указано лишь, что конверсии выполнены для проекта CrispASR. Модель предназначена для преобразования текста в речь на 23 языках, включая английский, немецкий, французский, испанский, итальянский, русский, украинский, польский, греческий, турецкий и другие. Архитектура включает языковую модель Qwen2.5-7B примерно на 7 млрд параметров, четырёхслойную DiT diffusion head, acoustic connector и acoustic VAE decoder. Генерация выполняется с использованием 20 шагов SDE-DPMSolver++, а результатом является монофонический PCM-аудиосигнал с частотой дискретизации 24 кГц. Доступны вариант F16 размером 16,1 ГБ и 4-битный вариант Q4_K размером 5,3 ГБ, что позволяет выбирать между максимальной точностью и меньшими требованиями к памяти. Обе версии предназначены только для инференса и не содержат энкодеров, поэтому поддержка клонирования голоса из необработанного аудио отсутствует; открытый релиз поддерживает только предварительно закодированные голоса. Обучающие данные не раскрыты. Модель распространяется по лицензии MIT.

Карточка модели afifaimran/menochat-omnivoice-full-ref01 на Hugging Face совпадает с карточкой maanka2/OmniVoice, поэтому описание составлено по ней. OmniVoice — многоязычная модель синтеза речи с нулевым обучением, разработанная для генерации речи по тексту на более чем 600 языках. Согласно карточке, она построена на архитектуре в стиле диффузионной языковой модели и дообучена на Qwen/Qwen3-0.6B. Модель поддерживает клонирование голоса по короткому аудиопримеру и создание голоса по атрибутам, включая пол, возраст, высоту голоса и акцент. OmniVoice подходит для озвучивания текста, создания голосовых вариантов и управляемой генерации речи. Она поддерживает невербальные вставки, например смех, и коррекцию произношения с помощью пиньиня или фонем. В README заявлены скорость до 40 раз выше реального времени и высокая точность клонирования; это характеристики из карточки разработчика, а не независимая оценка. Модель распространяется по лицензии Apache-2.0. Разработчики запрещают несанкционированное клонирование и имитацию голоса, а также мошенническое и незаконное использование.

Ming-omni-tts-0.5B — модель синтеза речи и аудио от InclusionAI. Она принимает текст и инструкции на естественном языке и генерирует речь с управляемыми темпом, высотой, громкостью, эмоцией и диалектом. Также модель поддерживает подбор голоса по описанию, более 100 встроенных голосов и генерацию речи, фоновых звуков и музыки в одном аудиоканале. Модель использует плотную архитектуру BailingMMNativeForConditionalGeneration, непрерывный аудиотокенизатор с частотой 12,5 Гц и стратегию Patch-by-Patch; размер в названии модели — 0,5 млрд параметров. В README описаны возможности для китайской речи, включая управление кантонским диалектом, а также нормализация математических выражений и химических формул. Модель распространяется по лицензии Apache-2.0. Заявленные в карточке оценки относятся к указанным разработчиком бенчмаркам и не гарантируют аналогичного качества на произвольных данных. README приводит пример запуска через репозиторий проекта, но не описывает подробно требования к оборудованию или полный интерфейс управления генерацией.

Карточка модели inclusionAI/Ming-omni-tts-tokenizer-12Hz на Hugging Face совпадает с карточкой inclusionAI/Ming-omni-tts-0.5B, поэтому описание составлено по ней. Ming-omni-tts-0.5B — модель синтеза речи и аудио от InclusionAI. Она принимает текст и инструкции на естественном языке и генерирует речь с управляемыми темпом, высотой, громкостью, эмоцией и диалектом. Также модель поддерживает подбор голоса по описанию, более 100 встроенных голосов и генерацию речи, фоновых звуков и музыки в одном аудиоканале. Модель использует плотную архитектуру BailingMMNativeForConditionalGeneration, непрерывный аудиотокенизатор с частотой 12,5 Гц и стратегию Patch-by-Patch; размер в названии модели — 0,5 млрд параметров. В README описаны возможности для китайской речи, включая управление кантонским диалектом, а также нормализация математических выражений и химических формул. Модель распространяется по лицензии Apache-2.0. Заявленные в карточке оценки относятся к указанным разработчиком бенчмаркам и не гарантируют аналогичного качества на произвольных данных. README приводит пример запуска через репозиторий проекта, но не описывает подробно требования к оборудованию или полный интерфейс управления генерацией.

MiniMax Music 3 — модель генерации музыки от MiniMax-AI, представленная в данном репозитории в виде GGUF-квантизаций. Она предназначена для синтеза полноценных структурно связных музыкальных произведений по текстовому описанию и тексту песни, включая вокальные и инструментальные композиции длительностью до 5 минут. Для работы предусмотрен пример интеграции с ComfyUI. Модель использует Diffusion Transformer (Flow Matching 2.4B DiT) и отдельный обрезанный текстовый и языковой энкодер, поддерживающий текстовое и аудиокодирование. Доступны варианты BF16, Q8_0, Q8_CR и Q4_0; объём файлов составляет примерно от 1,39 до 4,64 ГБ для DiT и от 5,38 до 8,93 ГБ для энкодера. Генерация выполняется в стерео с частотой 32 кГц. Текстовый промпт ограничен 5000 токенами, аудиогенерация — 9000 акустическими кадрами, а работа модели является не потоковой. Модель поддерживает управление через текст песни с секционными тегами и структурированное музыкальное описание: жанр, темп, тональность, настроение, вокальные характеристики, инструменты, аранжировку и пространственную атмосферу. Это позволяет задавать композицию, исполнение и развитие аранжировки, однако темп, тональность и синхронизация текста могут немного отклоняться от заданных параметров. Для использования требуется ComfyUI и узлы ComfyUI-GGUF. В README указана лицензия CreativeML Open RAIL-M.

mlx-Yue2-3B — адаптация YuE2-3B от M-A-P, подготовленная для запуска на Apple Silicon с библиотекой MLX. Модель предназначена для создания музыкальных композиций по текстовому запросу; базовая YuE2-3B создаёт песни с вокалом и аккомпанементом и поддерживает редактирование композиции через партитуру ABC. В составе — авторегрессионная модель планирования, неавторегрессионная модель акустического flow matching и декодер VAE Oobleck для аудио 48 кГц. Репозиторий содержит веса BF16 и 8-битный вариант авторегрессионной части; заявлено уменьшение её размера и ускорение генерации для 8-битной версии. Общий размер модели в метаданных — 1,8 млрд параметров, контекст — 24 576 токенов. Лицензия — Apache-2.0.

Карточка модели mingzhenkai/MOSS-TTS-v1.5 на Hugging Face совпадает с карточкой OpenMOSS-Team/MOSS-TTS-v1.5, поэтому описание составлено по ней. MOSS-TTS-v1.5 — многоязычная модель синтеза речи, разработанная командой OpenMOSS-Team и продолжающая MOSS-TTS 1.0. Это плотная модель семейства moss_tts_delay; веса опубликованы в формате safetensors. Модель принимает текст и генерирует речь, поддерживает клонирование голоса по аудиореференсу, длинные высказывания, управление длительностью на уровне токенов, произношением через Pinyin и IPA, переключение языков и вставку пауз с помощью текстовых маркеров. Версия 1.5 улучшает синтез при явном указании языка, стабильность сходства голоса при клонировании и следование пунктуационным паузам; также она надёжнее работает, когда аудиореференс значительно длиннее целевого текста. Поддерживается 31 язык, включая китайский, кантонский, английский, русский, японский, арабский и ряд европейских и азиатских языков. Модель лицензирована по Apache-2.0. Для запуска README рекомендует Transformers 5.0.0; доступность и качество могут различаться по языкам, а без языкового тега некоторые языки могут звучать хуже, чем в версии 1.0.

Карточка модели subhash131/MOSS-TTS-v1.5 на Hugging Face совпадает с карточкой OpenMOSS-Team/MOSS-TTS-v1.5, поэтому описание составлено по ней. MOSS-TTS-v1.5 — многоязычная модель синтеза речи, разработанная командой OpenMOSS-Team и продолжающая MOSS-TTS 1.0. Это плотная модель семейства moss_tts_delay; веса опубликованы в формате safetensors. Модель принимает текст и генерирует речь, поддерживает клонирование голоса по аудиореференсу, длинные высказывания, управление длительностью на уровне токенов, произношением через Pinyin и IPA, переключение языков и вставку пауз с помощью текстовых маркеров. Версия 1.5 улучшает синтез при явном указании языка, стабильность сходства голоса при клонировании и следование пунктуационным паузам; также она надёжнее работает, когда аудиореференс значительно длиннее целевого текста. Поддерживается 31 язык, включая китайский, кантонский, английский, русский, японский, арабский и ряд европейских и азиатских языков. Модель лицензирована по Apache-2.0. Для запуска README рекомендует Transformers 5.0.0; доступность и качество могут различаться по языкам, а без языкового тега некоторые языки могут звучать хуже, чем в версии 1.0.

facebook/musicgen-stereo-melody — стереофоническая модель MusicGen команды FAIR в Meta AI для генерации музыки по текстовым описаниям и аудиоподсказкам. Это авторегрессионный Transformer на 1,5 млрд параметров, дообученный 200 тысяч шагов от монофонической версии. Модель использует токенизатор EnCodec с частотой 32 кГц и формирует два чередующихся потока аудиотокенов для стереозвука. Модель подходит для создания музыкальных фрагментов по описанию или с опорой на мелодию из аудио. Она генерирует музыку без реалистичного вокала; качество зависит от жанра, культурного контекста и формулировки запроса. Обучение велось на англоязычных описаниях, поэтому запросы на других языках могут работать хуже; иногда генерация затихает до конца фрагмента, и для хорошего результата может понадобиться подбор запроса. Веса распространяются по лицензии CC-BY-NC 4.0, которая ограничивает коммерческое использование.

ylacombe/musicgen-stereo-melody — модель для генерации музыки и другого аудио по текстовому описанию с поддержкой мелодического условия. Модель опубликована пользователем ylacombe на Hugging Face и рассчитана на использование через библиотеку Transformers; метаданные классифицируют её как text-to-audio и связывают с семейством MusicGen Melody. Модель подходит для создания музыкальных набросков, фоновой музыки и звуковых композиций по заданному описанию, а также для преобразования текстовой идеи в аудиорезультат с опорой на мелодию. README содержит автоматически сгенерированную карточку и не предоставляет сведений о разработчике, архитектуре, размере, языках, длине контекста, обучающих данных, оценке или лицензии.

Neuvoice — модель синтеза речи, которую Lamapi адаптировала на основе Supertonic-3 и распространяет через библиотеку для локального запуска. Она принимает текст и создаёт аудиоволну; ONNX Runtime позволяет выполнять синтез на CPU, а при наличии подходящего оборудования — с ускорением на GPU. После загрузки файлов модели облачное подключение для синтеза не требуется. Модель поддерживает 31 язык, включая турецкий, английский, французский, японский, корейский и арабский. Доступны разные голосовые стили, встроенные теги для управления выразительностью и автоматическое разбиение длинного текста на фрагменты с последующей сборкой речи. README указывает, что увеличение числа шагов обработки может улучшить качество ценой скорости. Модель предназначена для локального озвучивания текста, в том числе длинных материалов и многоязычных сценариев. Лицензия репозитория — OpenRAIL; конкретные условия использования следует сверять с её текстом.

OmniVoice — многоязычная модель синтеза речи с нулевым обучением, разработанная для генерации речи по тексту на более чем 600 языках. Согласно карточке, она построена на архитектуре в стиле диффузионной языковой модели и дообучена на Qwen/Qwen3-0.6B. Модель поддерживает клонирование голоса по короткому аудиопримеру и создание голоса по атрибутам, включая пол, возраст, высоту голоса и акцент. OmniVoice подходит для озвучивания текста, создания голосовых вариантов и управляемой генерации речи. Она поддерживает невербальные вставки, например смех, и коррекцию произношения с помощью пиньиня или фонем. В README заявлены скорость до 40 раз выше реального времени и высокая точность клонирования; это характеристики из карточки разработчика, а не независимая оценка. Модель распространяется по лицензии Apache-2.0. Разработчики запрещают несанкционированное клонирование и имитацию голоса, а также мошенническое и незаконное использование.

OmniVoice — многоязычная модель синтеза речи, разработанная авторами проекта OmniVoice. Она основана на Qwen3-0.6B и использует архитектуру в стиле диффузионной языковой модели. Модель преобразует текст в речь, поддерживает более 600 языков, клонирование голоса по короткому аудиофрагменту и создание голоса с заданными характеристиками: например, полом, возрастом, высотой тона и акцентом. Модель предназначена для озвучивания текста, голосового дизайна и управляемой генерации речи. Она поддерживает невербальные вставки, такие как смех, и коррекцию произношения с помощью пиньиня или фонем. В карточке заявлена скорость генерации до 40 раз выше реального времени. Репозиторий содержит веса в форматах ONNX и safetensors; лицензия — Apache-2.0. Авторы указывают, что проект предназначен для академических исследований, и запрещают несанкционированное клонирование и имитацию голоса.

OmniVoice FP16 — конвертированная в формат FP16 версия многоязычной модели OmniVoice для вывода на PyTorch, подготовленная Kawshik Kumar Paul. Модель преобразует текст в речь и поддерживает синтез с клонированием голоса и настройкой его характеристик. Она предназначена для генерации речи по тексту, в том числе с заданным голосом или его характеристиками. Для работы используется библиотека omnivoice; README рекомендует GPU, поскольку вывод на CPU может быть медленным. Модель доступна под лицензией CC BY-NC 4.0, которая запрещает коммерческое использование.

Карточка модели hoanglinhn0/OmniVoice_k2 на Hugging Face совпадает с карточкой k2-fsa/OmniVoice, поэтому описание составлено по ней. OmniVoice — многоязычная модель синтеза речи от команды k2-fsa, дообученная на базе Qwen/Qwen3-0.6B. Она использует архитектуру в стиле диффузионной языковой модели и предназначена для преобразования текста в речь, клонирования голоса по короткому аудиореференсу и создания голоса по заданным атрибутам. Модель заявлена для более чем 600 языков. Она поддерживает управление характеристиками голоса, включая пол, возраст, высоту тона, диалект и акцент, а также генерацию невербальных звуков по маркерам и коррекцию произношения с помощью пиньиня или фонем. В README заявлена скорость генерации до 40 раз выше реального времени. OmniVoice подходит для озвучивания текста, создания голосовых прототипов и генерации речи с заданным звучанием. Клонирование голоса допускается только при наличии соответствующих прав и согласия: разработчики запрещают несанкционированное подражание голосу, мошенничество и незаконное или неэтичное использование. Лицензия в предоставленных материалах не указана.

plapre-nano-v2 — разработанная Syv AI датская многофункциональная модель синтеза речи на архитектуре LlamaForCausalLM. Модель содержит 334,9 млн параметров и авторегрессионно преобразует датский BPE-текст в аудиотокены Kanade с частотой 25 Гц, которые декодируются в речь 24 кГц. Контекст модели — 8192 токена; веса доступны в формате safetensors для Transformers. Модель предназначена для озвучивания датского текста выбранным голосом и редактирования записи: можно заменить, вставить или удалить произнесённые слова, перегенерируя только отмеченный фрагмент. При синтезе доступны клонирование голоса по аудиореференсу и расшифровке, продолжение интонации и темпа предыдущей реплики, управление скоростью речи и произношением. Обучение проводилось на датских речевых сегментах из одного речевого домена; автор рекомендует работать в fp32, использовать комплектный токенизатор и проверять результаты распознаванием речи, поскольку возможны ошибки произношения и артефакты. Модель является дообучением syvai/plapre-nano. Лицензия — Creative Commons Attribution 4.0 (CC BY 4.0), требующая указания авторства.

aufklarer/Qwen3-ForcedAligner-0.6B-8bit — 8-битная версия Qwen3-ForcedAligner-0.6B, подготовленная для инференса через MLX на компьютерах Apple Silicon. Модель принимает аудио и соответствующий текст и за один проход без авторегрессивной генерации определяет временные метки слов. В README также описаны аудиоэнкодер на 24 слоях и текстовый декодер на 28 слоях; декодер квантизирован до 8 бит с размером группы 64. Модель предназначена для синхронизации расшифровки с речью, например для разметки субтитров и подготовки временных меток слов. В метаданных перечислены английский, китайский, японский, корейский, немецкий, французский, испанский, итальянский и русский языки. Модель распространяется по лицензии Apache-2.0. Для работы требуется аудиозапись и текст; точность и ограничения в доступной карточке не описаны.

Карточка модели Jinstudio/Qwen3-TTS-12Hz-0.6B-CustomVoice на Hugging Face совпадает с карточкой Qwen/Qwen3-TTS-12Hz-0.6B-CustomVoice, поэтому описание составлено по ней. Qwen3-TTS-12Hz-0.6B-CustomVoice — многоязычная модель синтеза речи, разработанная командой Qwen. Это вариант CustomVoice с архитектурой Qwen3TTSForConditionalGeneration и токенизатором 12 Hz; модель поддерживает девять голосовых тембров и позволяет управлять интонацией, ритмом и эмоциональной окраской с помощью инструкций на естественном языке. Модель преобразует текст в речь на китайском, английском, японском, корейском, немецком, французском, русском, португальском, испанском и итальянском языках. Она рассчитана на потоковую генерацию с низкой задержкой; в README заявлена задержка синтеза от 97 мс. Для наилучшего звучания рекомендуется использовать голос на его родном языке. Модель распространяется в формате safetensors по лицензии Apache-2.0. Карточка не приводит число параметров этого чекпойнта; обозначение 0.6B входит в его название.

Карточка модели Jinstudio/Qwen3-TTS-12Hz-1.7B-VoiceDesign на Hugging Face совпадает с карточкой Qwen/Qwen3-TTS-12Hz-1.7B-VoiceDesign, поэтому описание составлено по ней. Qwen3-TTS-12Hz-1.7B-VoiceDesign — модель синтеза речи, разработанная командой Qwen. Она принимает текст и инструкции на естественном языке для создания речи с заданными тембром, эмоцией и просодией; вариант VoiceDesign предназначен для гибкого описания желаемого голоса. Модель относится к семейству Qwen3-TTS, использует плотную архитектуру Qwen3TTSForConditionalGeneration и представление речи на основе токенизатора Qwen3-TTS-Tokenizer-12Hz с дискретной многокодовой языковой моделью. Репозиторий содержит веса safetensors; для работы предусмотрена библиотека qwen-tts. Семейство поддерживает китайский, английский, японский, корейский, немецкий, французский, русский, португальский, испанский и итальянский языки, а также голосовые профили с различными диалектами. Для семейства заявлена потоковая генерация с задержкой синтеза от 97 мс. Карточка приводит оценку WER для варианта Base, поэтому она не подтверждает качество именно VoiceDesign. Модель распространяется по лицензии Apache-2.0.

Qwen3-TTS-12Hz-1.7B-VoiceDesign — модель синтеза речи, разработанная командой Qwen. Она принимает текст и инструкции на естественном языке для создания речи с заданными тембром, эмоцией и просодией; вариант VoiceDesign предназначен для гибкого описания желаемого голоса. Модель относится к семейству Qwen3-TTS, использует плотную архитектуру Qwen3TTSForConditionalGeneration и представление речи на основе токенизатора Qwen3-TTS-Tokenizer-12Hz с дискретной многокодовой языковой моделью. Репозиторий содержит веса safetensors; для работы предусмотрена библиотека qwen-tts. Семейство поддерживает китайский, английский, японский, корейский, немецкий, французский, русский, португальский, испанский и итальянский языки, а также голосовые профили с различными диалектами. Для семейства заявлена потоковая генерация с задержкой синтеза от 97 мс. Карточка приводит оценку WER для варианта Base, поэтому она не подтверждает качество именно VoiceDesign. Модель распространяется по лицензии Apache-2.0.

SpeechT5 TTS — модель синтеза речи, разработанная Junyi Ao и соавторами и опубликованная Microsoft в репозитории SpeechT5. Эта версия дообучена для преобразования текста в речь на датасете LibriTTS и предназначена для локального запуска через библиотеку Transformers. SpeechT5 использует общую архитектуру encoder-decoder с отдельными компонентами для обработки текста и речи. Исходная платформа SpeechT5 создана для разных задач обработки речи, однако этот чекпойнт рассчитан на синтез речи. Данные не определяют языковую поддержку этой версии, поэтому конкретный язык синтеза установить нельзя. Модель распространяется по лицензии MIT. Карточка не приводит оценок качества, параметров, ограничений или результатов тестирования; пригодность синтеза для конкретного языка и сценария следует проверять отдельно.

Avitas8485/speecht5_tts_commonvoice_en_03 — модель синтеза речи на базе SpeechT5, дообученная на наборе LJSpeech. Она преобразует английский текст в речь; в метаданных указана архитектура SpeechT5ForTextToSpeech и форматы весов PyTorch и safetensors. На оценочной выборке указана функция потерь 0,3842. Модель выпущена под лицензией MIT.

Карточка модели emglab-ai/vocence-emg-1 на Hugging Face совпадает с карточкой Qwen/Qwen3-TTS-12Hz-1.7B-VoiceDesign, поэтому описание составлено по ней. Qwen3-TTS-12Hz-1.7B-VoiceDesign — модель синтеза речи, разработанная командой Qwen. Она принимает текст и инструкции на естественном языке для создания речи с заданными тембром, эмоцией и просодией; вариант VoiceDesign предназначен для гибкого описания желаемого голоса. Модель относится к семейству Qwen3-TTS, использует плотную архитектуру Qwen3TTSForConditionalGeneration и представление речи на основе токенизатора Qwen3-TTS-Tokenizer-12Hz с дискретной многокодовой языковой моделью. Репозиторий содержит веса safetensors; для работы предусмотрена библиотека qwen-tts. Семейство поддерживает китайский, английский, японский, корейский, немецкий, французский, русский, португальский, испанский и итальянский языки, а также голосовые профили с различными диалектами. Для семейства заявлена потоковая генерация с задержкой синтеза от 97 мс. Карточка приводит оценку WER для варианта Base, поэтому она не подтверждает качество именно VoiceDesign. Модель распространяется по лицензии Apache-2.0.

mlr2000 выпустил VocBulwark HiFi-GAN — нейронный вокодер на базе генератора BigVGAN с архитектурой HiFi-GAN. Он преобразует логарифмическую мел-спектрограмму из 96 каналов в монофоническую аудиоволну с частотой 24 кГц, используя заранее рассчитанный эмбеддинг голоса размерностью 768 для управления тембром. Это компонент набора из шести репозиториев с отдельными моделями кодирования говорящего и обнаружения водяного знака. Вокодер предназначен для синтеза речи по акустическим признакам и эмбеддингу говорящего. Каждый созданный фрагмент автоматически получает фиксированный 50-битный водяной знак происхождения, который нельзя отключить или изменить через интерфейс модели. Для корректного управления голосом нужен эмбеддинг от энкодера говорящего, с которым обучали вокодер; несовместимый энкодер может нарушить это управление. Обучение проводилось на многоязычных наборах Multilingual LibriSpeech и Common Voice. Модель распространяется по лицензии CC BY 4.0.

Карточка модели sanaye/VoxCPM2 на Hugging Face совпадает с карточкой Tha456/VoxCPM2, поэтому описание составлено по ней. VoxCPM2 — модель синтеза речи, представленная в карточке Tha456. Это авторегрессионная диффузионная модель без токенизатора с архитектурой LocEnc → TSLM → RALM → LocDiT, основанной на MiniCPM-4. Размер модели — 2 млрд параметров; она использует AudioVAE V2 и генерирует речь с частотой 48 кГц. Модель предназначена для многоязычного преобразования текста в речь, создания голоса по текстовому описанию и клонирования голоса по короткому аудиофрагменту, в том числе с управлением стилем. По README поддерживает 30 языков, включая русский, и заявляет потоковую генерацию в реальном времени. Репозиторий использует формат safetensors и библиотеку voxcpm. Лицензия Apache-2.0 разрешает коммерческое использование. Качество Voice Design и управления стилем может меняться между запусками; результаты зависят от языка, а очень длинный или выразительный ввод иногда вызывает нестабильность. README запрещает использовать модель для имитации личности, мошенничества и дезинформации и рекомендует маркировать сгенерированную речь.

mlx-community выпустило 4-битную MLX-версию VoxCPM2 — многоязычной модели синтеза речи OpenBMB с плотной архитектурой и 2 млрд параметров. Модель преобразует текст в речь с частотой дискретизации 48 кГц и поддерживает 30 языков, включая английский, китайский, индонезийский, японский и корейский. Репозиторий предназначен для запуска через библиотеку mlx-audio на Apple Silicon. Модель поддерживает синтез речи без аудиореференса, продолжение аудио, клонирование голоса по короткому образцу и создание голоса по текстовому описанию. Квантизованы до 4 бит только слои LM; VAE и DiT оставлены в полной точности. По карточке, размер этой версии составляет 2,30 ГБ, а качество лишь минимально снижается относительно неквантизованной версии. Лицензия — Apache 2.0. README указывает, что 4-битная версия самая компактная и быстрая из приведённых вариантов; результаты производительности относятся к Apple Silicon и зависят от оборудования и режима генерации.

Карточка модели FrankLiuDundun/voxcpm-finetune-lora на Hugging Face совпадает с карточкой openbmb/VoxCPM2, поэтому описание составлено по ней. VoxCPM2 — разработанная OpenBMB многоязычная модель синтеза речи с 2 млрд параметров. Она использует безтокенизаторную диффузионную авторегрессионную архитектуру на основе MiniCPM-4: LocEnc, TSLM, RALM и LocDiT; для аудио применяется AudioVAE V2. Репозиторий содержит веса в формате safetensors, библиотека для работы — voxcpm. Лицензия Apache-2.0 разрешает коммерческое использование. Модель преобразует текст в речь на 30 языках, включая русский, английский и китайский, а также поддерживает перечисленные в карточке китайские диалекты. Она умеет создавать голос по текстовому описанию, клонировать голос по короткому аудиофрагменту с настройкой стиля и продолжать речь с использованием аудио и его расшифровки. Выходное аудио — 48 кГц; модель поддерживает потоковую генерацию и рассчитана на сценарии от озвучивания текста до управляемого синтеза речи. По заявлению карточки, модель показывает конкурентные результаты на бенчмарках синтеза речи и может работать в реальном времени на подходящем оборудовании. Качество зависит от языка и объёма доступных обучающих данных; результаты задания голоса и управления стилем могут различаться между запусками, а очень длинный или эмоционально насыщенный ввод иногда вызывает нестабильность. Карточка запрещает использовать модель для имитации личности, мошенничества и дезинформации и рекомендует маркировать сгенерированный контент.