I.9Аудио и музыка

Kokoro-82M-v1.0-ONNX-timestamped — компактная модель синтеза речи, представленная сообществом onnx-community на базе hexgrad/Kokoro-82M. Она преобразует текст в аудио и предназначена для локальной генерации речи в приложениях, голосовых интерфейсах, озвучке контента и прототипировании. Модель рассчитана на английский язык и поддерживает несколько американских мужских и женских голосов. Модель содержит около 82 миллионов параметров. Для работы используется ONNX Runtime; доступны варианты в форматах FP32, FP16, Q8, Q4 и других квантованных конфигурациях. Максимальная длина входного контекста составляет 512 токенов, при этом для специальных токенов рекомендуется оставлять запас, ограничивая последовательность 510 токенами. Выходной звук имеет частоту дискретизации 24 кГц. Для подготовки входа требуется преобразование текста в фонемы, например с помощью инструмента misaki. К сильным сторонам относятся небольшой размер, наличие квантованных вариантов, возможность локального запуска и выбор различных голосов. Ограничения включают заявленную поддержку только английского языка, необходимость отдельной фонематизации текста и ограничение длины входной последовательности; сведения о мультиязычности, клонировании голоса и расширенном управлении просодией не указаны. Модель распространяется по лицензии Apache-2.0.

Llasa-1B — система синтеза речи, разработанная командой HKUSTAudio. Она дообучена на базе meta-llama/Llama-3.2-1B-Instruct и расширяет языковую модель речевыми токенами из кодовой книги XCodec2 на 65 536 токенов. Модель содержит 1,4 млрд параметров и поддерживает контекст до 131 072 токенов. Llasa-1B предназначена для преобразования текста в речь на китайском и английском языках. Речь можно генерировать только по тексту или с использованием речевого промпта, который задаёт голосовой контекст. Для работы требуется XCodec2. Модель обучена на 250 000 часах китайской и английской речи. Она распространяется по лицензии CC BY-NC 4.0, запрещающей коммерческое использование.

drbaph/LongCat-AudioDiT-3.5B-fp8 — квантизированная версия модели LongCat-AudioDiT-3.5B от Meituan для синтеза речи. Это неавторегрессионная диффузионная архитектура AudioDiT, которая генерирует речь в пространстве латентных представлений волновой формы и поддерживает синтез по тексту, клонирование голоса по референсному аудио и диалоги с несколькими говорящими. В README заявлены zero-shot синтез и клонирование голоса; указаны результаты 0,818 SIM на Seed-ZH и 0,797 SIM на Seed-Hard. Линейные матрицы весов трансформера квантизированы методом weight-only FP8, а остальные перечисленные компоненты сохранены в bfloat16. По данным README, это сокращает размер файлов примерно вдвое и снижает использование видеопамяти; инференс предусмотрен через ComfyUI-LongCat-AudioDIT-TTS, а веса можно использовать и с исходным кодом инференса после деквантизации. В карточке указаны языки китайский и английский и лицензия MIT. Для запуска требуется GPU NVIDIA с CUDA; README приводит ориентир около 8 ГБ видеопамяти и рекомендует GPU с аппаратной поддержкой FP8 для полной скорости. Оценки качества и потребления памяти приведены в README разработчика модели и не являются независимой проверкой.

LuxTTS — компактная модель синтеза речи с клонированием голоса, основанная на ZipVoice. Она предназначена для генерации естественно звучащей речи по тексту и воспроизведения голоса по образцу. Модель использует вокодер с частотой дискретизации 48 кГц и, согласно карточке, достигает скорости свыше 150× реального времени на одном GPU, а также работает быстрее реального времени на CPU и помещается менее чем в 1 ГБ видеопамяти. В README указано, что модель дистиллирована до четырёх шагов и применяет улучшенный метод сэмплирования. Репозиторий содержит формат ONNX; лицензия — Apache-2.0. Карточка заявляет высокое качество клонирования голоса и речи, однако не приводит подробностей об обучающих данных, поддерживаемых голосах или оценках качества.

MeloTTS-Japanese — японская версия многоязычной системы синтеза речи MeloTTS, разработанной MyShell.ai. Она преобразует текст в речь и предназначена для озвучивания японских текстов. README описывает MeloTTS как высококачественную многоязычную библиотеку синтеза речи, способную работать в реальном времени на CPU; приведённый пример локального использования основан на Python-библиотеке MeloTTS. Модель опубликована в формате PyTorch под лицензией MIT. Метаданные указывают задачу text-to-speech и язык ko, тогда как идентификатор репозитория и назначение этой версии указывают на японский; сведения о языках в карточке противоречат друг другу. README не приводит точных параметров голоса, архитектуры, размера модели или длины контекста.

Milky Green (明前奶绿) SoVITS — модель преобразования вокала, построенная на подходе SoftVC VITS Singing Voice Conversion. Разработчик репозитория — sparanoid. Модель предназначена для конвертации пения в другой голос; варианты covers_ обучены на потоках с пением и рекомендованы автором, а vocals_ обучены на разговорной речи и не рекомендуются из-за недостаточной чистоты данных. Модель принимает и выдаёт аудио. В метаданных указаны китайский, английский и японский языки. Репозиторий содержит веса PyTorch и распространяется по лицензии MIT. Размер модели и длина контекста в доступных данных не указаны.

MioTTS-1.7B — модель синтеза речи на основе языковой архитектуры, разработанная Aratako и дообученная на базе Qwen/Qwen3-1.7B-Base. Она преобразует текст в аудио на английском и японском языках и поддерживает клонирование голоса по короткому аудиофрагменту. Модель содержит 1,7 млрд параметров, использует архитектуру Qwen3 и аудиокодек MioCodec-25Hz-24kHz; заявленная длина контекста — 32 768 токенов. Модель предназначена для генерации речи с низкой задержкой, в том числе на потребительских GPU и периферийных устройствах. Обучение проводилось примерно на 100 000 часах англоязычных и японских данных; в метаданных указаны датасеты HiFiTTS-2 и Emilia. Для работы с весами в формате safetensors используется Transformers. Лицензия — Apache 2.0. Клонирование голосов требует учитывать права и согласие людей; разработчики предостерегают от обманного использования синтезированной речи.

moss-nano-ptbr-4voices — дообученная Marcos Remar модель синтеза речи MOSS-TTS-Nano с 100 млн параметров. Она предназначена для генерации речи на бразильском португальском четырьмя голосами: тремя мужскими и одним женским. В режиме клонирования голоса можно передать аудиообразец нужного голоса. Модель основана на OpenMOSS-Team/MOSS-TTS-Nano-100M и доступна в формате PyTorch. В карточке приведены значения WER для четырёх голосов — от 0,03 до 0,10 по оценке Whisper-large-v3. Лицензия — Apache-2.0.

Это конверсия модели синтеза речи MOSS-TTS-Local-Transformer-v1.5 от OpenMOSS (MOSI.AI) для запуска на Apple Silicon через MLX. Модель содержит 4 млрд параметров, использует основу Qwen3 и локальный трансформер, который генерирует 12 RVQ-кодбуков на кадр. Веса bf16 не квантизированы и занимают около 8,5 ГБ; аудиотокенизатор MOSS-Audio-Tokenizer-v2 обеспечивает стереозвук с частотой 48 кГц. Модель предназначена для многоязычного синтеза речи, потоковой генерации и клонирования голоса по короткому аудиопримеру без отдельного дообучения. В метаданных перечислены китайский, английский, японский, корейский, немецкий, французский, испанский, итальянский, русский и португальский языки. Для работы на MLX используется библиотека mlx-audio; лицензия — Apache-2.0. Клонирование голоса зависит от предоставленного эталонного аудио, а генерация ограничена фиксированной глубиной в 12 RVQ-кодбуков. Полноточная конверсия требует около 8,5 ГБ памяти для весов; модель ориентирована на среду MLX и Apple Silicon.

MOSS-TTS-v1.5-GGUF — конвертированная в формат openmoss-ggml версия модели MOSS-TTS-v1.5, разработанной OpenMOSS-Team. Это модель синтеза речи с поддержкой zero-shot клонирования голоса, длинных текстов, управления длительностью на уровне токенов и паузами через конструкции вида [pause X.Ys]. Она предназначена для локального многоязычного синтеза речи и запускается через moss-tts-server на базе C++/GGML и libllama. В основе используется языковой backbone Qwen3-8B, квантованный в Q8_0, и кодек MOSS-Audio-Tokenizer с частотой 24 кГц. Модель поддерживает китайский, кантонский, английский, русский и ряд других языков, включая арабский, немецкий, испанский, французский, японский, корейский, португальский, турецкий и вьетнамский. Для работы обязательны два файла: основной GGUF размером около 8,7 ГБ и sidecar-файл extras.gguf размером около 3,9 ГБ; стандартный llama.cpp эту модель не запускает. На Apple Silicon для кодека требуется режим --aux-cpu. Распространяется по лицензии Apache-2.0; веса не переобучались, выполнены только конвертация формата и квантование backbone.

Это конвертированная в GGUF BF16-модель MOSS-VoiceGenerator от OpenMOSS, подготовленная для запуска в среде OpenMOSS на базе C++/GGML. Она синтезирует речь по тексту и описанию желаемого голоса; аудиообразец для задания голоса не требуется. Поддерживаются английский и китайский языки, а выход — монофоническое аудио с частотой 24 кГц. Репозиторий содержит веса модели и отдельный аудиофайловый sidecar, которые должны находиться рядом. Для загрузки и декодирования нужен OpenMOSS со встроенной поддержкой BF16/FP32 для sidecar: старые сборки, ожидающие там FP16, несовместимы. README сообщает об успешной проверке запуска на CPU и Vulkan. Модель распространяется по лицензии Apache-2.0.

MusicGen Large — модель Meta AI (команда FAIR) для генерации музыки по текстовому описанию или аудиоподсказке. Это авторегрессионный Transformer с 3,3 млрд параметров, работающий с аудиотокенизатором EnCodec на частоте 32 кГц. Модель предсказывает четыре кодовые последовательности за один проход и предназначена для создания музыкальных фрагментов с заданными характеристиками. Модель подходит для экспериментов с управляемой генерацией музыки и прототипирования музыкальных идей по текстовым запросам или аудиопримеру. Она обучалась на англоязычных описаниях и данных объёмом 20 тысяч часов; качество может снижаться для других языков, отдельных музыкальных стилей и культур. Модель не умеет реалистично генерировать вокал и иногда завершает фрагмент тишиной; для хорошего результата может потребоваться подбор формулировок запроса. Веса распространяются по лицензии CC-BY-NC 4.0, которая ограничивает коммерческое использование.

OmniVoice (MLX) — конверсия многоязычной модели синтеза речи OmniVoice, разработанной k2-fsa, для запуска на компьютерах Apple Silicon с библиотекой MLX. Модель преобразует текст в речь и поддерживает zero-shot клонирование голоса. Вариант по умолчанию использует веса fp32; в коллекции также представлены версии fp32 и bfloat16. Модель предназначена для генерации речи на разных языках и создания озвучки голосом, заданным аудиопримером. Репозиторий содержит преобразованные веса MLX, конфигурацию и токенизатор из официального чекпойнта, а также необходимые компоненты аудиотокенизатора. Размер и длина контекста в предоставленных данных не указаны. Лицензия — Apache-2.0; сведения об upstream-модели и её репозитории остаются авторитетными для использования вне MLX.

Orpheus-TTS-Local — это локальная GGUF-квантизация модели Orpheus 3B 0.1 FT, разработанной Canopy Labs. Модель предназначена для синтеза речи из текста (Text-to-Speech) и распространяется в формате Q4_K_M для запуска через совместимые инструменты, включая LM Studio и llama.cpp. В карточке указана поддержка английского языка и лицензия Apache 2.0. Модель подходит для локального преобразования текста в аудио без облачных API и ключей, в том числе для голосовых приложений, прототипов и генерации WAV-файлов. Доступны восемь голосов: tara, leah, jess, leo, dan, mia, zac и zoe. Эмоциональные особенности речи можно задавать специальными тегами, включая смех, вздох, кашель, зевок и другие эффекты. К сильным сторонам относятся локальная работа, несколько вариантов голоса, поддержка эмоциональных маркеров и возможность сохранения результата в WAV. Ограничения карточки — отсутствие данных о максимальном контексте, требованиях к аппаратному обеспечению, производительности, точности и качестве на разных типах текста; заявленная языковая поддержка ограничена английским языком.

Карточка модели swipeautomations/Qwen3-TTS-12Hz-0.6B-Base на Hugging Face совпадает с карточкой Qwen/Qwen3-TTS-12Hz-0.6B-Base, поэтому описание составлено по ней. Qwen3-TTS-12Hz-0.6B-Base — базовая модель синтеза речи из семейства Qwen3-TTS, разработанного командой Qwen. Это плотная модель с архитектурой Qwen3TTSForConditionalGeneration и дискретной многокодовой языковой архитектурой; она использует разработанный для семейства токенизатор речи Qwen3-TTS-Tokenizer-12Hz. Веса опубликованы в формате safetensors, лицензия — Apache-2.0. Модель предназначена для генерации речи по тексту и быстрого клонирования голоса по предоставленному аудио. Семейство поддерживает китайский, английский, японский, корейский, немецкий, французский, русский, португальский, испанский и итальянский языки. В карточке также заявлены потоковая генерация с низкой задержкой и управление характеристиками голоса естественными языковыми инструкциями. Для клонирования требуется аудиопример голоса; качество результата зависит от входного текста и аудио. Карточка описывает возможности семейства в целом, поэтому отдельные показатели и свойства именно версии 0.6B Base подтверждены не полностью.

Карточка модели intbot/Qwen3-TTS-12Hz-0.6B-grt-2voices на Hugging Face совпадает с карточкой Qwen/Qwen3-TTS-12Hz-0.6B-CustomVoice, поэтому описание составлено по ней. Qwen3-TTS-12Hz-0.6B-CustomVoice — многоязычная модель синтеза речи, разработанная командой Qwen. Это вариант CustomVoice с архитектурой Qwen3TTSForConditionalGeneration и токенизатором 12 Hz; модель поддерживает девять голосовых тембров и позволяет управлять интонацией, ритмом и эмоциональной окраской с помощью инструкций на естественном языке. Модель преобразует текст в речь на китайском, английском, японском, корейском, немецком, французском, русском, португальском, испанском и итальянском языках. Она рассчитана на потоковую генерацию с низкой задержкой; в README заявлена задержка синтеза от 97 мс. Для наилучшего звучания рекомендуется использовать голос на его родном языке. Модель распространяется в формате safetensors по лицензии Apache-2.0. Карточка не приводит число параметров этого чекпойнта; обозначение 0.6B входит в его название.

mlx-community/Qwen3-TTS-12Hz-1.7B-CustomVoice-6bit — модель синтеза речи, конвертированная в формат MLX из Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice. Конвертацию выполнило сообщество mlx-community с использованием mlx-audio версии 0.3.0. Модель предназначена для генерации аудио по текстовому вводу и поддерживает сценарии text-to-speech и клонирования голоса с использованием эталонной аудиозаписи. Модель рассчитана на работу через библиотеку mlx-audio; в README приведены примеры запуска из командной строки и Python-кода. Известно, что её размер составляет 1,7B параметров, а версия использует 6-битное квантование. Другие характеристики, включая архитектуру, поддерживаемые языки, набор модальностей и размер контекста, в представленном README не указаны. Для генерации с клонированием голоса можно передать путь к референсному WAV-файлу. Модель распространяется по лицензии Apache-2.0. Сильными сторонами являются поддержка синтеза речи и работы с эталонным голосом, а также MLX-формат, ориентированный на использование через mlx-audio. Ограничения и подробные сведения о качестве, совместимости, языках и требованиях к аппаратному обеспечению в карточке не описаны; README рекомендует обращаться к оригинальной карточке Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice за дополнительной информацией.

senga-LUK-20k-clean-speecht5 — дообученная модель Microsoft SpeechT5 для синтеза речи из текста. Модель основана на microsoft/speecht5_tts; в репозитории указаны архитектура SpeechT5ForTextToSpeech и формат safetensors. Карточка приводит значение loss 0,1049 на наборе оценки, но не описывает методику оценки и обучающие данные. Модель предназначена для преобразования текста в аудио. Метаданные указывают лицензию MIT. Карточка не сообщает, какие языки и голоса поддерживаются, поэтому область применимости синтеза по языку и звучанию определить нельзя.

senga-LUK-20k-nodegate-speecht5 — дообученная на основе microsoft/speecht5_tts модель SpeechT5 для синтеза речи из текста. Репозиторий использует библиотеку Transformers и хранит веса в формате safetensors; модель опубликована по лицензии MIT. В README приведено значение Loss 0,2060 на наборе оценки, но сведения о данных обучения и подробностях оценки отсутствуют.

senga-LUK-20k-quiet-speecht5 — дообученная модель Microsoft SpeechT5 для синтеза речи из текста. В метаданных указаны архитектура SpeechT5ForTextToSpeech, формат safetensors и библиотека Transformers. Модель предназначена для преобразования текста в аудио; в README приведено значение loss 0,1180 на оценочном наборе, но сведения о наборе данных и условиях оценки отсутствуют. Лицензия — MIT.

senga-LUK-aligned-degate60-4k-preview-speecht5 — дообученная модель SpeechT5 на базе microsoft/speecht5_tts, опубликованная sil-ai. Она предназначена для синтеза речи по тексту. В метаданных указан класс SpeechT5ForTextToSpeech и формат весов safetensors; README сообщает значение Loss 0,0798 на тестовой выборке, но не раскрывает состав данных и условия оценки. Модель распространяется по лицензии MIT. README не содержит подробного описания предполагаемых сценариев, языков, характеристик синтезируемой речи или ограничений качества; поэтому область применения можно определить только как преобразование текста в аудио.

senga-LUK-aligned-degate90-4k-preview-speecht5 — дообученная модель Microsoft SpeechT5 для синтеза речи из текста. Она предназначена для преобразования текстового ввода в аудио; в карточке приведён результат оценки Loss 0.0891, но набор данных и подробности оценки не раскрыты. Модель использует архитектуру SpeechT5ForTextToSpeech и распространяется в формате safetensors через Transformers. Модель основана на microsoft/speecht5_tts, который обучен на LibriTTS. Для этой версии заявлена лицензия MIT. Языки, голосовые характеристики, длина входного текста и качество синтеза в карточке не описаны.

senga-nt-base-tts — дообученная модель синтеза речи из текста на архитектуре SpeechT5, основанная на microsoft/speecht5_tts. Модель разработана sil-ai и предназначена для преобразования текстового ввода в аудио. В README приведён результат оценки: loss 0.0922. Данные об обучающем корпусе, поддерживаемых языках, голосах и сценариях применения не раскрыты. Модель распространяется в формате safetensors через библиотеку Transformers по лицензии MIT.

MohsenABG/speecht5_finetuned_emirhan_tr — дообученная на Common Voice 13.0 модель синтеза речи на основе microsoft/speecht5_tts. Она преобразует текст в аудио и подходит для озвучивания фраз и синтеза речи в приложениях. В оценке указано значение Loss 0.5641. Репозиторий использует архитектуру SpeechT5 и формат safetensors; модель распространяется по лицензии MIT.

Sandiago21/Speecht5_finetuned_facebook_voxpopuli_spanish — дообученная версия SpeechT5 от Microsoft, подготовленная для синтеза речи из текста на данных VoxPopuli. Модель использует архитектуру SpeechT5 и предназначена для преобразования текстового ввода в речь; в метаданных указана задача text-to-speech. Для оценки приведено значение Loss 0,4355 на оценочной выборке. Модель подходит для генерации испанской речи из текста. Она опубликована в форматах PyTorch и Safetensors и распространяется по лицензии MIT. Подробные сведения о голосе, качестве звучания, поддерживаемых вариантах испанского и ограничениях применения в карточке не приведены.

ptah23/speecht5_finetuned_voxpopuli_es — дообученная Питером Гелдерблумом модель Microsoft SpeechT5 для синтеза испанской речи из текста на данных VoxPopuli ES. Она использует архитектуру SpeechT5ForTextToSpeech; веса доступны в форматах PyTorch и Safetensors. На оценочной выборке указана потеря 0,4400. Модель подходит для озвучивания испанских текстов и экспериментов с синтезом речи. Выпущена под лицензией MIT.

SpeechT5-it — модель синтеза речи из текста, созданная дообучением microsoft/speecht5_tts на датасете VOXPOPULI. Она предназначена для генерации итальянской речи по тексту. В метаданных указана архитектура SpeechT5ForTextToSpeech и форматы PyTorch и Safetensors; на тестовой выборке сообщается значение loss 0,4600. Модель опубликована под лицензией MIT.

Карточка модели ngoctham/supertonic-3 на Hugging Face совпадает с карточкой Supertone/supertonic-3, поэтому описание составлено по ней. Supertonic 3 — компактная многоязычная модель синтеза речи от Supertone для локального запуска. Модель распространяется в формате ONNX и работает через ONNX Runtime на устройстве, без обращения к облаку. В открытых ONNX-ресурсах около 99 млн параметров. Модель преобразует текст в речь на 31 языке и рассчитана на сценарии, где важны быстрая генерация и локальное выполнение: озвучивание аудиокниг, новостей, диалогов и телефонных обращений, в том числе на мобильных и периферийных устройствах. Поддерживаются фиксированные предустановленные голосовые стили; README также описывает демонстрацию пользовательских стилей по референсному аудио и теги выразительности. По сравнению с Supertonic 2 заявлены более стабильное чтение с меньшим числом повторов и пропусков, а также улучшенное сходство голосов на общих языках. Лицензия — OpenRAIL. README не приводит независимой оценки качества для всех языков; пользовательские стили по референсному аудио связаны с отдельным Voice Builder.

Supertonic 3 — компактная многоязычная модель синтеза речи, разработанная Supertone и распространяемая в виде открытых весов ONNX для локального запуска через ONNX Runtime. Она преобразует текст в речь и рассчитана на использование на устройствах, в браузере и на периферийных системах без обращения к облаку. Модель содержит около 99 млн параметров и поддерживает 31 язык, включая английский, корейский, японский, русский, арабский и ряд европейских и азиатских языков. По сравнению с Supertonic 2 улучшены стабильность чтения и сходство голоса с заданным стилем; доступны фиксированные предустановленные голоса и простые теги выразительности. README также описывает демонстрационные сценарии с пользовательскими голосовыми стилями, но для их создания нужен отдельный Voice Builder. Модель ориентирована на локальную генерацию озвучки: например, для аудиокниг, новостей и голосовых интерфейсов. Карточка заявляет конкурентную точность чтения при меньшем размере и быстром запуске на CPU, однако не приводит в предоставленном тексте полных численных результатов оценки. Лицензия репозитория — OpenRAIL.

Карточка модели hoanglinhn0/supertonic-3-SD на Hugging Face совпадает с карточкой Supertone/supertonic-3, поэтому описание составлено по ней. Supertonic 3 — компактная многоязычная модель синтеза речи от Supertone для локального запуска. Модель распространяется в формате ONNX и работает через ONNX Runtime на устройстве, без обращения к облаку. В открытых ONNX-ресурсах около 99 млн параметров. Модель преобразует текст в речь на 31 языке и рассчитана на сценарии, где важны быстрая генерация и локальное выполнение: озвучивание аудиокниг, новостей, диалогов и телефонных обращений, в том числе на мобильных и периферийных устройствах. Поддерживаются фиксированные предустановленные голосовые стили; README также описывает демонстрацию пользовательских стилей по референсному аудио и теги выразительности. По сравнению с Supertonic 2 заявлены более стабильное чтение с меньшим числом повторов и пропусков, а также улучшенное сходство голосов на общих языках. Лицензия — OpenRAIL. README не приводит независимой оценки качества для всех языков; пользовательские стили по референсному аудио связаны с отдельным Voice Builder.