I.9Аудио и музыка

Карточка модели khaledmezdour/omnivoice-singing на Hugging Face совпадает с карточкой ModelsLab/omnivoice-singing, поэтому описание составлено по ней. ModelsLab/omnivoice-singing — это дообученная модель преобразования текста в речь на базе k2-fsa/OmniVoice. Она добавляет к многоязычному синтезу речи пение и управление эмоциями с помощью текстовых тегов, например [singing], [happy], [sad], [angry], [excited], [calm], [nervous] и [whisper]. Разработчик указывает архитектуру Qwen3-0.6B LM с аудиотокенизатором HiggsAudioV2 и частотой вывода 24 кГц; модель совместима с кодом и API исходной OmniVoice. Модель предназначена для синтеза выразительной речи и мелодичного вокала, а также сохраняет клонирование голоса по образцу аудио, настройку характеристик голоса и управление произношением, скоростью и длительностью. Карточка заявляет поддержку более 600 языков; среди перечисленных — английский, китайский, японский, корейский, испанский, французский, немецкий, итальянский, русский, хинди и гуджарати. Модель опубликована под лицензией Apache-2.0. Ограничения: поведение тегов [calm] и [excited] слабее из-за малого числа обучающих примеров, а качество пения на других языках может различаться. Токенизатор настроен на речь и не предназначен для генерации музыки или ударных партий.

ModelsLab/omnivoice-singing — это дообученная модель преобразования текста в речь на базе k2-fsa/OmniVoice. Она добавляет к многоязычному синтезу речи пение и управление эмоциями с помощью текстовых тегов, например [singing], [happy], [sad], [angry], [excited], [calm], [nervous] и [whisper]. Разработчик указывает архитектуру Qwen3-0.6B LM с аудиотокенизатором HiggsAudioV2 и частотой вывода 24 кГц; модель совместима с кодом и API исходной OmniVoice. Модель предназначена для синтеза выразительной речи и мелодичного вокала, а также сохраняет клонирование голоса по образцу аудио, настройку характеристик голоса и управление произношением, скоростью и длительностью. Карточка заявляет поддержку более 600 языков; среди перечисленных — английский, китайский, японский, корейский, испанский, французский, немецкий, итальянский, русский, хинди и гуджарати. Модель опубликована под лицензией Apache-2.0. Ограничения: поведение тегов [calm] и [excited] слабее из-за малого числа обучающих примеров, а качество пения на других языках может различаться. Токенизатор настроен на речь и не предназначен для генерации музыки или ударных партий.

Карточка модели Stilesterk2598/omnivoice-singing на Hugging Face совпадает с карточкой ModelsLab/omnivoice-singing, поэтому описание составлено по ней. ModelsLab/omnivoice-singing — это дообученная модель преобразования текста в речь на базе k2-fsa/OmniVoice. Она добавляет к многоязычному синтезу речи пение и управление эмоциями с помощью текстовых тегов, например [singing], [happy], [sad], [angry], [excited], [calm], [nervous] и [whisper]. Разработчик указывает архитектуру Qwen3-0.6B LM с аудиотокенизатором HiggsAudioV2 и частотой вывода 24 кГц; модель совместима с кодом и API исходной OmniVoice. Модель предназначена для синтеза выразительной речи и мелодичного вокала, а также сохраняет клонирование голоса по образцу аудио, настройку характеристик голоса и управление произношением, скоростью и длительностью. Карточка заявляет поддержку более 600 языков; среди перечисленных — английский, китайский, японский, корейский, испанский, французский, немецкий, итальянский, русский, хинди и гуджарати. Модель опубликована под лицензией Apache-2.0. Ограничения: поведение тегов [calm] и [excited] слабее из-за малого числа обучающих примеров, а качество пения на других языках может различаться. Токенизатор настроен на речь и не предназначен для генерации музыки или ударных партий.

OmniVoice Word-Control — дообученная multimodalart модель синтеза речи на основе OmniVoice (0,6 млрд параметров, masked-diffusion LM TTS на Qwen3-0.6B). Она добавляет управление акустическими характеристиками на уровне отдельных слов: в текст можно вставлять специальные токены для задания высоты тона, длительности, паузы, энергии и тембра; для слов без меток модель выбирает характеристики самостоятельно. Управление задаётся дискретными значениями, а токен длительности распределяет время внутри заранее заданной общей длительности синтеза. Модель рассчитана на английский язык и сохраняет возможность обычного синтеза речи без меток; репозиторий содержит токенизатор с 116 управляющими токенами. Модель обучена на WordVoice-5A: 2 138 часов аудиозаписей и 1,18 млн высказываний; все параметры дообучались, а цель masked-diffusion не менялась. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Карточка модели Ojey007/orpheus-3b-tts-multilingual на Hugging Face совпадает с карточкой Sunbird/orpheus-3b-tts-multilingual, поэтому описание составлено по ней. Orpheus-3B Sunbird Multilingual TTS — модель Sunbird AI для синтеза речи из текста. Это дообученная на полном корпусе Sunbird/tts модель unsloth/orpheus-3b-0.1-pretrained с архитектурой Llama и 3,3 млрд параметров. Она генерирует монофоническое аудио с частотой 24 кГц через аудиокодек SNAC; выбор голоса задаётся идентификатором говорящего в запросе, а отдельного переключателя языка нет. Модель охватывает 20 конфигураций языковых данных, включая английский и языки Африки с ограниченными ресурсами: ачоли, африкаанс, эве, фула, хауса, игбо, кикуйю, киньяруанда, лугбара, лингала, луганда, луо, рунянколе, сесото, суахили, атесо, сетсвана, коса и йоруба. Доступность отдельных голосов зависит от языка. Качество различается в зависимости от объёма обучающих данных, поэтому перед применением следует прослушать примеры для нужного языка и голоса. Контекст модели — 131 072 токена. Лицензия — Apache-2.0.

Parakeet TDT 1.1B GGUF — это преобразованная и квантизированная версия модели parakeet-tdt-1.1b, разработанной совместно командами NVIDIA NeMo и Suno.ai. Репозиторий handy-computer предназначен для использования модели с transcribe.cpp и распространяется в формате GGUF. Модель предназначена для офлайн-распознавания английской речи и преобразования аудио в текст. Она принимает монофонические WAV-файлы с частотой 16 кГц и поддерживает токеновые временные метки. Архитектура включает FastConformer-XL encoder примерно на 1,1 млрд параметров и TDT/RNNT transducer decoder. Доступны варианты F32, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 825 МБ до 4,28 ГБ. Сильная сторона модели — высокая точность: показатель WER на тестовой выборке LibriSpeech test-clean составляет около 1,38–1,42% в зависимости от квантизации, а для Fleurs English в варианте Q8_0 — 4,24%. Квантизация позволяет уменьшить размер модели при небольшом изменении качества. Ограничения: поддерживается только английский язык, отсутствуют потоковое распознавание, перевод и автоматическое определение языка; модель рассчитана на офлайн-обработку и требует входное аудио в формате 16 кГц, mono WAV. Лицензия — CC-BY-4.0, унаследованная от базовой модели.

freds0/parler-tts-mini-v1.1-ptbr — модель синтеза речи семейства Parler-TTS, созданная командами Hugging Face Audio и Quantum Squadra при содействии AI4Bharat. Это дообученная версия Parler-TTS Mini Multilingual v1 на датасете BRSpeech-TTS-Dataset, включающем около 200 часов португальской речи. Модель предназначена для генерации речи на бразильском португальском по тексту; характеристики голоса можно задавать текстовым описанием. Используются отдельные токенизаторы для текста и описания речи, а токенизатор описаний поддерживает расширенный словарь и побайтовый fallback. Модель подходит для озвучивания текста и создания управляемой синтетической речи на бразильском португальском. В репозитории опубликованы веса Safetensors, библиотека — Transformers. Лицензия Apache-2.0. README не приводит размер модели или длину контекста; заявленная поддержка других языков через расширение токенизатора не подтверждает качество синтеза для них.

Карточка модели kaixuanfu/Qwen3-TTS-12Hz-0.6B-CustomVoice на Hugging Face совпадает с карточкой Qwen/Qwen3-TTS-12Hz-0.6B-CustomVoice, поэтому описание составлено по ней. Qwen3-TTS-12Hz-0.6B-CustomVoice — многоязычная модель синтеза речи, разработанная командой Qwen. Это вариант CustomVoice с архитектурой Qwen3TTSForConditionalGeneration и токенизатором 12 Hz; модель поддерживает девять голосовых тембров и позволяет управлять интонацией, ритмом и эмоциональной окраской с помощью инструкций на естественном языке. Модель преобразует текст в речь на китайском, английском, японском, корейском, немецком, французском, русском, португальском, испанском и итальянском языках. Она рассчитана на потоковую генерацию с низкой задержкой; в README заявлена задержка синтеза от 97 мс. Для наилучшего звучания рекомендуется использовать голос на его родном языке. Модель распространяется в формате safetensors по лицензии Apache-2.0. Карточка не приводит число параметров этого чекпойнта; обозначение 0.6B входит в его название.

Qwen3-TTS-12Hz-1.7B-Base — базовая плотная модель семейства Qwen3-TTS, разработанная командой Qwen. Она предназначена для синтеза речи по тексту и быстрого клонирования голоса по аудиопримеру длительностью около трёх секунд; также её можно использовать как основу для дообучения других моделей. Модель поддерживает китайский, английский, японский, корейский, немецкий, французский, русский, португальский, испанский и итальянский языки. Архитектура использует дискретную языковую модель с несколькими кодовыми книгами и токенизатор речи Qwen3-TTS-Tokenizer-12Hz. Заявлена потоковая и непотоковая генерация с низкой задержкой, а модель рассчитана на локальный запуск через пакет qwen-tts или vLLM-Omni. В README заявлена поддержка управления голосовыми характеристиками инструкциями для семейства Qwen3-TTS, но для варианта Base такая поддержка отдельно не отмечена. Модель принимает текст и аудио для клонирования голоса и выдаёт синтезированную речь. Репозиторий содержит веса Safetensors и распространяется по лицензии Apache-2.0. Для запуска могут потребоваться значительные вычислительные ресурсы; README рекомендует FlashAttention 2 на совместимом оборудовании.

Карточка модели Iambackup/Qwen3-TTS-12Hz-1.7B-VoiceDesign на Hugging Face совпадает с карточкой Qwen/Qwen3-TTS-12Hz-1.7B-VoiceDesign, поэтому описание составлено по ней. Qwen3-TTS-12Hz-1.7B-VoiceDesign — модель синтеза речи, разработанная командой Qwen. Она принимает текст и инструкции на естественном языке для создания речи с заданными тембром, эмоцией и просодией; вариант VoiceDesign предназначен для гибкого описания желаемого голоса. Модель относится к семейству Qwen3-TTS, использует плотную архитектуру Qwen3TTSForConditionalGeneration и представление речи на основе токенизатора Qwen3-TTS-Tokenizer-12Hz с дискретной многокодовой языковой моделью. Репозиторий содержит веса safetensors; для работы предусмотрена библиотека qwen-tts. Семейство поддерживает китайский, английский, японский, корейский, немецкий, французский, русский, португальский, испанский и итальянский языки, а также голосовые профили с различными диалектами. Для семейства заявлена потоковая генерация с задержкой синтеза от 97 мс. Карточка приводит оценку WER для варианта Base, поэтому она не подтверждает качество именно VoiceDesign. Модель распространяется по лицензии Apache-2.0.

Это неизменённая копия Silero VAD 6.2 в формате ONNX, опубликованная crash-sv для утилиты Scribe SV — программы для диктовки и перевода в Windows. Исходную модель разработала команда Silero; граф ONNX и его размещение подготовлены в проекте istupakov/silero-vad-onnx. Репозиторий содержит вариант графа silero_vad.onnx, который использует загрузчик onnx_asr. Модель предназначена для обнаружения участков речи в аудиосигнале, например, чтобы выделять речь перед диктовкой или последующей обработкой. Это модель обнаружения голосовой активности, а не распознавания или перевода речи. Копия распространяется без изменений по лицензии MIT; README также указывает MIT для исходной модели и ONNX-сборки.

tensorlake/segmentation-3.0 — модель сегментации речи по говорящим, обученная Séverin Baroudi с использованием pyannote.audio 3.0. Она принимает 10-секундные фрагменты монофонического аудио с частотой 16 кГц и выдаёт матрицу классов по кадрам: неречевой звук, три отдельных говорящих и три возможные пары одновременно говорящих. Модель поддерживает обнаружение речевой активности, сегментацию говорящих и перекрывающуюся речь. Модель предназначена для обработки коротких фрагментов и может служить компонентом конвейера диаризации. Для диаризации полной записи README рекомендует использовать её вместе с дополнительной моделью эмбеддингов говорящих и конвейером pyannote/speaker-diarization-3.0. Обучение выполнено на объединении наборов AISHELL, AliMeeting, AMI, AVA-AVD, DIHARD, Ego4D, MSDWild, REPERE и VoxConverse. Лицензия — MIT; для загрузки базовой модели pyannote/segmentation-3.0 требуется принять условия использования Hugging Face. README предупреждает, что для производственного применения pyannoteAI может предложить более быстрые варианты.

VinayHajare/speecht5_tts-finetuned-voxpopuli-en — дообученная модель синтеза речи на базе SpeechT5 от Microsoft. Она преобразует текст в речь и обучена на данных VoxPopuli; на оценочном наборе указано значение loss 0,4689. Архитектура — SpeechT5ForTextToSpeech, веса доступны в форматах PyTorch и Safetensors. Лицензия и поддерживаемые языки в предоставленных данных не указаны.

cstr/speecht5-tts-GGUF — версия SpeechT5, подготовленная для синтеза речи в CrispASR. Модель основана на Microsoft SpeechT5, имеет около 80 млн параметров и использует архитектуру encoder-decoder: трансформерный текстовый энкодер, авторегрессионный речевой декодер, постсет и вокодер HiFi-GAN. GGUF-файлы представлены в формате F16; английская и немецкая версии поставляются отдельными файлами. Модель преобразует текст в речь с частотой 16 кГц. Для управления голосом используется 512-мерный x-вектор говорящего; генерация детерминирована и выполняется жадным декодированием. Репозиторий предназначен для запуска через CrispASR. Он распространяется по лицензии MIT; исходная модель и веса вокодера взяты у Microsoft. Ограничения включают поддержку только английского и немецкого языков и зависимость тембра речи от предоставленного x-вектора.

SpeechT5 TTS Turkish — модель синтеза речи из текста, созданная дообучением microsoft/speecht5_tts на наборе turkishvoicedataset. Она предназначена для преобразования текста на турецком языке в речь. Модель построена на архитектуре SpeechT5 и распространяется в формате safetensors; в README приведено значение loss 0,3079 на оценочном наборе. Модель опубликована под лицензией MIT. Карточка не описывает голосовые характеристики, качество звучания или ограничения использования; результат синтеза зависит от текста и настройки процесса генерации.

Карточка модели Aliados/supertonic-3 на Hugging Face совпадает с карточкой Supertone/supertonic-3, поэтому описание составлено по ней. Supertonic 3 — компактная многоязычная модель синтеза речи от Supertone для локального запуска. Модель распространяется в формате ONNX и работает через ONNX Runtime на устройстве, без обращения к облаку. В открытых ONNX-ресурсах около 99 млн параметров. Модель преобразует текст в речь на 31 языке и рассчитана на сценарии, где важны быстрая генерация и локальное выполнение: озвучивание аудиокниг, новостей, диалогов и телефонных обращений, в том числе на мобильных и периферийных устройствах. Поддерживаются фиксированные предустановленные голосовые стили; README также описывает демонстрацию пользовательских стилей по референсному аудио и теги выразительности. По сравнению с Supertonic 2 заявлены более стабильное чтение с меньшим числом повторов и пропусков, а также улучшенное сходство голосов на общих языках. Лицензия — OpenRAIL. README не приводит независимой оценки качества для всех языков; пользовательские стили по референсному аудио связаны с отдельным Voice Builder.

Supertonic 3 — компактная многоязычная модель синтеза речи от Supertone для локального запуска. Модель распространяется в формате ONNX и работает через ONNX Runtime на устройстве, без обращения к облаку. В открытых ONNX-ресурсах около 99 млн параметров. Модель преобразует текст в речь на 31 языке и рассчитана на сценарии, где важны быстрая генерация и локальное выполнение: озвучивание аудиокниг, новостей, диалогов и телефонных обращений, в том числе на мобильных и периферийных устройствах. Поддерживаются фиксированные предустановленные голосовые стили; README также описывает демонстрацию пользовательских стилей по референсному аудио и теги выразительности. По сравнению с Supertonic 2 заявлены более стабильное чтение с меньшим числом повторов и пропусков, а также улучшенное сходство голосов на общих языках. Лицензия — OpenRAIL. README не приводит независимой оценки качества для всех языков; пользовательские стили по референсному аудио связаны с отдельным Voice Builder.

srikantp/svara-tts-v1-fp8 — FP8-квантизированная версия Svara TTS v1, разработанной Kenpath. Это многоязычная модель преобразования текста в речь на базе архитектуры Llama с 3,3 млрд параметров; репозиторий указывает контекст 131 072 токена. Она предназначена для синтеза речи на 12 индийских языках и английском: поддерживает мужские и женские голоса, выбираемые идентификатором вида «код_языка_пол». FP8 снижает потребление видеопамяти примерно до 6–8 ГБ; заявлен интерфейс, совместимый с OpenAI Audio Speech API. Для запуска README указывает NVIDIA GPU с 8 ГБ или более видеопамяти, CUDA, Transformers и PyTorch. Модель основана на kenpath/svara-tts-v1 и распространяется по лицензии Apache-2.0.

Карточка модели GreyWizardInc/tada-3b-ml на Hugging Face совпадает с карточкой HumeAI/tada-3b-ml, поэтому описание составлено по ней. TADA-3B-ml — мультиязычная модель синтеза речи от Hume AI, дообученная на Llama 3.2 3B. Она связывает текстовые токены и речевые представления взаимно однозначным выравниванием и генерирует речь авторегрессионно: на каждом шаге модель обрабатывает один текстовый токен и определяет длительность и просодию соответствующего речевого фрагмента. Модель предназначена для синтеза речи по тексту и генерации продолжения речи; поддерживает английский по умолчанию, а также арабский, китайский, немецкий, испанский, французский, итальянский, японский, польский и португальский через языковые выравниватели. Размер модели — 3,2 млрд параметров, базовая архитектура — Llama, формат весов — Safetensors, контекст — до 131 072 токенов. Заявленные особенности — естественная просодия, выравнивание текста и речи и генерация с переменной длительностью речевых фрагментов без фиксированной частоты аудиокадров. Для работы требуется доступ к базовой модели Meta Llama 3.2 и общий с другими чекпойнтами TADA кодек HumeAI/tada-codec. Встроенное распознавание речи в энкодере поддерживает только английский; для промптов на других языках нужно передавать транскрипт, иначе качество выравнивания может снизиться. Лицензия — Llama 3.2.

TADA-3B-ml — мультиязычная модель синтеза речи от Hume AI, дообученная на Llama 3.2 3B. Она связывает текстовые токены и речевые представления взаимно однозначным выравниванием и генерирует речь авторегрессионно: на каждом шаге модель обрабатывает один текстовый токен и определяет длительность и просодию соответствующего речевого фрагмента. Модель предназначена для синтеза речи по тексту и генерации продолжения речи; поддерживает английский по умолчанию, а также арабский, китайский, немецкий, испанский, французский, итальянский, японский, польский и португальский через языковые выравниватели. Размер модели — 3,2 млрд параметров, базовая архитектура — Llama, формат весов — Safetensors, контекст — до 131 072 токенов. Заявленные особенности — естественная просодия, выравнивание текста и речи и генерация с переменной длительностью речевых фрагментов без фиксированной частоты аудиокадров. Для работы требуется доступ к базовой модели Meta Llama 3.2 и общий с другими чекпойнтами TADA кодек HumeAI/tada-codec. Встроенное распознавание речи в энкодере поддерживает только английский; для промптов на других языках нужно передавать транскрипт, иначе качество выравнивания может снизиться. Лицензия — Llama 3.2.

TaDiCodec-TTS-AR-Qwen2.5-0.5B — авторегрессионная модель синтеза речи из текста, разработанная командой Amphion. Она использует Qwen2.5-0.5B-Instruct для генерации речевых токенов и кодек TaDiCodec для восстановления речи; модель предназначена для синтеза речи, в том числе в сценариях zero-shot TTS. TaDiCodec кодирует речь с частотой кадров 6,25 Гц и битрейтом 0,0875 кбит/с для аудио 24 кГц, применяя одноуровневый кодбук и диффузионный автоэнкодер с текстовым управлением декодером. Модель содержит около 508,4 млн параметров, использует архитектуру Qwen2 и библиотеку Transformers; контекст — до 32 768 токенов. В карточке заявлена поддержка английского, китайского, японского, французского, немецкого и корейского языков. Лицензия — Apache-2.0. Оценки качества и ограничения использования в предоставленных данных подробно не раскрыты.

TITAN — предварительно обученная модель преобразования голоса, опубликованная blaise-tk. Она предназначена для Retrieval-based Voice Conversion: преобразует характеристики голоса исходного говорящего в голос другого, используя обучение с подсказками по высоте тона. В карточке описана версия Titan-Medium, обученная на вариантах с частотой дискретизации 48, 40 и 32 кГц; также упоминается Titan-Large, подробности о которой пока не приведены. Модель основана на RVC v2 и дообучена на 11,15 часа аудиоданных Expresso. В README сообщается об обучении на Applio и о проверках качества на промежуточном чекпойнте; конкретные численные оценки качества не приведены. Модель предназначена для преобразования аудио в аудио, а Apache-2.0 допускает её использование на условиях этой лицензии.

Thorsten-Voice/tv-orpheus-v2 — немецкая модель синтеза речи проекта Thorsten-Voice, созданная на основе Orpheus TTS и архитектуры Llama. Модель содержит 3,3 млрд параметров и рассчитана на контекст до 131 072 токенов. Это дообученная версия tv-orpheus-v1: сначала базовую модель canopylabs/3b-de-ft-research_release обучили на записях Thorsten-Voice Dataset 2022.10, затем tv-orpheus-v2 дополнительно дообучили на 60 записях нейтральной повседневной речи с частотой 24 кГц. Модель преобразует немецкий текст в речь, стремясь воспроизводить естественную манеру речи исходного диктора. Она предназначена для озвучивания объяснений, утверждений, вопросов и предложений разной длины; по сравнению с v1 улучшены ритм и интонация длинных фраз. В отдельных случаях возможны артефакты и неожиданные паузы. Весовые файлы представлены в формате safetensors. Модель распространяется по лицензии Apache-2.0; обучающие наборы, указанные в карточке, имеют лицензию CC0.

MIT-SLS/USAD2-Small — компактный аудиоэнкодер семейства USAD 2.0, разработанный MIT SLS. Модель построена на двунаправленном трансформере и извлекает универсальные представления речи, окружающих звуков и музыки. Версия Small содержит 25 млн параметров, 12 слоёв, размер скрытого представления 384 и выдаёт признаки с частотой 50 Гц. Модель обучали методом дистилляции от аудиомоделей самообучения и с учителем, без использования размеченных данных; среди датасетов метаданные указывают мультиязычные корпуса речи и аудиозаписи музыки и звуков. Основное применение — извлечение признаков для последующей классификации и анализа аудио. README сообщает о результатах на бенчмарках общего аудио, музыки и задачах с аудиоэнкодером и LLM, включая распознавание речи, идентификацию говорящего и языка, определение звуковых событий и создание аудиоописаний. Для downstream-задач авторы рекомендуют дообучение. Репозиторий использует Transformers и формат safetensors; лицензия CC BY-NC-SA 4.0 разрешает использование с указанием авторства и на условиях распространения производных работ на той же лицензии, но запрещает коммерческое использование.

FabioSarracino/VibeVoice-Large-Q8 — это модель преобразования текста в речь на базе VibeVoice-Large, разработанной Microsoft Research, с селективной 8-битной квантизацией. В данной версии квантизирована языковая модель, тогда как аудиокритичные компоненты, включая diffusion head, VAE и коннекторы, сохранены в полной точности. Размер модели составляет 11,6 ГБ против 18,7 ГБ у исходной версии, а около 52% параметров квантизировано. Модель предназначена для генерации аудио из текста и может использоваться через Transformers или ComfyUI. Она поддерживает английский и заявлена как multilingual; частота дискретизации выходного аудио составляет 24 кГц. По данным README, селективная квантизация сохраняет качество аудио на уровне исходной модели и снижает требования к видеопамяти примерно до 12 ГБ, что делает модель подходящей для GPU с 12–16 ГБ VRAM. Для работы требуется NVIDIA GPU с CUDA; CPU, Apple Silicon и AMD GPU не поддерживаются. Модель предназначена для инференса и не рекомендуется для дообучения. Указаны зависимости transformers версии 4.51.3 или новее и bitsandbytes 0.43.0 или новее. Для запуска рекомендуется минимум 12 ГБ VRAM, 16 ГБ RAM и около 11 ГБ свободного места, а для комфортной работы — 16 ГБ или больше VRAM. Модель распространяется по лицензии MIT.

cstr/vibevoice-realtime-0.5b-GGUF — это конвертация потоковой модели синтеза речи VibeVoice-Realtime-0.5B, разработанной Microsoft, в формат GGUF для использования с CrispASR. Модель предназначена для преобразования текста в речь в реальном времени, включая озвучивание на английском, немецком, французском, итальянском, японском, корейском, нидерландском, польском, португальском и испанском языках. Архитектура включает 4-слойную и 20-слойную версии Qwen2 для текстового и речевого кондиционирования, prediction head на основе AdaLN и SwiGLU, 20-шаговый DPM-Solver++, classifier-free guidance, sigma-VAE-декодер и классификатор EOS для автоматического определения длины. Доступны варианты F16 размером около 2 ГБ, Q8_0 размером около 1,2 ГБ и Q4_K размером около 699 МБ; для Q8_0 и Q4_K основные Qwen2-backbone квантуются, а компоненты, влияющие на качество генерации, сохраняются в полной точности. Выходной формат — монофонический WAV с частотой 24 кГц. Для работы необходим voice prompt: поставляемые голосовые пакеты задают фиксированную идентичность диктора и включают 25 демонстрационных голосов для разных языков. Модель не поддерживает клонирование голоса на лету; для этого рекомендуется другая модель VibeVoice. Сильными сторонами являются потоковая генерация, мультиязычность, компактные квантизованные варианты и заявленное точное совпадение текста после обратной проверки через ASR. Модель распространяется по лицензии MIT.

kakao-enterprise/vits-ljs — модель синтеза речи VITS, обученная на наборе LJ Speech. Она преобразует текст в речевую аудиоволну и рассчитана на генерацию речи одним диктором. Модель содержит около 3,6 млн параметров и использует архитектуру условного вариационного автокодировщика с состязательным обучением: текстовый Transformer-энкодер, нормализующие потоки, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Стохастический предиктор позволяет получать разные ритмические варианты произнесения одного текста; для воспроизводимости результата нужен фиксированный seed. Чекпойнт обучен на примерно 24 часах записей одного диктора из LJ Speech. Лицензия — MIT.

VoiceClone — дообученная модель синтеза речи на основе SWivid/F5-TTS, разработанная автором репозитория Dikshan1234. Она создаёт речь по произвольному тексту, используя голос из предоставленного аудиофрагмента длительностью 6–15 секунд и его расшифровку. Модель основана на F5TTS_v1_Base примерно с 336 млн параметров; контрольная точка обучена полным дообучением в bf16. Синтез выполняется с частотой 24 кГц с использованием вокодера Vocos. Модель предназначена для zero-shot клонирования голоса и генерации озвучки без отдельного обучения на голосе диктора. В README приведены оценки на ранее не встречавшихся дикторах и предложениях: SECS 0,7937, WER 1,70% и CER 1,46%. Карточка указывает на обучение на данных LibriTTS-R и VCTK; метаданные отмечают английский язык. Лицензия CC-BY-NC-4.0 разрешает только некоммерческое использование; для указанных обучающих корпусов также требуется атрибуция. Клонировать следует только голоса, на использование которых есть явное разрешение.

Карточка модели ryen-stuff/VoxCPM2 на Hugging Face совпадает с карточкой Tha456/VoxCPM2, поэтому описание составлено по ней. VoxCPM2 — модель синтеза речи, представленная в карточке Tha456. Это авторегрессионная диффузионная модель без токенизатора с архитектурой LocEnc → TSLM → RALM → LocDiT, основанной на MiniCPM-4. Размер модели — 2 млрд параметров; она использует AudioVAE V2 и генерирует речь с частотой 48 кГц. Модель предназначена для многоязычного преобразования текста в речь, создания голоса по текстовому описанию и клонирования голоса по короткому аудиофрагменту, в том числе с управлением стилем. По README поддерживает 30 языков, включая русский, и заявляет потоковую генерацию в реальном времени. Репозиторий использует формат safetensors и библиотеку voxcpm. Лицензия Apache-2.0 разрешает коммерческое использование. Качество Voice Design и управления стилем может меняться между запусками; результаты зависят от языка, а очень длинный или выразительный ввод иногда вызывает нестабильность. README запрещает использовать модель для имитации личности, мошенничества и дезинформации и рекомендует маркировать сгенерированную речь.

thelou1s/yamnet — копия модели YAMNet, предназначенной для классификации звуковых событий по аудио. Репозиторий содержит модель в формате TFLite; в метаданных указаны связь с набором AudioSet и мультиязычная маркировка. Модель принимает аудио и выдаёт классы звуковых событий. Для этого репозитория указана лицензия Apache-2.0. README не содержит подробностей о размере модели, поддерживаемых классах и конкретных ограничениях применения.