I.9Аудио и музыка

ConvTasNet_Libri2Mix_sepclean_8k — модель разделения аудиосмеси, обученная Joris Cosentino с помощью рецепта LibriMix в Asteroid и опубликованная как импорт с Zenodo. Она предназначена для разделения записи с двумя одновременно говорящими людьми на отдельные речевые сигналы. Модель обучалась для задачи sep_clean на Libri2Mix с частотой дискретизации 8 кГц. Архитектура ConvTasNet использует обучаемый фильтробанк и масочную сеть; в конфигурации указаны 512 фильтров, 8 блоков и 3 повтора. Веса доступны в формате PyTorch. Лицензия в метаданных — CC BY-SA 4.0; README также содержит лицензионное уведомление CC BY-SA 3.0 и упоминает производность от корпуса LibriSpeech, поэтому при использовании следует учитывать оба уведомления.

ConvTasNet-модель, обученная Joris Cosentino с использованием рецепта LibriMix в Asteroid на задаче sep_noisy датасета Libri2Mix. Она предназначена для разделения смешанной шумной аудиозаписи на отдельные речевые сигналы и подходит для очистки и разделения речи в аудиомиксах. В тестовом наборе Libri2Mix min указаны SI-SDR 10,62 дБ, SI-SDR improvement 12,55 дБ и STOI 0,87. Модель принимает аудио и выдаёт аудио; в репозитории указаны веса PyTorch. Лицензия модели — CC BY-SA 4.0. README также указывает, что использованные данные включают LibriSpeech по CC BY 4.0 и WSJ0 Hipster Ambient Mixtures по CC BY-NC 4.0 с ограничением «только для исследований», что может ограничивать допустимые сценарии использования.

Карточка модели elevenlabs-ai/elevenlabs-speech на Hugging Face совпадает с карточкой Anthropic-ai/aivoice, поэтому описание составлено по ней. Anthropic-ai/aivoice — набор локальных компонентов ViiTorVoice-NAR, модели генерации речи, предназначенной для клонирования голоса, локального редактирования речи и управления эмоциями и паралингвистическими характеристиками. README описывает компоненты: LLM генерирует речевые токены с учётом текста, токенов речи-примера, масок редактирования, длительности и меток эмоций; DualCodec кодирует и декодирует аудио, а W2V-BERT 2.0 извлекает семантические признаки речи. Модель поддерживает синтез речи по тексту, сохранение характеристик говорящего по аудиопримеру, замену отдельных фрагментов высказывания и управление эмоциональными или невербальными вокальными событиями. Метаданные указывают архитектуру Qwen3-TTS, дообучение Qwen/Qwen3-0.6B, форматы ONNX и safetensors и языки китайский, английский, японский и корейский. Лицензия указана как Apache-2.0.

SepFormer — модель разделения аудиоисточников, разработанная командой SpeechBrain и обученная на Libri2Mix. Она предназначена для разделения записи с двумя одновременно говорящими людьми на отдельные речевые сигналы; модель реализована на PyTorch с архитектурой SepFormer на основе Transformer. Модель принимает монофоническое аудио с частотой дискретизации 8 кГц и выдаёт разделённые аудиосигналы. На тестовой выборке Libri2Mix указаны SI-SNRi 20,6 дБ и SDRi 20,9 дБ. Карточка приводит английский язык и набор данных Libri2Mix. Лицензия — Apache-2.0. Результаты на других наборах данных не гарантируются, поэтому качество разделения на записях с иными условиями может отличаться.

Карточка модели Champo1/Applio на Hugging Face совпадает с карточкой IAHispano/Applio, поэтому описание составлено по ней. Applio — инструмент преобразования голоса, ориентированный на простоту использования, качество и производительность. Он предназначен для изменения звучания входной речи в творческих, разработческих и исследовательских проектах; гибкая настройка и плагины позволяют адаптировать его к разным сценариям. В карточке Hugging Face указаны связь с VoiceConversionWebUI и поддержка обработки аудио в аудио. Репозиторий содержит варианты ONNX и PyTorch; среди используемых публичных данных назван VCTK. Модель подходит для преобразования голоса в аудиозаписях. README не сообщает конкретные архитектурные размеры или ограничения по длительности аудио. Указана лицензия MIT; при использовании необходимо соблюдать авторские права, права на голос и приватность, а также применимое законодательство.

Карточка модели gatitc/Applio на Hugging Face совпадает с карточкой IAHispano/Applio, поэтому описание составлено по ней. Applio — инструмент преобразования голоса, ориентированный на простоту использования, качество и производительность. Он предназначен для изменения звучания входной речи в творческих, разработческих и исследовательских проектах; гибкая настройка и плагины позволяют адаптировать его к разным сценариям. В карточке Hugging Face указаны связь с VoiceConversionWebUI и поддержка обработки аудио в аудио. Репозиторий содержит варианты ONNX и PyTorch; среди используемых публичных данных назван VCTK. Модель подходит для преобразования голоса в аудиозаписях. README не сообщает конкретные архитектурные размеры или ограничения по длительности аудио. Указана лицензия MIT; при использовании необходимо соблюдать авторские права, права на голос и приватность, а также применимое законодательство.

Карточка модели Morpheus2314/Applio на Hugging Face совпадает с карточкой IAHispano/Applio, поэтому описание составлено по ней. Applio — инструмент преобразования голоса, ориентированный на простоту использования, качество и производительность. Он предназначен для изменения звучания входной речи в творческих, разработческих и исследовательских проектах; гибкая настройка и плагины позволяют адаптировать его к разным сценариям. В карточке Hugging Face указаны связь с VoiceConversionWebUI и поддержка обработки аудио в аудио. Репозиторий содержит варианты ONNX и PyTorch; среди используемых публичных данных назван VCTK. Модель подходит для преобразования голоса в аудиозаписях. README не сообщает конкретные архитектурные размеры или ограничения по длительности аудио. Указана лицензия MIT; при использовании необходимо соблюдать авторские права, права на голос и приватность, а также применимое законодательство.

Карточка модели Jennifer2233/elevenlabs-speech на Hugging Face совпадает с карточкой Anthropic-ai/aivoice, поэтому описание составлено по ней. Anthropic-ai/aivoice — набор локальных компонентов ViiTorVoice-NAR, модели генерации речи, предназначенной для клонирования голоса, локального редактирования речи и управления эмоциями и паралингвистическими характеристиками. README описывает компоненты: LLM генерирует речевые токены с учётом текста, токенов речи-примера, масок редактирования, длительности и меток эмоций; DualCodec кодирует и декодирует аудио, а W2V-BERT 2.0 извлекает семантические признаки речи. Модель поддерживает синтез речи по тексту, сохранение характеристик говорящего по аудиопримеру, замену отдельных фрагментов высказывания и управление эмоциональными или невербальными вокальными событиями. Метаданные указывают архитектуру Qwen3-TTS, дообучение Qwen/Qwen3-0.6B, форматы ONNX и safetensors и языки китайский, английский, японский и корейский. Лицензия указана как Apache-2.0.

FireRedVAD-GGUF — преобразованные в формат GGUF варианты модели FireRedVAD от FireRedTeam для определения речевой активности в аудиозаписях и использования с CrispStrobe/CrispASR. Модель построена на архитектуре DFSMN: восемь блоков используют свёртки с контекстом по предыдущим и последующим кадрам. В карточке описаны три варианта: обычный VAD с просмотром вперёд и назад, потоковый вариант без просмотра вперёд и AED для многометочной классификации речи, пения и музыки. Размер вариантов составляет около 568–589 тысяч параметров.

Это модель разделения аудиоисточников SepFormer, разработанная командой SpeechBrain и обученная на наборе Libri3Mix. Она предназначена для разделения записи с тремя одновременно говорящими людьми на отдельные речевые сигналы. Модель реализована с помощью SpeechBrain и принимает монофонический звук с частотой дискретизации 8 кГц, выдавая разделённое аудио. На тестовом наборе Libri3Mix в карточке указано улучшение SI-SNR на 19,8 дБ; в таблице результатов для выпуска от 16 сентября 2022 года приведены SI-SNRi 19,0 дБ и SDRi 19,4 дБ. Модель рассчитана на англоязычную речь. Для других наборов данных качество не гарантируется. Лицензия — Apache-2.0.

SepFormer на WHAM! — модель разделения аудиоисточников, реализованная командой SpeechBrain и обученная на наборе WHAM!, содержащем смеси речи с фоновым шумом. Она предназначена для выделения отдельных речевых источников из одноканальной записи; для работы ожидается аудио с частотой дискретизации 8 кГц. В README указано качество 16,3 дБ SI-SNRi и 16,7 дБ SDRi на тестовой выборке WHAM!. Модель основана на архитектуре SepFormer с Transformer и распространяется в формате PyTorch. Карточка указывает английский язык. Лицензия — Apache-2.0. Авторы предупреждают, что качество на наборах данных, отличающихся от WHAM!, не гарантируется.

Uhm — модель Desert Ant Labs для покадрового обнаружения слов-паразитов «uh», «um» и «hmm» в аудио. Она принимает монофонический звук с частотой 16 кГц блоками до 30 секунд и выдаёт вероятности шести классов с шагом 20 мс: «not_filler», «uh», «um», «hmm», «and» и «other». Модель основана на DistilHuBERT и дообучена для обнаружения слов-паразитов; для работы ей не требуется распознавание речи. Модель предназначена для локального анализа записей подкастов, встреч и видео с говорящими. Опубликованы варианты Core ML, TFLite и ONNX для использования на iOS, macOS и других платформах через соответствующие SDK. Обучение проводилось на английском языке; для испанского, французского, немецкого и нидерландского заявлен акустический перенос, но качество на эталонных данных этих языков не измерялось. Качество снижается при сильной фоновой музыке, смехе и перекрывающейся речи нескольких участников. Различение конкретных типов слов-паразитов менее надёжно, чем классификация «слово-паразит / не слово-паразит». В README указаны открытые лицензии базовых весов Apache 2.0 и публичных обучающих аудиоданных CC BY 4.0; лицензия самой модели в метаданных обозначена как other, поэтому условия её использования следует проверять отдельно.

Anthropic-ai/aivoice — набор локальных компонентов ViiTorVoice-NAR, модели генерации речи, предназначенной для клонирования голоса, локального редактирования речи и управления эмоциями и паралингвистическими характеристиками. README описывает компоненты: LLM генерирует речевые токены с учётом текста, токенов речи-примера, масок редактирования, длительности и меток эмоций; DualCodec кодирует и декодирует аудио, а W2V-BERT 2.0 извлекает семантические признаки речи. Модель поддерживает синтез речи по тексту, сохранение характеристик говорящего по аудиопримеру, замену отдельных фрагментов высказывания и управление эмоциональными или невербальными вокальными событиями. Метаданные указывают архитектуру Qwen3-TTS, дообучение Qwen/Qwen3-0.6B, форматы ONNX и safetensors и языки китайский, английский, японский и корейский. Лицензия указана как Apache-2.0.

Карточка модели binant/bigvgan_v2_44khz_128band_512x на Hugging Face совпадает с карточкой nvidia/bigvgan_v2_44khz_128band_512x, поэтому описание составлено по ней. BigVGAN-v2 — нейронный вокодер, разработанный Sang-gil Lee, Wei Ping, Boris Ginsburg, Bryan Catanzaro и Sungroh Yoon. Эта версия принимает мел-спектрограмму с 128 полосами и синтезирует аудиоволну с частотой дискретизации 44 кГц; коэффициент увеличения частоты дискретизации составляет 512. В модели 122 млн параметров, она обучена на крупной компиляции аудиоданных и не является дообучением другой модели. Модель предназначена для преобразования мел-спектрограмм в аудио, например, как компонент систем синтеза речи и других аудио-генеративных конвейеров. Обучение включало разные типы аудио: речь на нескольких языках, окружающие звуки и музыкальные инструменты. Для ускорения вывода доступно CUDA-ядро; README сообщает об ускорении в 1,5–3 раза на GPU A100. Для его сборки нужны CUDA, nvcc и ninja. Модель распространяется по лицензии MIT.

Breeze-TTS-2-comfyui — конвертированная сборка модели Breeze TTS 2, подготовленная для набора узлов ComfyUI-Breeze-TTS-2. В репозитории есть исходный чекпойнт bf16, объединённый из двух частей, а также варианты с INT8-квантизацией ConvRot; рекомендуемая гибридная сборка сохраняет декодер глубины в bf16. Модель содержит 1,4 млрд параметров, использует архитектуру BreezeForConditionalGeneration и контекст до 2048 токенов. Модель предназначена для синтеза речи по тексту на английском и китайском языках, а базовая Breeze TTS 2 также поддерживает клонирование голоса и управление его подачей. Гибридная INT8-сборка ориентирована на запуск через ComfyUI и, согласно README, на RTX 5090 обеспечивает скорость на уровне bf16 при снижении пикового потребления видеопамяти на 27%. Полная INT8-квантизация экономит больше памяти, но работает медленнее из-за накладных расходов при вызовах декодера. В README указано, что все сборки дают сходное с исходной bf16 качество по WER, однако при клонировании голоса возможны отдельные ошибки распознавания, а скорость и потребление памяти зависят от сборки и оборудования. Лицензия обозначена в метаданных как other; конкретные условия следует проверять у автора базовой модели BreezeBlue/Breeze-TTS-2.

ConvTasNet_Libri3Mix_sepclean_16k — модель разделения речи, обученная Joris Cosentino с помощью рецепта LibriMix в Asteroid на задаче sep_clean датасета Libri3Mix. Она принимает аудиозапись с несколькими говорящими и предназначена для разделения их голосов на отдельные аудиосигналы. В тесте Libri3Mix min модель показала SI-SDR 8,93 дБ и STOI 0,848. Модель относится к семейству ConvTasNet и опубликована в формате PyTorch. Лицензия репозитория указана как CC BY-SA 4.0; в README работа обозначена как производная от корпуса LibriSpeech и лицензирована CC BY-SA 3.0. При использовании следует учитывать условия лицензирования исходных материалов и модели. Результаты приведены для Libri3Mix, поэтому качество на других наборах данных или в реальных акустических условиях может отличаться.

CosyVoice-300M-SFT — модель синтеза речи FunAudioLLM из семейства CosyVoice. Она преобразует текст в речь и предназначена для многоязычного синтеза, в том числе с переносом голоса между языками. В README описаны возможности семейства CosyVoice, включая управление языком, диалектом, эмоцией, скоростью и громкостью, потоковую генерацию речи и настройку произношения китайского пиньиня и английских фонем. Репозиторий модели содержит формат ONNX; для нормализации текста проект допускает использование ttsfrd или WeTextProcessing. Семейство CosyVoice использует подход на основе большой языковой модели и заявляет поддержку китайского, английского, японского, корейского, немецкого, испанского, французского, итальянского и русского языков, а также китайских диалектов. В карточке этой конкретной модели указан размер 300M в идентификаторе, но архитектурные и контекстные параметры для неё не приведены. Лицензия — Apache-2.0. README преимущественно описывает CosyVoice 3.0 и семейство в целом, поэтому не все перечисленные функции и оценки можно уверенно отнести именно к варианту 300M-SFT.

Карточка модели AbhishekDelMundu/Dasheng-AudioGen на Hugging Face совпадает с карточкой mispeech/Dasheng-AudioGen, поэтому описание составлено по ней. Dasheng-AudioGen — унифицированная модель генерации аудио по тексту. Она создана разработчиком mispeech и предназначена для синтеза разборчивой речи, музыки, звуковых эффектов и окружающих акустических сцен по текстовым описаниям. Модель относится к семейству Dasheng-AudioGen, использует плотную архитектуру и доступна в формате safetensors; для работы указана библиотека Transformers. Модель поддерживает английский язык и принимает текст, выдавая аудио. Репозиторий распространяется по лицензии Apache-2.0. Карточка не сообщает размер модели, длину контекста и подробности о качестве генерации.

FireRedVAD-GGUF — набор моделей FireRedVAD, подготовленных Strg-Alt-Entf-0x00 в формате GGUF для кроссплатформенного инференса через C++. В набор входят потоковая и двунаправленная модели обнаружения голосовой активности, а также модель классификации аудиособытий; для каждой доступны варианты квантования INT8-CH, INT8 и INT16. Исходная модель указана как FireRedTeam/FireRedVAD. Потоковый вариант предназначен для обнаружения речи в реальном времени с обработкой кадров по 10 мс и без необходимости учитывать будущий контекст. Стандартный VAD использует двунаправленный контекст и подходит для пакетной обработки сегментов аудио. AED одновременно выявляет речь, музыку и пение более чем в 100 языках. В README заявлены производительность до 53,6 раза быстрее реального времени для потокового VAD и оценка F1 97,57% для стандартного VAD на FLEURS-VAD-102. Варианты GGUF рассчитаны на компактный инференс на CPU и устройствах с ограниченными ресурсами. Для INT8-CH заявлена близкая к FP32 точность; README также сообщает, что файлы были повторно загружены после исправления ошибки в фильтрах упреждения FSMN и теперь совпадают с реализацией PyTorch. Репозиторий не указывает лицензию, поэтому условия использования следует проверять у исходной модели и в файлах репозитория.

LongCat-AudioDiT-3.5B — модель синтеза речи на основе диффузионного трансформера, разработанная командой LongCat компании Meituan. Она генерирует речь по тексту и поддерживает клонирование голоса по образцу аудио, в том числе zero-shot без отдельного дообучения под голос. Архитектура работает с латентным представлением волновой формы и включает Wav-VAE и диффузионный блок; модель не является авторегрессионной. Модель предназначена для озвучивания текста и переноса тембра, манеры речи и эмоциональных особенностей образца говорящего. В README приведены результаты оценки на китайском и английском языках, включая показатели сходства голоса и разборчивости на Seed benchmark. Репозиторий содержит реализацию для Hugging Face и скрипты инференса. Веса опубликованы в формате safetensors, лицензия — MIT, допускающая коммерческое использование.

Карточка модели kkjipndy/LongCat-AudioDiT-3.5B-tts-text-to-speech-SOTA на Hugging Face совпадает с карточкой 9r4n4y/LongCat-AudioDiT-3.5B-tts-text-to-speech-SOTA, поэтому описание составлено по ней. LongCat-AudioDiT-3.5B — модель синтеза речи на основе диффузионного трансформера, разработанная командой LongCat компании Meituan. Она генерирует речь по тексту и поддерживает клонирование голоса по образцу аудио, в том числе zero-shot без отдельного дообучения под голос. Архитектура работает с латентным представлением волновой формы и включает Wav-VAE и диффузионный блок; модель не является авторегрессионной. Модель предназначена для озвучивания текста и переноса тембра, манеры речи и эмоциональных особенностей образца говорящего. В README приведены результаты оценки на китайском и английском языках, включая показатели сходства голоса и разборчивости на Seed benchmark. Репозиторий содержит реализацию для Hugging Face и скрипты инференса. Веса опубликованы в формате safetensors, лицензия — MIT, допускающая коммерческое использование.

Карточка модели orbitalhd/LongCat-AudioDiT-3.5B-tts-text-to-speech-SOTA на Hugging Face совпадает с карточкой 9r4n4y/LongCat-AudioDiT-3.5B-tts-text-to-speech-SOTA, поэтому описание составлено по ней. LongCat-AudioDiT-3.5B — модель синтеза речи на основе диффузионного трансформера, разработанная командой LongCat компании Meituan. Она генерирует речь по тексту и поддерживает клонирование голоса по образцу аудио, в том числе zero-shot без отдельного дообучения под голос. Архитектура работает с латентным представлением волновой формы и включает Wav-VAE и диффузионный блок; модель не является авторегрессионной. Модель предназначена для озвучивания текста и переноса тембра, манеры речи и эмоциональных особенностей образца говорящего. В README приведены результаты оценки на китайском и английском языках, включая показатели сходства голоса и разборчивости на Seed benchmark. Репозиторий содержит реализацию для Hugging Face и скрипты инференса. Веса опубликованы в формате safetensors, лицензия — MIT, допускающая коммерческое использование.

MLX Seed-VC v2 от Avdpro — нативный для MLX составной чекпойнт конвертации голоса, перенесённый с зафиксированной версии inference pipeline Seed-VC. Он объединяет CFM- и AR-модели, два квантователя ASTRAL, CAMPPlus, HuBERT Large (слой 18) и BigVGAN v2; веса хранятся в safetensors, конфигурация — в JSON. Модель принимает исходное аудио и аудио-образец голоса, чтобы преобразовать голос в исходной записи с сохранением тембра целевого говорящего. Профиль по умолчанию использует 30 шагов диффузии; также доступны быстрый профиль с 10 шагами и AR-профиль с 30 шагами. Модель распространяется по лицензии GPL-3.0; README отсылает к NOTICE.md за сведениями о лицензиях закреплённых исходных чекпойнтов.

Карточка модели JSCreatorPro/offline-tts-zonos-v01 на Hugging Face совпадает с карточкой Zyphra/Zonos-v0.1-transformer, поэтому описание составлено по ней. Zonos-v0.1-transformer — открытая модель преобразования текста в речь от Zyphra, построенная на трансформерной архитектуре. Она нормализует и фонетически разбирает текст с помощью eSpeak, затем предсказывает токены DAC и генерирует речь с частотой 44 кГц. Модель обучена на более чем 200 тысячах часов разноязычной речи и поддерживает английский, японский, китайский, французский и немецкий языки. Модель предназначена для естественного синтеза речи, клонирования голоса по короткому аудиореференсу и управления характеристиками звучания, включая темп, высоту тона, эмоции и качество аудио. Для задания голоса можно передать вектор говорящего или аудиофрагмент; текст и аудиопр prefix позволяют точнее воспроизводить особенности речи, например шёпот. Заявленная скорость работы составляет около двукратного реального времени на RTX 4090. Для запуска README указывает Linux и современный GPU NVIDIA серии 3000 или новее с объёмом видеопамяти от 6 ГБ; требуется библиотека eSpeak. Модель распространяется по лицензии Apache-2.0.

REAL-TSE BSRNN Target Speaker Extraction — Core ML FP16 — это конверсия базовой модели REAL-TSE Challenge `spk_emb_100` в формат Core ML. Модель извлекает из монофонической речи голос заранее записанного целевого говорящего, подавляя перекрывающуюся речь других людей и сохраняя временную структуру аудио. Она включает кодировщик голоса ECAPA-TDNN с эмбеддингом размерности 192 и разделитель non-causal BSRNN с шестью повторяющимися блоками рекуррентной обработки по двум осям. На вход подаются аудио с частотой 16 кГц и запись для регистрации целевого голоса длительностью не менее 0,5 секунды; несколько секунд чистой речи рекомендуются для лучшего результата. В Core ML графах обработка разделена на получение эмбеддинга и выделение голоса из STFT-сигнала. Граф разделителя рассчитан на фрагменты по 8 секунд, поэтому длинные записи нужно обрабатывать с перекрытием и объединением фрагментов. Модель предназначена для работы на Apple silicon и macOS 15 или новее; автор рекомендует CPU-only для разделителя. В проверочном примере оценивалась речь на английском с помехой на немецком, однако это не устанавливает полный перечень поддерживаемых языков. В метаданных указана лицензия `other`; README отмечает, что отдельная лицензия исходного чекпойнта не предоставлена, и требует самостоятельно проверить условия upstream-моделей и данных.

Карточка модели ddddddesperados/s2-pro на Hugging Face совпадает с карточкой fishaudio/s2-pro, поэтому описание составлено по ней. Fish Audio S2 Pro — модель синтеза речи, разработанная Fish Audio. Она преобразует текст в речь и поддерживает управление интонацией, эмоциями и другими особенностями произношения с помощью текстовых инструкций в квадратных скобках, которые можно размещать рядом с нужными фрагментами текста. Архитектура объединяет декодерный трансформер с аудиокодеком RVQ и состоит из двух авторегрессионных частей: модель на 4 млрд параметров предсказывает основной семантический код, а компонент на 400 млн параметров генерирует девять остаточных кодов для акустических деталей. Модель предназначена для многоязычной генерации речи, включая потоковый синтез. В карточке заявлена поддержка более 80 языков; среди основных — японский, английский и китайский, а также русский, корейский, испанский, португальский, арабский, французский и немецкий. Модель принимает текст и выдаёт аудио. Авторы сообщают о потоковом движке инференса на базе SGLang и скорости генерации выше реального времени на NVIDIA H200; эти показатели зависят от оборудования и конфигурации. Лицензия указана как «other», поэтому условия использования следует проверить на странице репозитория Hugging Face.

Fish Audio S2 Pro — модель синтеза речи, разработанная Fish Audio. Она преобразует текст в речь и поддерживает управление интонацией, эмоциями и другими особенностями произношения с помощью текстовых инструкций в квадратных скобках, которые можно размещать рядом с нужными фрагментами текста. Архитектура объединяет декодерный трансформер с аудиокодеком RVQ и состоит из двух авторегрессионных частей: модель на 4 млрд параметров предсказывает основной семантический код, а компонент на 400 млн параметров генерирует девять остаточных кодов для акустических деталей. Модель предназначена для многоязычной генерации речи, включая потоковый синтез. В карточке заявлена поддержка более 80 языков; среди основных — японский, английский и китайский, а также русский, корейский, испанский, португальский, арабский, французский и немецкий. Модель принимает текст и выдаёт аудио. Авторы сообщают о потоковом движке инференса на базе SGLang и скорости генерации выше реального времени на NVIDIA H200; эти показатели зависят от оборудования и конфигурации. Лицензия указана как «other», поэтому условия использования следует проверить на странице репозитория Hugging Face.

Карточка модели jitendra6371/s2-pro на Hugging Face совпадает с карточкой fishaudio/s2-pro, поэтому описание составлено по ней. Fish Audio S2 Pro — модель синтеза речи, разработанная Fish Audio. Она преобразует текст в речь и поддерживает управление интонацией, эмоциями и другими особенностями произношения с помощью текстовых инструкций в квадратных скобках, которые можно размещать рядом с нужными фрагментами текста. Архитектура объединяет декодерный трансформер с аудиокодеком RVQ и состоит из двух авторегрессионных частей: модель на 4 млрд параметров предсказывает основной семантический код, а компонент на 400 млн параметров генерирует девять остаточных кодов для акустических деталей. Модель предназначена для многоязычной генерации речи, включая потоковый синтез. В карточке заявлена поддержка более 80 языков; среди основных — японский, английский и китайский, а также русский, корейский, испанский, португальский, арабский, французский и немецкий. Модель принимает текст и выдаёт аудио. Авторы сообщают о потоковом движке инференса на базе SGLang и скорости генерации выше реального времени на NVIDIA H200; эти показатели зависят от оборудования и конфигурации. Лицензия указана как «other», поэтому условия использования следует проверить на странице репозитория Hugging Face.

Карточка модели Merlin07/s2-pro на Hugging Face совпадает с карточкой fishaudio/s2-pro, поэтому описание составлено по ней. Fish Audio S2 Pro — модель синтеза речи, разработанная Fish Audio. Она преобразует текст в речь и поддерживает управление интонацией, эмоциями и другими особенностями произношения с помощью текстовых инструкций в квадратных скобках, которые можно размещать рядом с нужными фрагментами текста. Архитектура объединяет декодерный трансформер с аудиокодеком RVQ и состоит из двух авторегрессионных частей: модель на 4 млрд параметров предсказывает основной семантический код, а компонент на 400 млн параметров генерирует девять остаточных кодов для акустических деталей. Модель предназначена для многоязычной генерации речи, включая потоковый синтез. В карточке заявлена поддержка более 80 языков; среди основных — японский, английский и китайский, а также русский, корейский, испанский, португальский, арабский, французский и немецкий. Модель принимает текст и выдаёт аудио. Авторы сообщают о потоковом движке инференса на базе SGLang и скорости генерации выше реального времени на NVIDIA H200; эти показатели зависят от оборудования и конфигурации. Лицензия указана как «other», поэтому условия использования следует проверить на странице репозитория Hugging Face.

Silero VAD v6 — экспорт модели обнаружения речевой активности Silero, подготовленный loom-ai-org для запуска в loom.cpp. Это модель архитектуры STFT + CNN + LSTM примерно с 300 тысячами параметров; веса соответствуют Silero VAD v6.2.3 для аудио 16 кГц и не изменены. Репозиторий упаковывает модель в формат GGUF; метаданные указывают библиотеку loom-py-rt и лицензию MIT. Модель принимает монофонический звук с частотой 16 кГц и выдаёт вероятность наличия речи для каждого кадра длительностью 32 мс. Она подходит для определения участков речи в аудиозаписях и предварительной обработки аудио перед распознаванием речи. Модель языконезависимая; README сообщает, что обучающие корпуса охватывают более 6000 языков. Выход представляет собой вероятности по кадрам, а не готовые временные метки речи: выбор порога и постобработку, включая обработку границ сегментов и отбрасывание коротких фрагментов, нужно выполнять отдельно. Экспортированная версия работает только с монофоническим аудио 16 кГц; вариант для 8 кГц не включён. По README, экспорт сохраняет вычисления исходной модели с небольшим расхождением вероятностей из-за округления с плавающей точкой.