I.9Аудио и музыка

Модель dianavdavidson/whisper-medium_mucs_62901_ratio_alldata_lr_1e-4_lgid_None_hinglish_mixed_scripts_FT — дообученная версия Whisper Medium от OpenAI для автоматического распознавания речи. Она принимает аудио и генерирует текст; в названии указана настройка на Hinglish со смешанными системами письма, однако README не уточняет состав данных и языковую поддержку. Модель построена на архитектуре WhisperForConditionalGeneration, содержит около 455,8 млн параметров и распространяется в формате Safetensors. В README приведены результаты оценки: loss 0,5005 и Global WER 27,9581; без описания набора данных и протокола оценки их нельзя напрямую интерпретировать как гарантию качества для конкретных записей. Лицензия — Apache 2.0. Карточка не описывает ограничения и рекомендуемые сценарии применения подробнее.

futo-org/acft-whisper-small — дообученная FUTO версия OpenAI Whisper Small для распознавания речи с повышенной устойчивостью при изменении аудиоконтекста. Метод дообучения рассчитан на более эффективную работу с короткими аудиофрагментами. Модель содержит 153,1 млн параметров и использует архитектуру Whisper для генерации текста по входному аудио. Модель предназначена для автоматической транскрибации коротких речевых записей. По README, сама по себе она не работает с настройками стандартного runtime Whisper; для проверки разных размеров аудиоконтекста авторы рекомендуют whisper.cpp с параметром --audio-context. Репозиторий содержит веса Safetensors, лицензия — Apache-2.0. Языковая поддержка в предоставленных данных не перечислена.

Christina TTS 1.5 — дообученная мультиязычная модель синтеза речи на основе Qwen/Qwen3-TTS-12Hz-0.6B-Base. Она создаёт аудио по тексту семью вариантами синтетического голоса, вдохновлёнными Куриcу Макисэ из визуальной новеллы Steins;Gate: отдельный вариант предусмотрен для каждого языка. Модель предназначена для озвучивания текста и создания персонажной речи на английском, японском, французском, испанском, русском, немецком и китайском языках. Для наиболее естественной интонации рекомендуется выбирать вариант голоса, соответствующий языку текста. Использование варианта на другом языке также возможно, но может давать акцент. Голос является фанатской реконструкцией и не принадлежит официальной актрисе озвучивания персонажа. Модель распространяется в формате safetensors; лицензия в предоставленных данных не указана.

phongdtd/fb-vindata-vi-large — модель распознавания речи на архитектуре Wav2Vec2ForCTC, разработанная путём дообучения facebook/wav2vec2-large-xlsr-53 на наборе PHONGDTD/VINDATAVLSP - NA. Она предназначена для преобразования аудио в текст; карточка указывает задачу automatic-speech-recognition и аудиовход. Размер модели — 402,8 млн параметров. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Карточка не приводит сведений о качестве распознавания, ограничениях или конкретных условиях записи, поэтому применимость к различным акцентам, шумным записям и другим речевым доменам не подтверждена.

GLAP (Generalized Language Audio Pretraining) — модель для сопоставления аудио с текстом, представленная проектом MiSpeech. Она оценивает пары аудио и текстовых описаний, что позволяет находить подходящие звуковые фрагменты по текстовому запросу или ранжировать описания по соответствию аудио. Модель предназначена для поиска по речи, музыке и другим звукам, включая сценарии retrieval и zero-shot оценки. GLAP заявлена как многоязычная модель, поддерживающая более восьми языков; среди примеров указаны японский, немецкий, испанский, китайский и нидерландский. Для музыки и звуковых событий README сообщает о сопоставимой с прежними базовыми решениями результативности на английском и о поддержке поиска на других языках. Репозиторий содержит веса в формате safetensors и использует библиотеку glap_model. Лицензия — Apache-2.0.

IndicF5-Hinglish — дообученная модель синтеза речи на основе ai4bharat/IndicF5, представленная Saravananravi. Она предназначена для озвучивания текста на хинглише — смеси хинди и английского с переключением языков внутри высказывания. В карточке указаны обучение на OpenSLR-104 (хинди) и 32 990 шагов обучения. Модель использует библиотеку f5-tts и веса в формате safetensors. Для запуска требуются Python 3.10+, PyTorch 2.2+, Vocos vocoder и репозиторий дообучения; рекомендуется CUDA GPU, а на CPU синтез работает медленнее. Лицензия — Apache-2.0.

Nextcloud-AI/Kokoro-82M — копия модели Kokoro-82M, подготовленная для использования в локальном приложении синтеза речи. Она предназначена для преобразования текста в речь; в метаданных указан английский язык. Репозиторий содержит веса PyTorch и основан на hexgrad/Kokoro-82M. Модель разработана для локальных приложений и сервисов преобразования текста в речь. README не приводит подробностей об архитектуре, размере или поддерживаемых голосах. Модель распространяется по лицензии Apache-2.0.

Xenova/larger_clap_music_and_speech — аудиомультимодальная модель на основе laion/larger_clap_music_and_speech, подготовленная в формате ONNX для работы с библиотекой Transformers.js. Репозиторий Xenova предоставляет веса, совместимые с JavaScript-средой и браузерными сценариями. Модель предназначена для классификации аудио без дополнительного обучения по текстовым описаниям классов (zero-shot audio classification). Она может сопоставлять аудиозапись с кандидатными метками, например отличать речь от музыкального произведения. Также модель поддерживает получение текстовых и аудиоэмбеддингов размерности 512, что позволяет сравнивать аудио и текст в общем векторном пространстве и использовать модель для поиска или семантического сопоставления. В README не указаны точный размер модели, внутреннее число параметров, архитектурные детали исходной модели, поддерживаемые языки и максимальная длина контекста. К сильным сторонам относятся работа без обучения на заданных категориях, поддержка отдельных текстового и аудиокодировщиков и возможность запуска через Transformers.js с ONNX-весами. Ограничения включают зависимость качества от формулировок кандидатных меток и отсутствие в предоставленных данных сведений о точности, языковом покрытии и производительности. Лицензия в README не указана.

Magpie-TTS 13-Language (357M) — модель синтеза речи, созданная сообществом на основе NVIDIA Magpie-TTS-Multilingual 357M из семейства Koel-TTS. Команда добавила поддержку суахили к двенадцати языкам базовой модели: арабскому, немецкому, английскому, испанскому, французскому, хинди, итальянскому, японскому, корейскому, португальскому, вьетнамскому и китайскому. Модель использует аудиокодек с частотой дискретизации 22,05 кГц и битрейтом 1,89 кбит/с; размер — 357 млн параметров. Модель предназначена для синтеза речи на тринадцати поддерживаемых языках, в том числе для озвучивания текста на суахили. Для суахили применены отдельный байтовый токенизатор, адаптация входных эмбеддингов и обучение с повторением примеров на исходных языках. В README сообщается о CER 8,8% на отложенных данных суахили и отсутствии измеримого ухудшения качества на двенадцати исходных языках. Доступны пять встроенных голосов; клонирование голоса по образцу не поддерживается. Для некоторых генераций без звука рекомендуется повторить синтез с другим seed. Данные суахили преимущественно состоят из прочитанной литературной речи и имеют перекос в сторону одного диктора. Веса распространяются по лицензии `other`; условия следует уточнять на странице модели. Суахили добавлено сообществом и не является функцией, предоставляемой или одобренной NVIDIA.

facebook/mms-tts-bak — модель синтеза речи на башкирском языке из проекта Massively Multilingual Speech компании Facebook. Она преобразует текст в речевую аудиоволну и предназначена для озвучивания башкирских текстов. Для каждого языка проекта обучена отдельная модель MMS-TTS. Модель использует архитектуру VITS — сквозной вариационный автоэнкодер с Transformer-энкодером текста, поточным модулем, декодером в стиле HiFi-GAN и стохастическим предсказателем длительности. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для работы поддерживается библиотека Transformers версии 4.33 и выше. Стохастический предсказатель позволяет получать варианты ритма для одного и того же текста, поэтому результаты синтеза недетерминированы; фиксированный seed нужен для воспроизведения той же аудиоволны. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-lav — модель синтеза речи на латышском языке из проекта Massively Multilingual Speech компании Facebook. Это отдельный чекпойнт для латышского языка; модель принимает текст и генерирует речевую аудиоволну. Она построена на архитектуре VITS и имеет около 3,5 млн параметров. VITS объединяет вариационный автоэнкодер, потоковый модуль, Transformer-энкодер текста и декодер, формирующий аудиосигнал; стохастический предсказатель длительности позволяет варьировать ритм произношения. Для повторения того же результата требуется фиксировать seed. Модель подходит для озвучивания латышского текста в приложениях и голосовых интерфейсах. Карточка указывает поддержку библиотеки Transformers версии 4.33 и выше. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая не разрешает коммерческое использование.

facebook/mms-tts-nld — модель синтеза нидерландской речи из текста, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Для каждого языка MMS обучается отдельная модель; этот чекпойнт предназначен для нидерландского языка. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Она работает сквозным образом: преобразует входной текст в речевую аудиоволну, используя текстовый энкодер на основе Transformer, поточный модуль, декодер типа HiFi-GAN и стохастический предиктор длительности. Модель доступна через библиотеку Transformers. Чекпойнт подходит для озвучивания нидерландского текста и приложений синтеза речи. Из-за стохастического предиктора одинаковый текст может звучать по-разному; для воспроизводимого результата нужно фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но некоммерчески.

facebook/mms-tts-sqi — модель синтеза речи на албанском языке из проекта Massively Multilingual Speech компании Facebook. Это отдельный чекпойнт для албанского языка на архитектуре VITS, реализующий сквозное преобразование входного текста в речевую аудиоволну. Модель содержит около 3,5 млн параметров и доступна в форматах PyTorch и Safetensors; для работы с ней подходит библиотека Transformers версии 4.33 и выше. Модель предназначена для озвучивания албанского текста. Архитектура VITS сочетает вариационный автокодировщик, потоковый модуль, текстовый энкодер на основе Transformer, декодер и стохастический предиктор длительности, благодаря которому один текст может звучать с разным ритмом. Генерация недетерминирована: для повторяемого результата требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-tha — модель синтеза речи на тайском языке из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует текст в речевую аудиоволну и подходит для озвучивания тайских фраз и текстов. Модель построена на архитектуре VITS и содержит около 3,6 млн параметров. Это сквозная система синтеза речи с вариационным автоэнкодером, поточным модулем и декодером на основе свёрточных слоёв; стохастический предсказатель длительности позволяет получать разный ритм речи для одного текста. Модель доступна через библиотеку Transformers версии 4.33 и новее. Чекпойнт обучен специально для тайского языка. Генерация недетерминирована: для повторения того же аудио требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-ukr — модель синтеза речи на украинском языке из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания украинских фраз и создания речевого вывода в приложениях. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это сквозная система с текстовым энкодером, потоковым модулем и декодером HiFi-GAN; предсказатель длительности позволяет варьировать ритм произношения. Для повторяемого результата генерации требуется фиксировать seed, поскольку модель недетерминирована. Доступна через Transformers версии 4.33 и новее. Модель предназначена для украинского языка. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-uzb-script_cyrillic — модель синтеза речи на узбекском языке, записанном кириллицей, из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она предназначена для преобразования текста в речевую аудиоволну, например для озвучивания текстов и создания голосового вывода в приложениях. Модель использует архитектуру VITS и содержит 3,5 млн параметров. Это отдельный чекпойнт для узбекского языка; архитектура объединяет текстовый энкодер, потоковый модуль и декодер речи и может синтезировать варианты с разным ритмом. Для повторения идентичного аудиовывода требуется фиксированное начальное значение генератора случайных чисел. Модель доступна через библиотеку Transformers версии 4.33 и выше и распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Карточка модели african-low-resource/omnivoice-amharic на Hugging Face совпадает с карточкой Lab-et/omnivoice-amharic, поэтому описание составлено по ней. OmniVoice Amharic — модель синтеза речи, разработанная участниками инициативы Voices For All и дообученная на базе k2-fsa/OmniVoice. Она преобразует текст в естественную амхарскую речь и поддерживает клонирование голоса по аудиозаписи длительностью около 10 секунд. Модель использует нед autoregressive дискретную диффузионную архитектуру; заявленный размер — 612,6 млн параметров. Базовая OmniVoice также поддерживает английский и китайский, однако эта версия обучалась на амхарских аудиоданных и прежде всего предназначена для амхарского языка. Модель подходит для озвучивания текстов, создания речи голосом заданного говорящего и синтеза амхарской речи с учетом характерных согласных, геминации и интонации. В карточке перечислены данные из нескольких амхарских речевых корпусов и заявлена поддержка диалектных вариантов, хотя обучающие данные смещены в сторону аддис-абебского произношения. Лицензия — Apache 2.0. Известные ограничения: в обучающих данных преобладают мужские голоса, сельские акценты представлены слабее, а переключение между амхарским и английским, числительные и даты могут произноситься непредсказуемо. Эмоциональный диапазон ограничен нейтральной и новостной манерой; количественные результаты оценки в карточке пока не опубликованы.

Это модель синтеза речи Piper для польского языка, голос zenski_wg_glos. Модель перепакована из репозитория WitoldG/polish_piper_models для использования с speaches и распространяется в формате ONNX. Она преобразует польский текст в речь с женским голосом. Подходит для озвучивания текста и интеграции синтеза речи в приложения, использующие Piper или speaches. В метаданных указан язык pl; дополнительные сведения об архитектуре, размере и контекстном окне не приводятся. Условия лицензирования в карточке не описаны.

Многоязычная модель синтеза речи Piper Plus CSS10 Japanese, опубликованная ayousanz и дообученная на базе ayousanz/piper-plus-base с использованием японской части набора данных CSS10. Модель предназначена для преобразования текста в речь на японском, английском, китайском, испанском, французском и португальском языках, включая локальные приложения и сценарии офлайн-синтеза через Piper. Модель построена на архитектуре VITS с декодером MB-iSTFT и PQMF, поддерживает 173 мультиязычные фонемы, признаки просодии размерностью 16 и одного говорящего. Частота дискретизации составляет 22050 Гц, заявленное качество — medium. Экспортированный ONNX-вариант использует FP16, имеет размер около 38 МБ и совместим с выходной формой [B, 1, T]. Для работы требуется runtime Piper Plus начиная с PR #320; модель поддерживает C++, Rust, C#, Go и WASM без изменений в этих runtime. К сильным сторонам относятся поддержка шести языков, компактный ONNX-формат и ускоренный декодер: для CPU ONNX заявлено примерно 76,2 мс на 100 фонем против 168,2 мс у прежней версии на HiFi-GAN. Ограничения включают наличие только одного голоса, средний уровень качества и зависимость от совместимого runtime Piper Plus. Лицензия указана как css10-public-domain и связана с условиями набора данных CSS10; подробности следует проверять в репозитории CSS10.

speaches-ai опубликовала ONNX-версию модели Piper для синтеза украинской речи из текста. Она принимает текст на украинском языке и создаёт аудио с частотой дискретизации 22,05 кГц. В конфигурации указаны качество medium и три голоса: Lada, Mykyta и Tetiana. Репозиторий содержит модель ONNX, а карточка указывает на использование с Piper и библиотекой speaches. Данных о лицензии или подробных ограничениях качества в доступной карточке нет.

Sooktam-2 — мультиязычная модель синтеза речи BharatGen, созданная для индийских языков и индийского английского. Она преобразует текст в речь с помощью архитектуры F5-TTS и поддерживает 12 языков: хинди, маратхи, гуджарати, тамильский, телугу, каннада, бенгальский, малаялам, ория, урду, пенджаби и индийский вариант английского. Модель использует голосовое кондиционирование по референсному аудио для клонирования голоса с сохранением особенностей диктора, акцента и интонации. Sooktam-2 предназначена для озвучивания текстов, мультиязычных голосовых интерфейсов и приложений, которым нужна естественная речь на языках Индии. В карточке заявлены выразительная просодия и токенизация CLS с учетом языка для более точной передачи индийской фонетики. Репозиторий содержит веса PyTorch и Safetensors и рассчитан на использование через Transformers; лицензия в предоставленных данных не указана.

Это модель синтеза речи на основе SpeechT5, дообученная автором репозитория wuula на наборе данных speecht5_tts_common_voice_zh. Она преобразует текст на китайском языке в аудио и может использоваться для озвучивания текста. В README приведено значение Loss 0.6217 на оценочном наборе; подробности протокола оценки не описаны. Модель опубликована в формате PyTorch и распространяется по лицензии MIT.

Модель vineetsharma/speecht5_tts-finetuned-voxpopuli-sk-v2 — версия SpeechT5, дообученная на наборе данных facebook/voxpopuli для синтеза речи из текста. Она принимает текст и генерирует аудио; архитектура основана на SpeechT5ForTextToSpeech. В README приведено значение loss 0,4354 на оценочном наборе, но дополнительных сведений о качестве и настройках оценки нет. Модель предназначена для преобразования текста в речь в сценариях, связанных с данными VoxPopuli. Она распространяется в форматах PyTorch и Safetensors по лицензии MIT. Язык синтезируемой речи и ограничения применения в карточке подробно не описаны.

kalmuraee/tokens — модель автоматического распознавания речи, созданная дообучением facebook/wav2vec2-xls-r-300m на наборе Common Voice. Она использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. Модель принимает аудио и выдаёт распознанный текст. В README приведены результаты оценки на тестовой выборке: loss 0,9811 и WER 0,4608. Язык распознавания и конкретные сценарии применения в карточке не уточнены. Модель распространяется в формате PyTorch по лицензии Apache-2.0.

sanchit-gandhi/wav2vec2-gpt2-wandb-grid-search — модель распознавания речи на архитектуре SpeechEncoderDecoderModel. По карточке, её обучили с нуля на датасете LibriSpeech ASR; формат весов — PyTorch. Модель предназначена для преобразования аудиозаписей речи в текст. Карточка не приводит сведений о размере, контексте, языках, качестве распознавания или конкретных сценариях применения. Эти характеристики нельзя надёжно определить по имеющимся данным. Лицензия в доступных сведениях не указана.

bayartsogt/wav2vec2-large-xlsr-mongolian — модель распознавания монгольской речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на данных Common Voice. Она преобразует аудиозапись в текст и рассчитана на распознавание монгольского языка; для входной речи требуется частота дискретизации 16 кГц. Модель построена на архитектуре Wav2Vec2ForCTC и содержит около 402,7 млн параметров. В README приведён результат оценки 45,82% на тестовой части монгольского Common Voice, но метрика не уточнена. Лицензия — Apache-2.0. Описание обучения содержит незаполненные поля, поэтому точный состав обучающих данных и скрипт обучения не приведены.

Это дообученная модель OpenAI Whisper Medium, опубликованная dianavdavidson на Hugging Face. Она предназначена для автоматического распознавания речи и преобразования аудио в текст; название репозитория указывает на настройку для хинди. Модель построена на архитектуре WhisperForConditionalGeneration и содержит 455,8 млн параметров. В README приведены результаты оценки: loss 0,2884 и Global WER 26,1916; описание набора данных и условий оценки отсутствует. Модель распространяется в формате safetensors и использует лицензию Apache-2.0. Мультиязычная базовая модель Whisper Medium также поддерживает перевод речи, однако для этой версии в карточке подтверждено только распознавание речи. Значение WER зависит от языка и набора оценки, поэтому приведённый результат не гарантирует качество на других данных.

steja/whisper-small-marathi — модель распознавания речи на основе Whisper Small, дообученная автором steja на наборе mozilla-foundation/common_voice_11_0 для маратхи. Она преобразует аудио в текст и предназначена для автоматической транскрипции речи на маратхи. Модель содержит 153,1 млн параметров, использует архитектуру WhisperForConditionalGeneration и распространяется в формате PyTorch по лицензии Apache-2.0. В карточке приведён результат оценки на тестовом наборе: WER 18,5782 и loss 0,6231. Эти показатели относятся к указанному набору данных; карточка не описывает качество на других аудиозаписях и сценариях.

Jingmiao/whisper-small-zh_tw — дообученная модель распознавания речи на основе openai/whisper-small. Она предназначена для преобразования аудио на тайваньском варианте китайского языка в текст; при дообучении использован набор mozilla-foundation/common_voice_11_0. Модель построена на архитектуре Whisper и содержит 153,1 млн параметров. На оценочной выборке указана потеря 0,2283 и частота ошибок слов WER 41,9652. Модель распространяется в формате PyTorch по лицензии Apache-2.0.

JRHuy/whisper-vietnamese-2 — дообученная модель семейства Whisper, разработанная на основе duytran3112/whisper-sm-vivos. Она предназначена для автоматического распознавания речи: принимает аудио и генерирует текстовую расшифровку. Модель содержит 153,1 млн параметров; в репозитории указаны веса PyTorch. На оценочном наборе README сообщает Loss 0,4398, WER 15,4165 и CER 8,2906; описание набора данных и методики оценки не приведено, поэтому эти результаты не позволяют надёжно судить о качестве на других записях. По названию модель ориентирована на вьетнамскую речь. Модель распространяется по лицензии Apache-2.0.