I.9Аудио и музыка

Карточка модели ankurbanik/svara-tts-v1 на Hugging Face совпадает с карточкой kenpath/svara-tts-v1, поэтому описание составлено по ней. svara-TTS v1 — многоязычная модель синтеза речи, опубликованная kenpath и построенная на базе canopylabs/3b-hi-ft-research_release. Это плотная LlamaForCausalLM с подходом Orpheus: текст преобразуется в дискретные аудиотокены, из которых синтезируется речь. Модель содержит 3,3 млрд параметров, а длина контекста составляет 131 072 токена. Модель предназначена для синтеза речи на 18 индийских языках и индийском английском, включая хинди, бенгальский, маратхи, телугу, каннада, тамильский, непальский и санскрит. Она поддерживает управление стилем и эмоциями, простые идентификаторы дикторов, переключение языков и zero-shot адаптацию. Разработчик отмечает низкую задержку, возможность запуска на обычных GPU и CPU, а также совместимость с GGUF-экспортами; в метаданных репозитория указан формат safetensors. Сценарии применения включают голосовых помощников, IVR, озвучивание учебных материалов, средства доступности и локализацию контента. Карточка сообщает об обучении на более чем 2 000 часах речи из SYSPIN, RASA, IndicTTS и SPICOR. Известные ограничения: редкие имена могут требовать подсказок по произношению, длинные предложения лучше разбивать, а сила эмоциональной окраски различается между языками; переключение языков не является детерминированным. Лицензия — Apache-2.0.

TEA-ASR-1.1-mini — компактная модель распознавания речи, разработанная участниками проекта TEA-ASR для повседневного тайваньского мандаринского языка. Это дообученная версия Qwen3-ASR-0.6B с плотной архитектурой Qwen3ASRForConditionalGeneration; в README указано 780 млн параметров. Модель преобразует речь в традиционный китайский текст с лексикой Тайваня и рассчитана на переключение между мандаринским и английским языками. Встроенные теги формата позволяют управлять записью английских фрагментов и стилем записи чисел. Модель предназначена для транскрибации аудио в компактных сценариях, где важны тайваньская лексика и смешанная китайско-английская речь. Она поставляется как единый checkpoint в формате Safetensors и работает через Transformers как Qwen3-ASR. По README, в версии 1.1-mini улучшена обработка переключения языков относительно первого поколения; численные результаты приведены для ASCEND и CSZS. Лицензия — MIT.

Musharaf08/wav2vec2-balti-google-colab — дообученная модель распознавания речи на архитектуре Wav2Vec2ForCTC, основанная на facebook/wav2vec2-base. Она предназначена для преобразования речи в текст; название репозитория указывает на язык балти, однако README не содержит сведений о тренировочном наборе данных или поддерживаемых языках. Модель содержит 113,3 млн параметров и распространяется в формате safetensors через Transformers. В карточке приведены результаты оценки: loss 0,9115 и WER 0,5423. Модель выпущена под лицензией Apache-2.0. Данных о длине аудио, условиях записи и известных ограничениях нет.

greenw0lf/wav2vec2-large-xls-r-1b-frisian — модель автоматического распознавания речи на архитектуре Wav2Vec2ForCTC, созданная дообучением facebook/wav2vec2-xls-r-1b на Common Voice 13.0. Модель предназначена для преобразования речи на фризском языке в текст. В карточке приведён результат оценки на тестовом наборе: WER 0,1493 и loss 0,2204. Модель содержит около 1,3 млрд параметров и представлена в формате PyTorch; она принимает аудио и выдаёт текстовую транскрипцию. Лицензия — Apache-2.0. Карточка не описывает дополнительные сценарии применения или ограничения качества.

reichenbach/wav2vec2-large-xls-r-300m-pa-in — дообученная модель распознавания речи на базе facebook/wav2vec2-xls-r-300m. Архитектура Wav2Vec2ForCTC содержит 402,7 млн параметров; модель принимает аудио и преобразует речь в текст. Она дообучена на Common Voice и предназначена для автоматического распознавания речи на языке па-ин (pa-IN). В карточке приведены результаты оценки: WER 0,7283 и CER 0,2928; также указан WER 0,7539 для оценки. Эти значения свидетельствуют о заметных ошибках распознавания, поэтому качество следует проверять на целевых аудиозаписях. Модель распространяется по лицензии Apache-2.0.

infinitejoy/wav2vec2-large-xls-r-300m-welsh — модель распознавания речи на архитектуре Wav2Vec2ForCTC, разработанная дообучением facebook/wav2vec2-xls-r-300m на валлийской части набора Mozilla Common Voice 7.0. Она преобразует аудио с речью на валлийском языке в текст и подходит для транскрибирования записей и голосовых сообщений. В оценке на указанном наборе достигла WER 0,2702 и loss 0,2650. Репозиторий содержит веса PyTorch; лицензия — Apache-2.0.

Модель Lemswasabi/wav2vec2-large-xlsr-53-842h-luxembourgish-14h — акустическая модель распознавания речи на базе wav2vec 2.0 Large XLSR-53, дообученная разработчиками на люксембургской речи. Сначала использовано 842 часа неразмеченной речи, собранной RTL.lu, затем модель дообучили на 14 часах размеченной речи из того же источника. Модель предназначена для преобразования люксембургской речи в текст, в частности для аудио, близкого к домену RTL.lu. Архитектура — Wav2Vec2ForCTC, размер — 402,7 млн параметров; поддерживается входное аудио и задача automatic speech recognition. Репозиторий содержит веса PyTorch. Модель выпущена по лицензии MIT. Карточка не приводит результаты оценки и подробные сведения об ограничениях, поэтому качество на иных доменах и акустических условиях по имеющимся данным оценить нельзя.

Модель vitouphy/wav2vec2-xls-r-300m-khmer — система автоматического распознавания речи на кхмерском языке. Это дообученная на данных OpenSLR версия facebook/wav2vec2-xls-r-300m, построенная на архитектуре Wav2Vec2ForCTC; в метаданных указано 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст, её можно использовать через pipeline библиотеки Transformers. Для декодирования с языковой моделью README описывает поддержку pyctcdecode. На тестовом разбиении OpenSLR автор сообщает WER 0,322 и CER 0,087 без языковой модели; с языковой моделью — WER 0,257 и CER 0,070. Обучающие данные составляют около 3,2 часа записей, поэтому покрытие словаря ограничено: редкие кхмерские символы распознаются хуже, а речь должна быть чёткой и разборчивой. Лицензия — Apache-2.0.

Это версия Whisper Large-v3 Turbo, дообученная для распознавания шотландского гэльского языка и преобразованная в формат CTranslate2. Репозиторий подготовлен для использования с CTranslate2 и совместимыми проектами, например faster-whisper. Базовая модель — мультиязычная модель распознавания речи OpenAI; данные README связывают разработку с исследованием по созданию систем распознавания для языков с малым объёмом данных. Модель принимает аудио и выдаёт текстовую расшифровку на шотландском гэльском. В README приведены результаты для четырёх тестовых наборов: средний WER конфигурации Whisper Turbo с LoRA 512 и дополнительными полусупервизорными данными составляет 19,0; фактическое качество зависит от версии чекпойнта и используемой квантизации. Веса сохранены в FP16, а тип вычислений можно менять при загрузке через CTranslate2. Лицензия указана как other, поэтому условия использования следует сверить с карточкой репозитория и базовой модели.

Модель jenjenot/whisper_medium_tw_minnan — дообученная версия OpenAI Whisper Medium для автоматического распознавания речи. Она предназначена для преобразования аудио в текст; обучение выполнено на наборе thomas0104/nan_tw_soap_opera. Модель содержит около 455,8 млн параметров, использует архитектуру WhisperForConditionalGeneration и опубликована в формате safetensors. Карточка и метаданные связывают её с китайским языком; название модели указывает на миньнаньский вариант китайского, однако карточка не уточняет языковое покрытие и качество распознавания. Лицензия в предоставленных данных не указана.

Whisper-Small-Kinyarwanda — модель mbazaNLP на архитектуре Whisper Small от OpenAI, дообученная для распознавания речи на киньяруанда на данных Mozilla Common Voice 11.0. Поддержка киньяруанда добавлена дообучением поверх суахили; модель предназначена для преобразования аудиозаписей на этом языке в текст и размечена для автоматического распознавания речи. В карточке указана оценка 24 WER. Модель не выполняет перевод с киньяруанда на английский. Базовая модель Whisper Small мультиязычна и поддерживает транскрибирование речи и перевод аудио на английский, но это дообучение не заявляет такую возможность для киньяруанда. Репозиторий использует формат PyTorch и лицензию CC.

AllehellA/whisper-small-nigerian-en — дообученная модель распознавания речи на базе OpenAI Whisper Small. Она предназначена для транскрибирования аудио с нигерийским вариантом английского языка. Модель построена на архитектуре Whisper, содержит 153,1 млн параметров и доступна в формате Safetensors для библиотеки Transformers. В README приведены результаты оценки: WER 8,2943 и нормализованный WER 5,2181. Датасет обучения не назван, поэтому эти значения не позволяют судить о качестве на других выборках и условиях записи. Модель распространяется по лицензии Apache-2.0.

Whisper Small Swahili — модель распознавания речи, полученная дообучением openai/whisper-small на подмножестве Common Voice 11.0 для суахили. Она принимает аудио и генерирует текстовую транскрипцию; архитектура — WhisperForConditionalGeneration, размер — 153,1 млн параметров. В оценке на тестовом наборе указаны loss 0,5597 и WER 27,6211. Модель подходит для транскрибирования записей и голосовых сообщений на суахили. Карточка не описывает дополнительные сценарии или языки дообучения. Опубликована в форматах PyTorch и Safetensors под лицензией Apache-2.0.

Granite Speech 5.0 470M TurboCTC NC — компактная англоязычная модель распознавания речи от IBM. Она предназначена для быстрого преобразования аудио в текст в исследовательских и некоммерческих сценариях; для коммерческого применения в README предлагается другая версия Granite Speech 5.0 Turbo CTC. Модель содержит 470 млн параметров и использует акустический энкодер Conformer с блочным self-attention, self-conditioning и временным уменьшением разрешения. Выходной слой соответствует 16 384 BPE-токенам. Обучение проводилось на примерно 75 000 часах англоязычного аудио; распознавание выполняется без авторегрессии с жадным декодированием, что обеспечивает высокую скорость инференса. Модель поддерживает распознавание английской речи, включая короткие аудиозаписи; README также описывает оценку на тестах с шумом и реверберацией. Лицензия CC-BY-NC-SA-4.0 ограничивает применение некоммерческими условиями и требует соблюдения атрибуции и распространения производных материалов на совместимых условиях.

Это модель автоматического распознавания речи, дообученная на базе facebook/wav2vec2-large-xlsr-53. Она использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. По названию репозитория модель предназначена для распознавания речи на языке чероки; README сообщает метрики оценки: WER 0,1651 и CER 0,0276. Модель принимает аудио и преобразует речь в текст. Она опубликована в формате safetensors и распространяется по лицензии Apache-2.0. Сведения о тренировочных данных и подробные инструкции по применению в карточке отсутствуют.

HuggingAnalist подготовил модель распознавания речи на шона для задачи Waxal ASR Challenge. Это дообученная версия facebook/mms-300m на датасете WaxalNLP sna_asr с символьной CTC-головой; архитектура основана на Wav2Vec2. Для декодирования методом beam search в репозитории также приведена 4-граммная языковая модель KenLM, обученная на транскрипциях обучающей выборки. Метаданные указывают 1,3 млрд параметров и формат safetensors. Модель принимает аудио и выдаёт текст на шона. Лицензия и длина контекста в предоставленных данных не приведены.

Модель facebook/mms-tts-urd-script_devanagari — система синтеза речи для текста на урду, записанного письмом деванагари, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Это отдельный языковой чекпойнт проекта, доступный через библиотеку Transformers версии 4.33 и новее. Модель построена на архитектуре VITS и преобразует входную последовательность текста непосредственно в речевую аудиоволну. В архитектуру входят текстовый энкодер на основе Transformer, поточный модуль, стохастический предсказатель длительности и декодер, подобный HiFi-GAN. Размер модели — 3,6 млн параметров. Модель предназначена для озвучивания текста на урду в письме деванагари. Стохастический предсказатель длительности позволяет получать разные ритмические варианты произнесения; генерация недетерминирована, поэтому для повторения результата нужен фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

Moonshine Base JA GGUF — это квантованные конвертации модели UsefulSensors moonshine-base-ja, подготовленные командой handy-computer для работы с transcribe.cpp. Модель предназначена для автоматического распознавания японской речи и преобразования аудио в текст, в том числе локально на CPU, Metal или Vulkan. Она принимает монофонический PCM-аудиосигнал с частотой 16 кГц и возвращает только транскрипцию на японском языке. Модель использует encoder-decoder Transformer с 62 млн параметров и трёхслойным стемом Conv1d, без применения STFT и mel-фильтров. Доступны варианты F32 размером 248 МБ, F16 размером 132 МБ и Q8_0 размером 77 МБ. На тестовом наборе FLEURS ja CER составляет 10,84% для F32, 10,81% для F16 и 10,53% для Q8_0 согласно указанным в карточке измерениям. Модель не поддерживает потоковую обработку, перевод, автоматическое определение языка и временные метки; контекст генерации ограничен max_length 192 в конфигурации проверки. Основные преимущества — компактный размер, возможность запуска через transcribe.cpp и отсутствие необходимости в STFT или mel-фильтробанке. Ограничения включают поддержку только японского языка, работу лишь с транскрипцией без перевода и временных меток, а также необходимость предварительно подавать аудио в формате 16 кГц mono WAV. Модель распространяется по лицензии MIT, унаследованной от базовой модели.

KiaBush/Persian-IPA-to-Speech-F5 — чекпойнт синтеза персидской речи, созданный дообучением F5-TTS v1 Base. Модель принимает последовательности IPA в Unicode, а не обычное персидское написание, и генерирует монофоническую речь с частотой 24 кГц. Архитектура основана на DiT с 22 слоями, размерностью 1024 и 16 головами внимания; для вокодирования используется Vocos. Веса EMA доступны в формате Safetensors, а для токенизации применяется собственный словарь из 2547 символов. Модель предназначена для синтеза речи по персидской фонетической транскрипции и поддерживает обусловливание по референсному аудио. Для обычного персидского текста README рекомендует сначала преобразовать его в IPA отдельной моделью Persian Text-to-IPA, затем передать транскрипцию в синтезатор. Качество зависит от точности IPA, корректности транскрипции референса и качества записи; для имён, чисел, сокращений и контекстных произношений рекомендуется проверять транскрипцию. Выпуск весов распространяется по лицензии CC BY-NC 4.0; право использовать голос референсной записи необходимо получать отдельно.

aufklarer/Qwen3-TTS-12Hz-1.7B-Base-MLX-bf16 — конверсия базовой модели Qwen/Qwen3-TTS-12Hz-1.7B-Base в формат MLX для запуска на Apple Silicon. Это плотная архитектура Qwen3-TTS с трансформером Talker, Code Predictor и декодером речевого токенизатора; модель содержит 1,7 млрд параметров и использует bf16 без квантизации. Она синтезирует речь по тексту с частотой дискретизации 24 кГц и кодеком 12,5 Гц; README приводит пример использования через модуль Qwen3TTS библиотеки speech-swift. Модель предназначена для локального синтеза речи на устройствах Apple Silicon. В README для bf16 указаны скорость RTF 0,48 и пиковое потребление памяти 4,1 ГиБ; оценка WER 7,05% получена на 15 фразах при обратной транскрипции с помощью Qwen3-ASR и отражает совместную работу синтеза и распознавания. Карточка не описывает клонирование голоса для этого репозитория. Метаданные связывают базовую модель с английским, китайским, японским, корейским, французским, немецким и испанским языками. Лицензия — Apache-2.0.

Shinzmann/soro-tts-hau — модель синтеза речи на хауса из системы Soro-TTS для нигерийских языков. Это дообученная версия facebook/mms-tts-hau на подмножестве hau_tts корпуса WAXAL NLP; модель основана на архитектуре VITS и содержит около 83 млн параметров по README. Метаданные указывают 3,5 млн параметров, поэтому размер модели в источниках расходится. Модель преобразует текст на хауса в речь и подходит для озвучивания новостей, повествовательных текстов и других заранее подготовленных материалов. Обучение проводилось на 10,45 часа студийных записей одного диктора; частота дискретизации синтезированного аудио — 16 кГц. Оценка CER по распознаванию синтезированной речи составила 24,51% на 20 примерах; это косвенная оценка разборчивости, а не естественности звучания. Модель наследует голос и акцент диктора из обучающих записей. Разговорная, неформальная и смешанная с другими языками речь может выходить за пределы обучающих данных; отсутствие диакритических знаков тонов может ухудшать интонацию или смысл. Лицензия CC BY-NC 4.0 разрешает использование на условиях указания авторства и запрещает коммерческое применение.

Это модель автоматического распознавания речи на базе Wav2Vec2, дообученная автором karanthgreeshma на facebook/wav2vec2-xls-r-300m с использованием Common Voice 13.0. Модель построена на архитектуре Wav2Vec2ForCTC и содержит 402,7 млн параметров. Модель принимает аудио и предназначена для преобразования речи в текст. В карточке указана оценка WER 0,5229 на наборе оценки; это свидетельствует об ограниченной точности и требует проверки на данных целевого сценария. Модель опубликована в формате PyTorch под лицензией Apache-2.0. README содержит мало сведений о целевом языке и ограничениях применения.

syp1229/wav2vec2-large-xls-r-300m-korean_y_freq — модель автоматического распознавания речи на основе Wav2Vec2, дообученная автором репозитория на неизвестном наборе данных. Она принимает аудио и предназначена для преобразования речи в текст; название указывает на корейский язык, однако README не подтверждает языковой состав данных или область применения. Модель содержит 404 млн параметров и опубликована в формате Safetensors; базовая модель — facebook/wav2vec2-xls-r-300m. На указанном в README оценочном наборе приведены Loss 0,4522 и CER 13,5023. Лицензия — Apache-2.0. Сведения о длине контекста, условиях записи и ограничениях применения не приведены.

Модель sakares/wav2vec2-large-xlsr-thai-demo — дообученная разработчиком sakares версия facebook/wav2vec2-large-xlsr-53 для распознавания тайской речи. Она построена на архитектуре Wav2Vec2ForCTC и содержит 402,7 млн параметров; обучалась на данных Common Voice. Модель принимает аудио, записанное с частотой дискретизации 16 кГц, и преобразует речь в текст без языковой модели. Модель предназначена для автоматической транскрипции тайской речи и оценки качества распознавания на тестовой выборке Common Voice. В README приведён тестовый результат 44,46%, но метрика не уточнена. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.

chaanks/wav2vec2-small — модель на архитектуре Wav2Vec2, опубликованная пользователем chaanks на Hugging Face. Она предназначена для извлечения признаков из аудиосигналов речи и может использоваться как речевой энкодер в последующих задачах машинного обучения. Модель содержит около 113,3 млн параметров и распространяется в формате Safetensors для PyTorch и Transformers. Основная модальность — аудио; в метаданных указан pipeline feature-extraction. Языковая специализация и длина контекста не определены по доступным данным. Лицензия в доступных источниках не указана.

whisper-medium-myanmar — модель распознавания речи на основе Whisper medium от OpenAI, дообученная автором репозитория на наборе chuuhtetnaing/myanmar-speech-dataset-openslr-80. Она преобразует аудиозаписи на бирманском языке в текст и предназначена для автоматической транскрипции речи. Модель построена на архитектуре Whisper и содержит 455,8 млн параметров. В метаданных указан формат safetensors и библиотека Transformers. На оценочном наборе автор сообщает loss 0,2282 и WER 49,4657; это указывает на заметные ошибки распознавания, поэтому качество следует проверять на целевых аудиозаписях. Лицензия — Apache-2.0.

whisper-small-yoruba-07-17 — модель распознавания речи, созданная дообучением Whisper Small от OpenAI. Она принимает аудио и предназначена для автоматической транскрибации; название модели указывает на настройку для йоруба. Веса представлены в формате safetensors, размер модели — 153,1 млн параметров. В карточке приведены результаты оценки: WER 25,6765 и орфографический WER 34,5068. Описание набора данных, сценариев применения и известных ограничений в README не раскрыто. Модель распространяется по лицензии Apache-2.0.

Whistle — компактная модель распознавания речи от Cactus-Compute для локального запуска на мобильных устройствах, носимой электронике, роботах, устройствах умного дома, автомобилях и микроконтроллерах. Она принимает монофонический звук с частотой 16 кГц и распознаёт речь на английском, немецком, французском, испанском, итальянском, нидерландском и польском языках; язык можно определять автоматически или задавать явно. Модель сочетает log-mel-преобразование, свёрточный начальный блок, аудиоэнкодер и декодер Needle с перекрёстным вниманием. Файл модели занимает 16,9 МБ; заявлена работа на CPU без GPU и дополнительных сред выполнения в движке Cactus Needle. Помимо транскрипции, Whistle может выдавать временные метки и вероятности для отдельных слов, потоково распознавать длинные записи и формировать речевые эмбеддинги для поиска и сопоставления. Поддерживается смещение распознавания в пользу заданных ключевых слов. Модель рассчитана на распознавание аудио на устройстве, что подходит для приложений, которым нужна локальная обработка речи. Для входа требуется аудио 16 кГц в моно; другие частоты дискретизации и захват с микрофона требуют дополнительного пакета. Лицензия — Apache-2.0.

xlsr-300m-mizonal3-E4-lus-v2026.06 — модель автоматического распознавания речи, созданная Andrew Bawitlung дообучением facebook/wav2vec2-xls-r-300m на наборе MiZonal v3.0. Версия E4 использует SpecAugment с маскированием временных и частотных участков спектрограммы; в MiZonal v3.0 также добавлен примерно час разговорной речи. Модель предназначена для транскрибирования речи на языке lus. На тестовом наборе автор сообщает WER 19,76 и CER 3,79; указанный коэффициент реального времени — 0,0024. Это вариант из серии экспериментов с разными конфигурациями обучения. В репозитории доступны веса safetensors, лицензия — Apache-2.0.

Это дообученная модель Coqui XTTS-v2 от samuelolubukun для синтеза разговорной речи на йоруба. Она создана как второй этап адаптации базовой модели samuelolubukun/xtts-v2-yoruba-openbible на йорубском разделе Nigerian Common Voice, чтобы сделать темп и интонацию менее похожими на чтение религиозных текстов и ближе к повседневной речи. Модель основана на авторегрессионной архитектуре XTTS-v2 с GPT-текстовым и мел-спектральным кодированием и вокодером на дискретном VAE; в карточке указано 521,8 млн параметров. Токенизатор расширен для йоруба и использует метку языка [yo]. Модель принимает текст и генерирует аудио; XTTS-v2 также поддерживает клонирование голоса по короткому аудиофрагменту. Для лучшего произношения в тексте важны тоновые знаки и подточечные буквы йоруба. Подходит для разговорного озвучивания фраз и диалогов на йоруба, включая вопросы и сложные предложения. Карточка сообщает об улучшении темпа и тональной выразительности на тестовых примерах, но качество может зависеть от написания диакритики и акустического качества образца для клонирования. Модель наследует Coqui Public Model License / MRCUL; для клонирования узнаваемого голоса следует получить согласие его владельца.