I.9Аудио и музыка

wavlm-vindata-demo-dist — дообученная модель распознавания речи на базе microsoft/wavlm-base, разработанная автором репозитория phongdtd. Модель использует архитектуру WavLMForCTC и содержит 113,3 млн параметров. Модель предназначена для преобразования аудио в текст и дообучена на наборе PHONGDTD/VINDATAVLSP — NA. В опубликованной оценке на тестовом наборе указаны Loss 3,4439 и WER 1,0; такое значение WER указывает на крайне низкое качество распознавания в этой оценке. Репозиторий содержит веса PyTorch. Условия лицензирования в предоставленных данных не описаны.

hxxris/haaris-audio-classification-modified — модель классификации аудио на архитектуре Wav2Vec2ForSequenceClassification, дообученная разработчиком на основе facebook/wav2vec2-base. Она предназначена для отнесения аудиозаписей к классам и может использоваться в задачах, где метки определяются по аудиосигналу. В репозитории указаны веса SafeTensors, размер модели — 113,3 млн параметров, лицензия — Apache-2.0. Карточка не описывает набор классов, обучающие данные, качество, поддерживаемые языки или конкретные сценарии применения. Поэтому применимость к отдельным типам аудио и языкам речи по доступным сведениям установить нельзя.

facebook/mms-tts-imo — модель синтеза речи на языке имбонгу (Imbongu), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на имбонгу в речевую аудиоволну и предназначена для синтеза речи на этом языке. Модель основана на архитектуре VITS и обучается сквозным образом: текстовый энкодер и flow-модуль формируют акустические признаки, а декодер генерирует аудиоволну. Размер модели — 3,5 млн параметров; она доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers версии 4.33 и новее. Генерация зависит от случайного предиктора длительности, поэтому для повторения того же результата требуется фиксировать seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства на некоммерческих условиях.

facebook/mms-tts-juy — модель синтеза речи на языке джурай (Juray, код juy), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Это отдельный языковой чекпойнт проекта, предназначенный для преобразования текста на джурай в речевую аудиоволну. Модель построена на архитектуре VITS и выполняет синтез речи сквозным образом: текстовый энкодер и flow-модуль формируют акустическое представление, а декодер на основе свёрточных слоёв генерирует аудиоволну. Предсказатель длительности стохастический, поэтому один и тот же текст может звучать с разным ритмом; для повторения результата нужен фиксированный seed. Размер модели — 3,5 млн параметров. Модель предназначена для генерации речи на джурай, а не для распознавания или перевода. Для использования требуется Transformers версии 4.33 или новее. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

facebook/mms-tts-ksr — модель синтеза речи на языке Borong (ksr), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на Borong. Модель использует архитектуру VITS: текстовый энкодер, поточный модуль и декодер на основе свёрточных слоёв формируют речь сквозным образом. Для одного и того же текста возможны разные ритм и звучание; фиксированный seed позволяет воспроизводить результат. Чекпойнт содержит около 3,5 млн параметров и распространяется в форматах PyTorch и Safetensors. Для работы предусмотрена библиотека Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Модель рассчитана на один язык, поэтому её не следует считать многоязычным синтезатором.

facebook/mms-tts-kwi — модель синтеза речи на языке ава-куайкер (Awa-Cuaiquer, kwi), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт MMS-TTS для одного языка, построенный на архитектуре VITS и содержащий около 3,5 млн параметров. Модель принимает текст и генерирует речевую аудиоволну; она доступна через библиотеку Transformers версии 4.33 и новее. VITS объединяет текстовый энкодер, потоковый модуль и декодер, основанный на свёрточных слоях, а стохастический предиктор длительности позволяет получать разные ритмические варианты произношения одного текста. Генерация недетерминирована: для повторения результата требуется фиксированное случайное зерно. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-kyu — модель синтеза речи на западном кая (kyu), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и подходит для озвучивания фраз и создания голосовых сообщений. Модель построена на архитектуре VITS: текстовый энкодер, flow-модуль и HiFi-GAN-подобный декодер формируют речь сквозным образом. Размер чекпойнта — около 3,5 млн параметров; для работы доступна через Transformers версии 4.33 и новее. Генерация стохастическая: одинаковый текст может звучать с разным ритмом, а для воспроизводимого результата нужен фиксированный seed. Модель предназначена для западного кая и не является универсальным многоязычным синтезатором. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

facebook/mms-tts-mam-dialect_southern — модель синтеза речи для южного диалекта языка мам, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на поддерживаемом варианте языка мам. Модель использует архитектуру VITS и обучена отдельно для этого языка. Это компактный чекпойнт на 3,5 млн параметров; для работы доступен через библиотеку Transformers. Генерация зависит от случайного предсказателя длительности, поэтому для повторяемого результата требуется фиксировать seed. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая требует указания авторства и ограничивает коммерческое использование.

facebook/mms-tts-mcq — модель синтеза речи для языка Ese (код ISO 639-3: mcq), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на Ese в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS и обучена как отдельный языковой чекпойнт MMS-TTS. В описании архитектуры указаны текстовый энкодер на основе Transformer, flow-модуль, декодер HiFi-GAN и стохастический предсказатель длительности, который позволяет варьировать ритм речи. Чекпойнт содержит 3,5 млн параметров, представлен в форматах PyTorch и Safetensors и доступен через Transformers версии 4.33 и выше. Модель генерирует речь из текста на Ese; для одинакового результата при повторном запуске требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но не коммерческое применение.

facebook/mms-tts-ycn — модель синтеза речи на языке юкуна (Yucuna, код ycn) из проекта Massively Multilingual Speech компании Meta (Facebook). Она преобразует текст на юкуна в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS и содержит 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; для работы с ним подходит библиотека Transformers версии 4.33 и выше. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и ограничивающая коммерческое применение.

facebook/mms-tts-yuz — модель синтеза речи на языке юракаре (Yuracare, код yuz), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания фраз и создания речевого вывода для приложений. Модель построена на архитектуре VITS и обучена отдельно для юракаре; в репозитории указаны веса PyTorch и Safetensors, а размер составляет около 3,5 млн параметров. Для использования поддерживается библиотека Transformers версии 4.33 и выше. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Генерация стохастическая: чтобы повторить тот же результат, нужно зафиксировать seed.

Модель tekyerema-tts-hau разработана Prince Nasamu Alhassan и предназначена для синтеза речи на хауса из текста. Это дообученная модель архитектуры VITS на базе facebook/mms-tts-hau, обученная в течение 20 000 шагов на наборах bibletts_hausa и waxal_hau_tts. В репозитории указано 3,5 млн параметров; веса сохранены в формате safetensors. Модель подходит для озвучивания коротких фраз и голосового вывода на хауса. Токенизатор работает на уровне символов, поэтому перед синтезом текст нужно переводить в нижний регистр и преобразовывать числа в слова: символы вне словаря удаляются без предупреждения, а цифры покрыты неполно. Лицензия CC BY-NC 4.0 разрешает некоммерческое использование с указанием авторства. Автор характеризует работу как результат хакатона, а не поддерживаемый продукт.

F5-TTS Malayalam v2 — модель синтеза речи, созданная автором sajilck путём дообучения F5-TTS на аудио и расшифровках с его собственного YouTube-канала об ML и Data Science. Она предназначена для озвучивания текста на малаялам голосом и в манере речи автора; для знакомства с моделью также доступно демо в браузере. Для дообучения использовано около 15,4 часа парных аудиозаписей и транскрипций. В репозитории размещены чекпойнт и файл словаря; опубликованная версия представлена в формате GGUF F16. Модель ориентирована на малаялам и синтез речи из текста. Автор характеризует модель как ранний личный эксперимент, а не готовую к производственному применению систему. Возможны ошибки произношения и просодии, а качество звучания может меняться в зависимости от текста; на результат влияют ограниченный объём данных и ресурсы обучения. Лицензия — CC BY-NC 4.0; для коммерческого использования следует также проверить условия лицензии базовой F5-TTS.

facebook/mms-tts-biv — модель синтеза речи на южном бирифорском языке, разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт для языка biv на архитектуре VITS, энд-ту-энд модели, которая преобразует текст в речевую аудиоволну. Вариативный предсказатель длительности позволяет получать разные ритмические варианты произнесения одного текста; генерация недетерминирована, поэтому для повторяемого результата нужен фиксированный seed. Модель предназначена для озвучивания текста на южном бирифорском. Она содержит около 3,5 млн параметров и доступна для работы через Transformers версии 4.33 и выше. Лицензия — CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка не сообщает о поддержке других языков или о параметрах аудио на выходе.

facebook/mms-tts-meq — модель Merey для синтеза речи из текста, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она предназначена для озвучивания текста на языке Merey (meq). Для каждого языка MMS обучается отдельный чекпойнт. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это сквозная система text-to-speech, которая преобразует последовательность текста в речевую волну; стохастический предсказатель длительности позволяет варьировать ритм произношения. Модель доступна через Transformers версии 4.33 и выше и распространяется в форматах PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Генерация недетерминирована: для повторяемого результата нужно зафиксировать seed. Модель рассчитана на Merey; качество для других языков не заявлено.

facebook/mms-tts-wap — модель синтеза речи на языке вапишана (Wapishana, код wap), разработанная Facebook в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт для одного языка из семейства MMS-TTS, построенный на архитектуре VITS и содержащий около 3,5 млн параметров. Модель принимает текст на вапишана и генерирует речевую аудиоволну. VITS объединяет вариационный автоэнкодер, текстовый энкодер на основе Transformer, модуль предсказания длительности и декодер, подобный HiFi-GAN; стохастический предсказатель длительности позволяет варьировать ритм речи. Чекпойнт доступен через библиотеку Transformers версии 4.33 и новее. Модель подходит для озвучивания текста и создания речевого вывода на вапишана. Генерация недетерминирована: для повторения того же результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но не для коммерческих целей.

SLAM — речевая языковая модель SLP-RL для генерации продолжений речи. Она дообучена на Qwen/Qwen2.5-0.5B и предсказывает последовательности дискретных речевых токенов HuBERT, полученных из 11-го слоя mhubert-25hz; размер словаря речевых токенов — 500. Модель принимает аудио и предназначена для генерации речевого продолжения, а также может служить основой для дальнейшего дообучения. Обучение включало подмножества LibriSpeech и Libri-Light, синтетический корпус sTinyStories и этап DPO на SpokenSwag. Контекст базовой модели — 32 768 токенов. Карточка предупреждает, что данные в основном состоят из аудиокниг и историй, поэтому выходы не следует считать фактически достоверными. Лицензия — MIT.

Модель justin1983/wav2vec2-base-finetuned-amd — дообученная версия facebook/wav2vec2-base для классификации аудио. Она использует архитектуру Wav2Vec2ForSequenceClassification и содержит 113,3 млн параметров. На указанном в карточке наборе для оценки модель достигла точности 0,8455 при значении функции потерь 0,2777; название датасета в README не приведено. Модель предназначена для отнесения аудиозаписей к классам. Карточка не описывает классы, целевую область применения, языки или ограничения качества, поэтому применимость к конкретным типам аудио следует проверять отдельно. Доступна в формате PyTorch по лицензии Apache-2.0.

F5-TTS Balinese v0 — модель синтеза речи, созданная Open Indonesia Models как полное дообучение F5TTS_v1_Base на примерно 29 минутах балийской речи одного диктора. Она принимает текст в балийской латинской орфографии и генерирует речь; используется символьный ввод без G2P и поддерживает клонирование голоса по образцу для синтеза с заданным тембром. Модель предназначена для синтеза балийской речи и экспериментов с малоресурсным языком. В README приведён пример генерации фразы «Rahajeng semeng» с помощью F5-TTS. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства, но запрещающая коммерческое применение. Известное ограничение версии v0: в словах, заканчивающихся на «e», конечная гласная может выпадать, поскольку символьный ввод не различает варианты произношения балийской конечной e. В README отмечено, что исправление с помощью G2P или данных планируется.

Модель dog/kanye преобразует входной голос, пытаясь воспроизвести его в стиле Kanye West. Она обучена с помощью проекта so-vits-svc-fork и предназначена для преобразования аудио с имитацией голоса. Репозиторий содержит веса PyTorch и опубликован по лицензии MIT. Карточка описывает экспериментальное клонирование голоса, но не приводит сведения о размере модели, длительности контекста или условиях обучения.

facebook/mms-tts-hak — модель синтеза речи на языке хакка, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на хакка. Модель использует архитектуру VITS и содержит около 3,5 млн параметров; для каждого языка MMS обучается отдельный чекпойнт. VITS объединяет текстовый энкодер, вероятностные компоненты и декодер, формирующий аудиоволну. Модель доступна через библиотеку Transformers версии 4.33 и новее. Генерация стохастическая: для повторения того же результата требуется фиксировать seed. Модель рассчитана на хакка, поэтому её не следует считать универсальным многоязычным синтезатором. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.

Это модель автоматического распознавания речи на базе архитектуры Wav2Vec2-Conformer с CTC-декодированием, дообученная ylacombe на африкаансском поднаборе Mozilla Common Voice 16.0. Число параметров — около 402,7 млн; модель принимает аудио и преобразует речь в текст. Модель предназначена для распознавания африкаансской речи в аудиозаписях. В карточке указаны результаты оценки: WER 1,0 и бесконечная функция потерь, что свидетельствует о крайне низком качестве распознавания в проведённой оценке. Лицензия в доступных данных не указана.

wavLM-VLSP-vi-base — модель распознавания речи, разработанная путём дообучения microsoft/wavlm-base-plus на наборе PHONGDTD/VINDATAVLSP - NA. Она использует архитектуру WavLMForCTC и содержит 113,3 млн параметров. Модель принимает аудио и преобразует речь в текст; карточка указывает задачу автоматического распознавания речи. На указанной оценочной выборке модель получила WER 0,9995 и CER 0,9414, что свидетельствует о слабом качестве распознавания в этой оценке. Данных о поддерживаемых языках, длине контекста и специальных сценариях применения нет. Модель распространяется в формате PyTorch; сведения о лицензии в использованных источниках отсутствуют.

Hubert-noisy_common_voice_debug — модель распознавания японской речи, дообученная на датасете ORIGINAL_NOISY_COMMON_VOICE - JA на основе rinna/japanese-hubert-base. Она использует архитектуру HuBERT с головкой CTC, содержит 113,3 млн параметров и принимает аудио, выдавая распознанный текст. На оценочной выборке указаны loss 0,9787, WER 1,0 и CER 0,3145; WER 1,0 указывает на крайне низкую точность распознавания по этой метрике. Модель распространяется по лицензии Apache-2.0.

facebook/mms-tts-aia — модель синтеза речи на языке ароси (Arosi, aia), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст на ароси в речевую волну и предназначена для озвучивания текстов на этом языке. Модель использует архитектуру VITS — сквозную систему синтеза речи на основе вариационного автоэнкодера, потоковых слоёв и декодера, подобного HiFi-GAN. Для одного и того же текста она может создавать речь с разным ритмом; генерация недетерминирована и для повторения результата требуется фиксированный seed. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors. Модель рассчитана на язык ароси и не заявлена как многоязычная: для каждого языка MMS обучается отдельный VITS-чекпойнт. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-ban — модель синтеза речи на языке бали (ban), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на бали в речевую форму и предназначена для озвучивания текста и создания речевого вывода в приложениях, работающих с этим языком. Модель использует архитектуру VITS и обучена сквозным образом; в семействе MMS-TTS для каждого языка подготовлена отдельная контрольная точка. Число параметров — 3,5 млн. Для использования подходит библиотека Transformers версии 4.33 и новее. Из-за стохастического предсказателя длительности генерация недетерминирована: для повторения результата требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка описывает синтез речи на бали; качество для других языков не заявлено.

Модель facebook/mms-tts-dnj-dialect_blowowest — компактный синтезатор речи для языка Dan, диалекта Blowowest, разработанный Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для синтеза озвучивания; отдельный VITS-чекпойнт обучен для каждого языка MMS-TTS. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза речи с текстовым энкодером, flow-модулем, стохастическим предсказателем длительности и декодером, формирующим аудио. Она доступна через Transformers версии 4.33 и выше; для повторения одинакового результата генерации требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, допускающей использование с указанием авторства, но не коммерческое применение. Она специализирована на Dan (Blowowest), поэтому не предназначена для синтеза речи на других языках; генерация также недетерминирована без фиксированного seed.

facebook/mms-tts-kqe — модель синтеза речи на языке калаган (kqe), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на калагане в речевую аудиоволну и подходит для озвучивания текстов и создания речи в приложениях для этого языка. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль, стохастический предиктор длительности и декодер, формирующий аудиоволну. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для работы используется библиотека Transformers версии 4.33 или новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Генерация недетерминирована: для повторения того же аудио требуется фиксировать seed. Модель предназначена для калаганского языка; качество синтеза на других языках не заявлено.

facebook/mms-tts-lef — модель синтеза речи на языке Lelemi (ISO 639-3: lef) из проекта Massively Multilingual Speech, разработанного Meta. Это отдельный чекпойнт VITS для одного языка: компактная модель с 3,5 млн параметров, которая преобразует входной текст в речевую аудиоволну. Архитектура VITS объединяет вариационный автоэнкодер, потоковый модуль с текстовым энкодером на основе Transformer, стохастический предсказатель длительности и декодер, подобный HiFi-GAN. Модель предназначена для озвучивания текста на Lelemi. Стохастический предсказатель может создавать варианты ритма для одного текста; результат генерации недетерминирован, поэтому для повторяемого аудио требуется фиксировать seed. Чекпойнт распространяется в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers версии 4.33 и выше. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-urk — модель синтеза речи на языке урак-лавой (Urak Lawoi’, код urk), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель построена на архитектуре VITS: это сквозная система на основе вариационного автоэнкодера с Transformer-энкодером текста, flow-модулем и декодером, подобным HiFi-GAN; предсказатель длительности позволяет варьировать ритм речи. Веса содержат около 3,5 млн параметров, доступны в форматах PyTorch и Safetensors. Для повторяемого результата требуется фиксировать seed, поскольку генерация недетерминирована. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.