I.9Аудио и музыка

Finnish Wav2Vec2 X-Large — аудиомодель, разработанная Ярославом Гетманом и Тамашем Гросом. Это предварительно обученный энкодер Wav2Vec2ForPreTraining на основе Wav2Vec2, обученный на 158 тысячах часов неразмеченной финской речи. Модель принимает аудио с частотой дискретизации 16 кГц; токенизатора в репозитории нет. Модель предназначена для последующего дообучения на размеченных текстом аудиоданных для распознавания финской речи, а также может служить основой для задач распознавания эмоций в речи. Для ASR нужны токенизатор и дообучение; готовая дообученная версия опубликована отдельно как GetmanY1/wav2vec2-xlarge-fi-150k-finetuned. Лицензия — Apache-2.0. Предобучающие аудиозаписи ограничены длиной до 60 секунд, поэтому модель лучше подходит для относительно коротких фрагментов; очень длинные записи могут требовать разбиения на части и значительных ресурсов памяти. Корпус преимущественно основан на архивах радио и телевидения, что может приводить к смещению в сторону голосов ведущих и разговорного финского; в данных также могли остаться музыкальные фрагменты.

Модель formospeech/whisper-large-v3-taiwanese-hakka — дообученная версия Whisper large-v3 от OpenAI, подготовленная для распознавания тайваньского языка хакка с учётом шести диалектов. Во время обучения использовались идентификаторы диалектов в качестве подсказок: Sixian, Hailu, Dabu, Raoping, Zhao’an и Nansixian. Модель предназначена для преобразования аудиозаписей на хакка в текст. Она построена на архитектуре Whisper large-v3 и распространяется в формате safetensors; для работы используется библиотека Transformers. Репозиторий закрытый: для доступа требуется запросить разрешение на Hugging Face. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Whisper Small Gujarati + Talpada — модель распознавания речи, дообученная автором princetunes на базе openai/whisper-small для транскрибации гуджаратской речи, включая региональный диалект Talpada. Модель содержит 153,1 млн параметров и сохранена в формате safetensors; в README указаны веса fp16 размером около 484 МБ. При обучении энкодер был заморожен, а часть декодера дообучалась на наборе shunyalabs/gujarati-speech-dataset. Модель предназначена для транскрибации коротких фраз и разговорной речи на гуджарати, особенно с диалектными словами. Обучающая выборка включала около 2 000 аудиофрагментов длительностью до 10 секунд; оценка проводилась на 30 примерах. Указанный WER 72,37% завышен из-за сравнения распознавания обрезанного 10-секундного аудио с полными транскриптами длиной до 25 секунд, поэтому он не отражает качество на равных условиях. Лицензия в предоставленных данных не указана.

whisper-small-pld-ceb — модель распознавания речи на основе Whisper Small от OpenAI, дообученная автором sapinsapin на части ceb датасета PLD с чтением вслух. Она предназначена для транскрибирования речи на себуано; при обучении качество выбирали по CER на отложенной выборке. В README приведены значения CER 0,0259 и WER 0,0510 для отложенного набора; метрики рассчитаны после приведения текста к нижнему регистру. Модель принимает аудио и выдаёт текстовую расшифровку. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. Хотя базовый Whisper Small многоязычный, эта версия обучалась на себуанской части PLD, поэтому её пригодность для других языков из имеющихся данных не следует.

Whisper Small Santali (Ol Chiki) — модель распознавания речи, созданная дообучением openai/whisper-small на наборе Common Voice Scripted Speech 24.0 для языка сантали, записанного письмом ол-чики. Модель основана на архитектуре Whisper и содержит 153,1 млн параметров; принимает аудио и генерирует текстовую транскрипцию. В метаданных указана библиотека Transformers и формат весов safetensors. Модель предназначена для автоматической транскрипции речи на сантали письмом ол-чики. В README приведена оценка WER 1,115 на тестовом наборе; это указывает на существенные ошибки распознавания в проведённой оценке. Модель распространяется по лицензии Apache-2.0.

A2R-30B-A3B — дообученная мультимодальная модель PleasedPenguin на базе Qwen/Qwen3-Omni-30B-A3B-Instruct. Она отвечает на вопросы о говорящих в аудиозаписи, определяя, кто произносит реплики, а не только распознавая сказанное. Модель обучена методом GRPO на CASH-60K и предназначена для задач атрибуции говорящих и анализа многоголосых аудиозаписей. Модель использует архитектуру Qwen3 Omni MoE и загружается как объединённый чекпойнт через Transformers без отдельного шага подключения адаптера. Входная модальность — аудио, результат — текст; карточка указывает английский язык. Репозиторий распространяется под лицензией Apache 2.0. В README формат структурированного блока ответа описан частично, поэтому для разбора результата следует учитывать указанное в карточке требование анализировать последний блок.

AfriSpeech Gender-ID — модель классификации аудио, разработанная AfriSpeech для определения метки «female» или «male» по короткому фрагменту речи на 16 кГц. Репозиторий содержит небольшую MLP-голову размером 512→64→2 в формате ONNX; она принимает 512-мерные эмбеддинги от 3D-Speaker CAM++ и выдаёт два класса. Для извлечения эмбеддингов требуется CAM++, поэтому одного файла модели из этого репозитория недостаточно для обработки исходного аудио. Голову обучили на 330 027 размеченных высказываниях из WaxalNLP с данными по 25 языковым конфигурациям; оценка проведена на 22 языках к югу от Сахары. В README приведены точность 93,58% и macro F1 93,47% на полном тестовом наборе. Отдельное сравнение на выборке из 2 215 записей сообщает 97,6% по обеим метрикам, поэтому показатели относятся к разным выборкам. Модель можно запускать на CPU через ONNX Runtime и sherpa-onnx. Лицензия — CC-BY-4.0.

Это модель распознавания речи на базе Wav2Vec2ForCTC с 113,3 млн параметров, опубликованная пользователем gary109. Согласно карточке, она дообучена на наборе GARY109/AI_LIGHT_DANCE — ONSET-IDMT-2. На оценочной выборке указаны loss 0,2794 и WER 0,2733. Модель предназначена для преобразования аудиосигнала в текст. README не раскрывает целевую лексику, язык распознавания или конкретные сценарии применения, поэтому область использования сверх распознавания речи по этим данным определить нельзя. Репозиторий содержит веса PyTorch; условия лицензии в доступных сведениях не приведены.

Ava-82M — компактная модель синтеза персидской речи, выпущенная Nimruz и дообученная на базе hexgrad/Kokoro-82M на примерно 20 часах данных Mana-TTS. Акустическая сеть содержит 81 763 410 параметров и использует архитектуру вывода Kokoro, производную от StyleTTS2/iSTFTNet; отдельный фронтенд преобразует персидский текст в фонемы. Модель генерирует речь с частотой 24 кГц одним голосом. Модель предназначена для озвучивания персидского текста, включая нормализацию чисел, дат и распространённых числовых выражений. Фронтенд поддерживает контекстное преобразование графем в фонемы, пользовательские варианты произношения и автоматическое разбиение длинного текста. В README описаны улучшения интонации, темпа, произношения и стабильности относительно предыдущей версии, однако формальных оценок качества речи пока нет. Это исследовательский выпуск v0.2. Иногда речь звучит роботизированно, возможны артефакты, ошибки в редких именах и словах, а на стыках частей длинного текста могут быть заметны соединения. Модель проверена преимущественно на современном иранском персидском; доступен один голос. Лицензия репозитория — Apache-2.0.

facebook/mms-tts-bdv — модель синтеза речи на языке бодо-парджа из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует текст на бодо-парджа в речевую аудиоволну и подходит для озвучивания текстов и создания речевых интерфейсов на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный чекпойнт для одного языка; для запуска доступна библиотека Transformers версии 4.33 и новее. Из-за стохастического предсказания длительности один и тот же текст может звучать по-разному; для воспроизводимого результата нужен фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и ограничивает коммерческое применение.

facebook/mms-tts-jiv — модель синтеза речи на языке шуар (Shuar, код jiv), созданная Meta в рамках проекта Massively Multilingual Speech. Это отдельный языковой чекпойнт семейства MMS-TTS для преобразования входного текста в речевую аудиоволну. Модель основана на VITS — сквозной архитектуре с вариационным автоэнкодером, потоковыми слоями и декодером, построенным по принципу HiFi-GAN; размер составляет 3,5 млн параметров. Модель предназначена для озвучивания текста на шуарском языке. Стохастический предсказатель длительности позволяет варьировать ритм речи, поэтому при одинаковом тексте результат может различаться; для воспроизводимого вывода требуется фиксировать seed. Модель поддерживается библиотекой Transformers начиная с версии 4.33. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.

facebook/mms-tts-kno — модель синтеза речи на языке коно (kno), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на коно в речевую аудиоволну и подходит для озвучивания фраз и текстовых материалов на этом языке. Модель основана на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; для каждого языка проекта обучается своя модель. Генерация стохастическая: чтобы получить одинаковую речь при повторном запуске, нужно фиксировать seed. Модель доступна через Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

facebook/mms-tts-kpy — модель синтеза речи на корякском языке, разработанная Meta* в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевой сигнал и предназначена для озвучивания корякских текстов. Для каждого языка в MMS обучается отдельная модель. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это сквозная система на основе условного вариационного автоэнкодера с Transformer-энкодером текста, потоковым модулем и декодером, построенным по принципу HiFi-GAN. Стохастический предиктор длительности позволяет получать разные ритмические варианты произношения одного текста; поэтому для повторяемого результата требуется фиксировать seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование на условиях атрибуции и некоммерческого применения. Модель специализирована на корякском языке; сведения о качестве синтеза и дополнительных возможностях в карточке не приведены.

facebook/mms-tts-laj — модель синтеза речи на языке лао (Lango, код laj), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текстов и создания речевого вывода в приложениях. Модель построена на архитектуре VITS и обучена отдельно для одного языка; размер — 3,5 млн параметров. Использовать её можно через библиотеку Transformers версии 4.33 и новее. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Предсказатель длительности в VITS стохастический, поэтому при одинаковом тексте модель может генерировать варианты с разным ритмом; для воспроизводимого результата требуется фиксированное случайное зерно. Карточка не приводит оценок качества или характеристик голоса.

facebook/mms-tts-mdv — модель синтеза речи на языке Mixtec из Санта-Лусия-Монтеверде, разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну; отдельный чекпойнт VITS обучен для этого языка. Архитектура VITS объединяет текстовый энкодер на основе Transformer, flow-модуль и декодер, похожий на HiFi-GAN; размер модели — 3,5 млн параметров. Модель предназначена для озвучивания текста на Mixtec, например для речевых интерфейсов и создания аудиоверсий материалов. Генерация недетерминирована: для повторения результата нужно фиксировать seed. Для работы доступна библиотека Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-nfr — модель синтеза речи на языке нафаанра (Nafaanra, код nfr), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS: текстовый энкодер, потоковый модуль, стохастический предиктор длительности и декодер на основе свёрточных слоёв. Число параметров — 3,5 млн. Чекпойнт доступен для Transformers начиная с версии 4.33; формат весов — PyTorch и Safetensors. Предиктор длительности стохастический, поэтому одинаковый текст может давать разные варианты ритма и звучания; фиксированный seed нужен для воспроизводимого результата. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

facebook/mms-tts-qve — модель синтеза речи на восточно-апурима-кечуа, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на языке кечуа (qve) в речевой сигнал и предназначена для озвучивания текстов и создания речевых интерфейсов на этом языке. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это отдельный чекпойнт, обученный для одного языка; MMS-TTS доступна через библиотеку Transformers. Генерация стохастическая: чтобы получить одинаковый результат для одного и того же текста, нужно фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-qwh — модель синтеза речи на языке кечуа, диалекте Уайлас-Анкаш (qwh), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и подходит для озвучивания текстов и создания голосовых сообщений. Модель построена на архитектуре VITS: текстовый энкодер, потоковый модуль и декодер HiFi-GAN формируют речь сквозным образом; предсказатель длительности позволяет варьировать ритм. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для использования поддерживается библиотека Transformers версии 4.33 и выше. Модель предназначена для языка qwh и не заявлена как многоязычная сама по себе. Из-за стохастического предсказания длительности одинаковый текст может давать разные варианты произношения; фиксированный seed позволяет воспроизводить результат. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

facebook/mms-tts-qxl — модель синтеза речи на языке Quichua, Salasaca Highland (qxl), созданная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Для каждого языка проекта обучается отдельный чекпойнт. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. В метаданных указаны 3,5 млн параметров; модель доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers версии 4.33 и новее. Предиктор длительности стохастический, поэтому один и тот же текст может звучать по-разному; для воспроизводимого результата требуется фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и запрещает коммерческое применение.

facebook/mms-tts-shp — модель синтеза речи для языка шипибо-конибо, разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на шипибо-конибо в речевую аудиоволну и предназначена для озвучивания текстов и создания речевых интерфейсов на этом языке. Модель построена на архитектуре VITS и обучается отдельно для каждого языка в проекте MMS. Вариативный предиктор длительности позволяет синтезировать разные ритмы речи для одного текста, поэтому результат может меняться между запусками; фиксированный seed позволяет повторить генерацию. В метаданных указано 3,5 млн параметров. Модель доступна через Transformers версии 4.33 и новее и распространяется по лицензии CC BY-NC 4.0, предусматривающей некоммерческое использование.

facebook/mms-tts-xtm — модель синтеза речи на языке Mixtec, Magdalena Peñasco (xtm), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS — сквозную систему синтеза речи на основе вариационного автоэнкодера, нормализующих потоков и декодера, построенного по принципу HiFi-GAN. Для каждого языка проекта обучается отдельный чекпойнт; размер этой модели — 3,5 млн параметров. Она доступна через Transformers версии 4.33 и новее. Стохастический предиктор длительности позволяет получать разные ритмические варианты произношения одного текста; для повторяемого результата требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-yas — модель синтеза речи на языке нугу́ну (код yas), созданная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на нугу́ну в речевой аудиосигнал и предназначена для озвучивания текстов и разработки речевых интерфейсов для этого языка. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный чекпойнт для одного языка из семейства MMS-TTS; он доступен в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers начиная с версии 4.33. Стохастический предиктор длительности позволяет варьировать ритм речи, поэтому для повторения результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

Модель speech-seq2seq/wav2vec2-2-roberta-large — аудиомодель архитектуры SpeechEncoderDecoderModel, обученная с нуля на датасете LibriSpeech ASR для автоматического распознавания речи. Она принимает аудио и предназначена для преобразования речи в текст. В карточке приведены результаты оценки на тестовой выборке: WER 1.0 и loss 12.2365; значение WER указывает на крайне низкое качество распознавания в этой оценке. Модель опубликована в формате PyTorch. Лицензия в предоставленных данных не указана.

BrianMwangi/African-Kikuyu-TTS — модель синтеза речи на языке кикуйю (гĩкуйю), размещённая Brian Mwangi на Hugging Face на основе facebook/mms-tts-kik из проекта Massively Multilingual Speech компании Facebook. Это компактная модель VITS на 3,5 млн параметров, принимающая текст и генерирующая речь; в репозитории веса представлены в формате safetensors. Модель предназначена для озвучивания фраз на кикуйю, в том числе в приложениях для изучения языка, доступности и цифрового сохранения языка. Модель ориентирована на кикуйю, распространённый в центральной Кении язык. Она доступна по лицензии CC BY-NC 4.0, которая требует указания авторства и ограничивает коммерческое использование. Качество зависит от исходных данных MMS: возможны ошибки на незнакомых словах и различия в произношении между диалектами.

facebook/mms-tts-agx — модель синтеза речи на языке агуль, выпущенная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на агульском языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; синтез выполняется сквозным образом, а стохастический предиктор длительности позволяет получать разные ритмические варианты произношения одного текста. Для воспроизводимого результата требуется фиксировать seed. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Модель предназначена для агульского языка; качество речи для других языков не заявлено.

Это модель синтеза речи на центральном аймара (ayr), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текста и создания речевых интерфейсов для носителей центрального аймара. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS, обученный для центрального аймара; библиотека Transformers поддерживает его начиная с версии 4.33. Стохастический предиктор длительности позволяет получать варианты ритма речи, поэтому для воспроизводимого результата требуется фиксированное случайное зерно. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Модель специализирована на центральном аймара; качество синтеза для других языков не заявлено.

facebook/mms-tts-azz — модель синтеза речи на нахуа, диалект Хайленд-Пуэбла, разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевой сигнал и предназначена для создания озвучки и речевых интерфейсов. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров; отдельный чекпойнт обучен для этого языка. Она доступна через библиотеку Transformers версии 4.33 и новее. Генерация зависит от случайного предсказания длительности, поэтому для повторяемого результата нужен фиксированный seed. Лицензия CC-BY-NC-4.0 разрешает использование с атрибуцией и ограничивает коммерческое применение.

facebook/mms-tts-caa — модель синтеза речи на языке Ch’orti’ (caa), разработанная Meta* в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на Ch’orti’. Модель построена на архитектуре VITS: объединяет вариационный автоэнкодер, потоковый модуль с текстовым энкодером на основе Transformer, стохастический предиктор длительности и декодер, формирующий аудиоволну. Размер модели — 3,5 млн параметров; для каждого языка MMS обучается отдельный чекпойнт. Стохастический предиктор длительности позволяет получать разные ритмические варианты произнесения одного текста. Из-за этой стохастичности результат может меняться между запусками; для повторяемого синтеза требуется фиксировать seed. Модель распространяется под лицензией CC BY-NC 4.0, которая не допускает коммерческого использования. Для работы с чекпойнтом поддерживается библиотека Transformers версии 4.33 и новее.

facebook/mms-tts-izz — модель синтеза речи на языке Izii (izz), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; для повторяемого результата при генерации требуется фиксировать seed, поскольку предсказатель длительности работает стохастически. Модель доступна через библиотеку Transformers версии 4.33 и выше, веса представлены в форматах PyTorch и safetensors. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Карточка не приводит измерений качества или дополнительных ограничений применимости.

facebook/mms-tts-mam-dialect_central — модель синтеза речи на центральном диалекте языка мам из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует текст на мам в речевую аудиоволну и подходит для озвучивания текста на этом языке. Модель построена на архитектуре VITS и обучена как отдельный языковой чекпойнт. Она генерирует речь сквозным образом; стохастический предиктор длительности позволяет получать разные ритмические варианты одной фразы, поэтому для повторяемого результата требуется фиксировать seed. Размер модели — 3,5 млн параметров; для запуска доступна библиотека Transformers версии 4.33 и новее. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка не приводит оценки качества или подробностей о голосе и произношении.