I.9Аудио и музыка

Subhashini17 разработал эту модель как дообученную на Common Voice версию facebook/wav2vec2-xls-r-300m для распознавания речи. Это акустическая модель семейства wav2vec2 с архитектурой Wav2Vec2ForCTC: она принимает аудио и выдаёт текстовую расшифровку. В репозитории указаны веса PyTorch, около 402,7 млн параметров и лицензия Apache-2.0. Модель создана в 2022 году. Модель предназначена для автоматической транскрипции речи; название указывает на вариант для тамильского языка. На оценочной выборке Common Voice указана WER 0,7611, что означает высокую долю ошибок и ограниченную точность распознавания. Карточка не описывает условия записи, поддерживаемые варианты речи или практические ограничения подробнее.

wav2vec2-large-xlsr-53-maltese-64h — акустическая модель для автоматического распознавания речи на мальтийском языке. Её разработал Карлос Даниэль Эрнандес Мена в рамках проекта MASRI Университета Мальты; модель дообучена на facebook/wav2vec2-large-xlsr-53 примерно на 64 часах мальтийских аудиоданных. Архитектура — Wav2Vec2ForCTC, число параметров — около 402,7 млн; модель доступна в формате PyTorch. Модель предназначена для преобразования мальтийской речи в текст и обучена на записях из нескольких корпусов MASRI, а также Common Voice. Её можно использовать для транскрибирования речи, записанной в гарнитуру, в дальней среде и в кабинах звукозаписи. Лицензия CC BY-NC-SA 4.0 требует указания авторства, ограничивает коммерческое использование и распространяет аналогичные условия на производные материалы.

Wav2Vec2-Large-XLSR-53-Odia — модель распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на языке одия на данных Common Voice. Она преобразует аудиозапись речи в текст и подходит для транскрибирования записей на одия. Архитектура — Wav2Vec2ForCTC; модель содержит 402,7 млн параметров и принимает аудио с частотой дискретизации 16 кГц. В README приведён результат оценки 57,10% на тестовой выборке Common Voice для одия; метрика не уточнена. Модель доступна в форматах PyTorch и Flax по лицензии Apache-2.0. Результат оценки указывает на ограничения качества распознавания; перед применением в конкретных условиях рекомендуется проверить её на соответствующих записях.

WavJEPA — модель извлечения аудиопризнаков на основе Joint-Embedding Predictive Architecture, разработанная Гёксенином Юкселем. Она принимает аудиосигнал в виде сырой волны и формирует семантические представления для последующего обучения или применения моделей анализа звука. Архитектура включает сверточный энкодер признаков из Wav2Vec 2.0, контекстный и целевой энкодеры, а также предиктор на основе Vision Transformer. Модель предназначена для извлечения общих аудиопредставлений, которые можно использовать в классификации окружающих звуков, распознавании речи, подсчёте говорящих и других задачах анализа аудиосцен. В карточке заявлены результаты на наборах бенчмарков HEAR и ARCH при меньших вычислительных затратах по сравнению с рядом временных аудиомоделей. Обучение проводилось на AudioSet; заявлена поддержка всех языков с основным акцентом на английский. Для решения прикладных задач поверх извлечённых признаков может потребоваться отдельная обученная голова. Карточка описывает также WavJEPA-Nat как отдельное многоканальное расширение для шумных и реверберационных сцен; метаданные этой модели указывают WavJEPA base. Лицензия модели — MIT.

Это дообученная модель автоматического распознавания речи на основе openai/whisper-small, созданная для транскрибирования кантонского языка. Она обучена на датасете Common Voice 17.0 и использует архитектуру Whisper с 153,1 млн параметров. В README приведён результат оценки: WER 55,5764 и loss 0,2823; значение WER указывает на заметные ошибки распознавания, поэтому качество транскрипции может быть ограниченным. Модель принимает аудио и выдаёт текст. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Карточка не сообщает дополнительных сведений о контексте применения или ограничениях.

Blgn94/whisper-small-mn-v3 — дообученная модель семейства Whisper, созданная для распознавания монгольской речи на кириллице (халха). Она основана на openai/whisper-small с 244 млн параметров и предназначена для преобразования аудио в текст, в частности для транскрибирования чёткой речи в задачах распознавания речи и подготовки текстовых расшифровок. Модель обучена на датасете Blgn94/mongolian-stt-dataset-v24 объёмом около 148 часов. В README описана версия v25: на пользовательском тестовом наборе с текстами, исключёнными из обучения, нормализованный WER составил 19,67; на спонтанной речи YouTube ошибка заметно выше. Модель лучше подходит для чтения подготовленного текста, чем для разговорной и шумной речи. Проверка на официальном тестовом наборе Common Voice и на полностью новых дикторах не проводилась. Модель принимает аудио и выдаёт текст. Она распространяется под лицензией Apache-2.0; для длинных аудиозаписей README рекомендует использовать разбиение на фрагменты по 30 секунд.

willwade/byt5-g2p-multilingual — дообученная модель ByT5 на архитектуре T5, разработанная Will Wade для преобразования написания слов в фонемную транскрипцию IPA. Она принимает слово с языковым кодом и, где нужно, указанием языкового варианта, а выдаёт фонемы в согласованной с gruut записи, подходящей для использования в голосах семейства Piper. Модель обучена на гармонизированном корпусе из 4,12 млн пар для 142 языков и языковых вариантов; число параметров по метаданным — 364,6 млн. Доступны веса safetensors и проверенная пара ONNX-моделей; для ONNX требуется соблюдать описанные в README правила кодирования токенов и декодирования. Модель предназначена для построения произношений в многоязычных голосовых и речевых системах, а также для подготовки фонетических словарей. В тестировании на выборке из 4 тысяч примеров точность полного совпадения составила 0,730 по микроусреднению и 0,617 по макроусреднению. Лицензия — CC BY-SA 4.0. Это преобразователь графем в фонемы, а не модель, генерирующая аудиосигнал; качество зависит от языка, варианта произношения и соответствия входного языкового тега обучающим данным.

facebook/mms-tts-ace — модель синтеза речи на языке ачех, созданная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на ачех в речевую аудиоволну; для каждого языка проекта обучается отдельный чекпойнт. Модель построена на архитектуре VITS и содержит текстовый энкодер на основе Transformer, flow-модуль, стохастический предиктор длительности и декодер аудиосигнала. Размер модели — 3,5 млн параметров. Она доступна через библиотеку Transformers версии 4.33 и выше. Предназначена для синтеза речи на ачех в приложениях озвучивания и речевых интерфейсах. Стохастический предиктор позволяет получать разные ритмические варианты произношения одного текста; для воспроизводимого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

facebook/mms-tts-arl — модель синтеза речи на языке арабела (Arabela, код arl), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевой аудиосигнал и предназначена для озвучивания текста на арабела. Модель использует архитектуру VITS: текстовый энкодер на базе Transformer, flow-модуль, стохастический предсказатель длительности и декодер волновой формы в стиле HiFi-GAN. Чекпойнт содержит 3,5 млн параметров и доступен для использования через Transformers версии 4.33 и выше. Отдельные чекпойнты MMS-TTS обучались для каждого языка. Предсказатель длительности стохастический, поэтому одинаковый текст может получать разный ритм и результат синтеза; для воспроизводимого аудио требуется фиксированное случайное зерно. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-bnp — модель синтеза речи для языка Bola, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на Bola в речевую аудиоволну и предназначена для озвучивания текстов и создания речевых интерфейсов на этом языке. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; для синтеза применяются текстовый энкодер на основе Transformer, вероятностный предиктор длительности и декодер, построенный по принципу HiFi-GAN. Модель доступна через библиотеку Transformers версии 4.33 и новее. Генерация недетерминирована: для повторного получения той же аудиоволны нужно фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-btt — модель синтеза речи на языке Bete-Bendi (btt), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текстов на этом языке. Модель построена на архитектуре VITS: текстовый энкодер, потоковый модуль, стохастический предсказатель длительности и декодер, напоминающий HiFi-GAN, работают в сквозной системе синтеза. Чекпойнт содержит 3,5 млн параметров и распространяется в форматах PyTorch и Safetensors; для работы с ним доступна библиотека Transformers версии 4.33 и выше. Модель обучена отдельно для Bete-Bendi и входит в коллекцию MMS-TTS для множества языков. Из-за стохастического предсказателя длительности один и тот же текст может озвучиваться с разным ритмом; для повторения идентичного результата нужен фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

facebook/mms-tts-bus — модель синтеза речи на языке бокобару (код bus), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на бокобару. Модель построена на архитектуре VITS: это сквозная система с вариационным автоэнкодером, потоковым модулем, текстовым энкодером на основе Transformer, декодером в стиле HiFi-GAN и стохастическим предиктором длительности. Для проекта MMS обучается отдельный чекпойнт для каждого языка. В метаданных указано 3,5 млн параметров; модель доступна для PyTorch и Transformers. Предиктор длительности стохастический, поэтому при одинаковом тексте модель может генерировать варианты с разным ритмом; для воспроизводимого результата нужен фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-ddn — модель синтеза речи на языке денди (Dendi, код ddn), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный языковой чекпойнт семейства MMS-TTS, построенный на архитектуре VITS и преобразующий входной текст в речевую аудиоволну. Модель доступна через библиотеку Transformers версии 4.33 и новее. VITS объединяет вариационный автоэнкодер, flow-модуль с текстовым энкодером на основе Transformer, стохастический предиктор длительности и декодер, похожий на HiFi-GAN. Стохастический предиктор позволяет получать разные ритмические варианты произношения одного текста; результат может меняться между запусками, поэтому для воспроизводимости нужен фиксированный seed. Чекпойнт имеет 3,5 млн параметров и распространяется по лицензии CC-BY-NC-4.0, которая запрещает коммерческое использование.

facebook/mms-tts-dgk — модель синтеза речи для языка дагба (Dagba, код dgk), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на дагба в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель построена на архитектуре VITS и содержит 3,5 млн параметров. Это сквозная система text-to-speech с текстовым энкодером на основе Transformer, flow-модулем, декодером аудиосигнала и стохастическим предсказателем длительности, который позволяет варьировать ритм речи. Для одного языка обучен отдельный чекпойнт MMS-TTS; повторяемая генерация того же сигнала требует фиксированного случайного seed. Модель доступна через Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

facebook/mms-tts-dtp — модель синтеза речи на кадazan-дусунском языке (dtp), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну; отдельный чекпойнт обучен для каждого языка проекта MMS. Модель основана на архитектуре VITS и содержит текстовый энкодер, flow-модуль, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Размер модели — 3,5 млн параметров; для работы доступны веса PyTorch и safetensors. Модель предназначена для озвучивания текста на кадazan-дусунском языке, например для голосовых интерфейсов и создания речевого контента. Стохастический предиктор длительности позволяет получать разные ритмы речи для одного текста, поэтому для повторяемого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

facebook/mms-tts-dyi — модель синтеза речи для языка джимини (Sénoufo, Djimini; dyi) из проекта Massively Multilingual Speech компании Facebook. Она преобразует текст на этом языке в речевую аудиоволну; для каждого языка проекта обучается отдельный чекпойнт. Модель построена на архитектуре VITS: сочетает вариационный автоэнкодер, потоковый модуль с Transformer-энкодером текста, стохастический предсказатель длительности и декодер, основанный на HiFi-GAN. Размер модели — 3,5 млн параметров; она доступна для Transformers версии 4.33 и новее. Модель подходит для озвучивания текста на джимини, например для голосовых интерфейсов и аудиоверсий материалов. Из-за стохастического предсказания длительности одинаковый текст может звучать по-разному; фиксированное случайное зерно позволяет воспроизводить тот же результат. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

facebook/mms-tts-hat — модель синтеза речи на гаитянском креольском языке из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует текст в речевую аудиоволну и предназначена для озвучивания текста на гаитянском креольском языке. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это отдельный чекпойнт MMS-TTS, обученный для одного языка; модель доступна через библиотеку Transformers. Стохастический предиктор длительности позволяет получать варианты произношения и ритма для одного текста, поэтому результат может меняться между запусками; для воспроизводимого синтеза нужен фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. Карточка описывает синтез речи, однако не приводит оценок качества или подробных ограничений по произношению и типам входного текста.

facebook/mms-tts-hlb — модель синтеза речи на языке халби из проекта Massively Multilingual Speech компании Meta. Она преобразует текст на халби в речевую аудиоволну и подходит для озвучивания текста и создания речевых интерфейсов на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров; для работы доступна через библиотеку Transformers версии 4.33 и выше. Разные генерации одной фразы могут отличаться из-за стохастического предсказателя длительности; для повторяемого результата требуется фиксировать seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства и запрещает коммерческое применение.

facebook/mms-tts-ilb — модель синтеза речи на языке Ila (код ISO 639-3: ilb), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. VITS объединяет вариационный автоэнкодер, flow-модуль и декодер на основе HiFi-GAN; стохастический предсказатель длительности позволяет получать речь с разным ритмом. Чекпойнт доступен для использования через Transformers. Генерация недетерминирована: для воспроизводимого результата требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-ilo — модель синтеза речи на илоканском языке из проекта Massively Multilingual Speech компании Meta. Это отдельный языковой чекпойнт семейства VITS с архитектурой VitsModel и примерно 3,5 млн параметров; модель преобразует входной текст непосредственно в речевую волну. Она доступна через библиотеку Transformers версии 4.33 и новее. Модель предназначена для озвучивания текста на илоканском языке. Стохастический предсказатель длительности позволяет получать варианты ритма речи для одного и того же текста, поэтому результат может меняться между запусками; для воспроизводимого аудио нужен фиксированный seed. Репозиторий содержит веса PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-jam — модель синтеза речи на ямайском английском креольском языке из проекта Massively Multilingual Speech, разработанного Facebook. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текста и создания синтезированной речи. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза речи с текстовым энкодером на основе Transformer, нормализующими потоками, декодером HiFi-GAN и стохастическим предсказателем длительности, позволяющим варьировать ритм произношения. Для одинакового результата при повторной генерации требуется фиксированное случайное зерно. Модель распространяется под лицензией CC BY-NC 4.0, которая ограничивает коммерческое использование. Для работы с checkpoint подходит библиотека Transformers версии 4.33 и выше.

facebook/mms-tts-ken — модель синтеза речи на языке кеньянг (ken), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текстов на кеньянге. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров; для каждого языка проекта обучается отдельный чекпойнт. Модель доступна через библиотеку Transformers версии 4.33 и выше. VITS синтезирует речь сквозным образом, сочетая вариационный автоэнкодер, flow-модуль с текстовым энкодером на основе Transformer, предсказатель длительности и декодер, подобный HiFi-GAN. Стохастический предсказатель длительности позволяет получать разные ритмические варианты одной фразы; для повторяемого результата требуется фиксированный seed. Репозиторий содержит веса PyTorch в формате safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-khm — модель синтеза речи на кхмерском языке из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для приложений озвучивания на кхмерском. Модель построена на архитектуре VITS и содержит 3,6 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; для генерации используется стохастический предиктор длительности, поэтому одинаковый текст может звучать с разным ритмом, а для воспроизводимого результата нужно фиксировать seed. Модель доступна через Transformers версии 4.33 и выше. Модель принимает текст на кхмерском и выдаёт аудио. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-las — модель синтеза речи на языке Lama (las), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текстов на этом языке. Модель построена на архитектуре VITS: текстовый энкодер, потоковый модуль, стохастический предиктор длительности и декодер, формирующий аудиосигнал. Размер модели — 3,5 млн параметров; веса доступны в форматах PyTorch и Safetensors, модель поддерживается библиотекой Transformers начиная с версии 4.33. Для одного и того же текста модель может генерировать речь с разным ритмом, поэтому результат недетерминирован; для повторения той же генерации требуется фиксированное начальное значение случайного генератора. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-lug — модель синтеза речи на языке ганда (lug), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на ганда в речевую аудиоволну и предназначена для озвучивания текстов на этом языке. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS, доступный через библиотеку Transformers. Генерация стохастическая: один и тот же текст может звучать по-разному, а для повторяемого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

facebook/mms-tts-mcp — модель синтеза речи на языке Makaa (код mcp), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну; отдельная модель VITS обучена для каждого языка проекта MMS. Модель построена на архитектуре VITS: она объединяет вариационный автоэнкодер, flow-модуль с текстовым энкодером на основе Transformer, стохастический предиктор длительности и декодер, подобный HiFi-GAN. Параметров около 3,5 млн. Модель доступна через Transformers версии 4.33 и новее, веса представлены в форматах PyTorch и safetensors. Подходит для озвучивания текста на Makaa. Стохастический предиктор может приводить к разным вариантам речи для одного текста; фиксированный seed позволяет воспроизводить результат. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но ограничивает коммерческое применение.

facebook/mms-tts-mos — модель синтеза речи на языке мòорэ (Mòoré, mos), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт для одного языка, созданный на архитектуре VITS и содержащий около 3,5 млн параметров; модель принимает текст и генерирует речевую аудиоволну. VITS объединяет вариационный автоэнкодер, потоковый модуль, декодер в стиле HiFi-GAN и стохастический предиктор длительности, благодаря которому один и тот же текст может звучать с разным ритмом. Модель доступна через библиотеку Transformers. Она предназначена для озвучивания текста на мòорэ: например, для голосовых интерфейсов и создания аудиоверсий текстов на этом языке. Генерация недетерминирована, поэтому для повторяемого результата требуется фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-nyn — модель синтеза речи на языке ньянкоре, разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текста на ньянкоре. Для каждого языка в MMS обучается отдельный чекпойнт. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза речи с текстовым энкодером, вероятностным модулем длительности и декодером, формирующим аудиоволну; стохастическая длительность позволяет получать разные ритмические варианты произношения одного текста. Модель доступна через библиотеку Transformers версии 4.33 и выше. Для повторения одного и того же результата требуется фиксировать seed, поскольку генерация недетерминирована. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-pan — модель синтеза речи на восточном пенджаби, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на пенджаби в речевую аудиоволну и предназначена для озвучивания текста и создания голосовых сообщений на этом языке. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, вероятностный модуль длительности и декодер, формирующий аудиоволну. Это отдельный чекпойнт MMS-TTS для одного языка, содержащий 3,6 млн параметров. Доступна через библиотеку Transformers версии 4.33 и новее; лицензия CC BY-NC 4.0 запрещает коммерческое использование. Из-за стохастического предсказания длительности генерация недетерминирована: для повторения результата требуется фиксировать seed.

facebook/mms-tts-pau — модель синтеза речи на палау из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует текст на палау в речевой сигнал и предназначена для озвучивания текста в приложениях и сервисах. Для каждого языка MMS обучается отдельный чекпойнт. Модель использует архитектуру VITS и объединяет текстовый энкодер, flow-модуль, стохастический предсказатель длительности и декодер на основе HiFi-GAN. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; использовать его можно через Transformers версии 4.33 и новее. Генерация недетерминирована: для повторного получения того же аудио требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.