/ Профессии
Универсальные способности и операции

I.9Аудио и музыка

В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
15
в этой профессии
Подходящих моделей
4 835
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

4 835 моделей
Загрузки
Лайки
Дата выхода
2 401–2 430 из 4 835
facebook
mms-tts-tnk

facebook/mms-tts-tnk — модель синтеза речи на языке квамера (Kwamera, код tnk), созданная Meta в рамках проекта Massively Multilingual Speech (MMS). Это отдельный чекпойнт для одного языка, предназначенный для преобразования текстовой последовательности в речевую аудиоволну. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров; для работы доступна через Transformers версии 4.33 и новее. Модель генерирует речь сквозным образом: текстовый энкодер и flow-модуль формируют акустическое представление, а декодер на основе свёрточных слоёв создаёт аудиоволну. Стохастический предсказатель длительности позволяет варьировать ритм произнесения; поэтому одинаковый текст может давать разные варианты звучания, а для воспроизводимого результата нужен фиксированный seed. Репозиторий распространяется в форматах PyTorch и Safetensors по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

940сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-tpi

facebook/mms-tts-tpi — модель синтеза речи на языке ток-писин из проекта Massively Multilingual Speech, разработанного Facebook. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания фраз и создания синтетической речи на ток-писине. Модель использует архитектуру VITS — сквозную систему синтеза речи с вариационным автоэнкодером, потоковым модулем, Transformer-кодировщиком текста, декодером в стиле HiFi-GAN и стохастическим предсказателем длительности. В чекпойнте около 3,5 млн параметров; для каждого языка MMS обучается отдельная модель. Генерация недетерминирована: для воспроизводимого результата требуется фиксированное случайное зерно. Модель распространяется в форматах PyTorch и Safetensors и доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.

1280сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-tpp

facebook/mms-tts-tpp — модель синтеза речи на языке тепехуа, диалект Писafлорес (Tepehua, Pisaflores; код tpp), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS: энд-ту-энд генератор речи с вариационным автоэнкодером, поточным модулем, трансформерным текстовым энкодером и HiFi-GAN-подобным декодером. В репозитории указано 3,5 млн параметров; для запуска доступна через Transformers версии 4.33 и новее, веса представлены в форматах PyTorch и Safetensors. Предсказатель длительности стохастический, поэтому для повторяемого результата требуется фиксировать seed. Модель рассчитана на один язык и не предназначена для синтеза на других языках. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

900сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-tpt

facebook/mms-tts-tpt — модель синтеза речи на языке тепехуа, диалект Тлачичилко (код tpt), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текста и создания речевого вывода на языке, для которого обучен чекпойнт. Модель использует архитектуру VITS: это сквозная система синтеза речи с вариационным автоэнкодером, потоковым модулем, текстовым энкодером на основе Transformer, стохастическим предсказателем длительности и декодером, подобным HiFi-GAN. В метаданных указано 3,5 млн параметров; чекпойнт распространяется в форматах PyTorch и safetensors и поддерживается библиотекой Transformers версии 4.33 и новее. Отдельный чекпойнт MMS-TTS обучен для каждого языка. Генерация недетерминирована: для повторения того же результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и ограничивает коммерческое применение.

940сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-xrb

facebook/mms-tts-xrb — модель синтеза речи для языка караборо, восточный (xrb), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну; отдельная модель VITS обучена для этого языка. Размер модели — 3,5 млн параметров. Архитектура VITS объединяет вариационный автоэнкодер, Transformer-энкодер текста, нормализующие потоки, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Модель предназначена для озвучивания текста на восточном караборо. Стохастический предиктор позволяет получать варианты с разным ритмом, поэтому для воспроизводимого результата требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

910сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-xsb

facebook/mms-tts-xsb — модель синтеза речи на языке Sambal (код xsb) из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текстов на этом языке. Модель построена на архитектуре VITS: текстовый энкодер и потоковый модуль формируют акустическое представление, а декодер на основе свёрточных слоёв генерирует аудио. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors. Модель использует стохастический предиктор длительности, поэтому один и тот же текст может звучать с разным ритмом; для повторяемого результата требуется фиксировать seed. Для работы с чекпойнтом подходит библиотека Transformers версии 4.33 и новее. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

900сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-yua

facebook/mms-tts-yua — модель синтеза речи на юкатекском языке майя (yua), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст в речевую аудиоволну и предназначена для озвучивания текста на юкатекском языке. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, потоковый модуль и декодер, формирующий аудиосигнал; предсказатель длительности позволяет варьировать ритм речи. Размер модели — 3,5 млн параметров. Для каждой языковой версии MMS-TTS обучена отдельная модель. Повторяемая генерация требует фиксированного случайного seed. Модель доступна через Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

1911сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-zai

facebook/mms-tts-zai — модель синтеза речи на языке сапотек, перешеек (Zapotec, Isthmus; zai), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS и обучена отдельно для своего языка. В описании архитектуры указаны текстовый энкодер на основе Transformer, flow-модуль и декодер, напоминающий HiFi-GAN; стохастический предсказатель длительности позволяет получать варианты с разным ритмом. Размер модели — 3,5 млн параметров. Для работы доступна библиотека Transformers версии 4.33 и новее. Генерация недетерминирована: для повторения результата нужен фиксированный seed. Модель предназначена для одного языка, поэтому её не следует считать универсальной многоязычной системой синтеза. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

930сент. 2023
textaudiocc-by-nc-4.0hugging-face
Cnam-LMSSC
wav2vec2-french-phonemizer-v2

Cnam-LMSSC/wav2vec2-french-phonemizer-v2 — модель Cnam-LMSSC для преобразования французской речи в фонемную транскрипцию. Это дообученная на обучающей и валидационной выборках Common Voice 13 версия facebook/wav2vec2-base-fr-voxpopuli-v2 на базе Wav2Vec2 с CTC-декодированием; в ней 113,3 млн параметров. Модель принимает аудио с частотой дискретизации 16 кГц и выдаёт последовательность слов в международном фонетическом алфавите без пунктуации. Версия v2 исправляет транскрипцию звонкого губно-нёбного аппроксиманта /ɥ/: вместо ошибочной последовательности /yi/ модель передаёт /ɥ/, что важно для фонетического анализа и подготовки произношения для синтеза речи. В README указаны Phoneme Error Rate 4,75% на французской части Common Voice v13 и 5,97% на французской конфигурации Multilingual LibriSpeech. Модель распространяется по лицензии MIT.

9.9K2янв. 2026
textaudiomithugging-face
speech31
wav2vec2-large-english-TIMIT-phoneme_v3

Модель wav2vec2-large-english-TIMIT-phoneme_v3 разработана на основе facebook/wav2vec2-large и дообучена для распознавания речи на корпусе TIMIT. Она принимает аудио и с помощью архитектуры Wav2Vec2ForCTC преобразует речь в последовательность фонем; размер модели составляет 402,7 млн параметров. На тестовой части TIMIT указаны значения CER 0,0987 и loss 0,3697. Модель подходит для фонемной транскрипции английской речи, особенно в сценариях, близких к записям корпуса TIMIT. Лицензия — Apache-2.0.

1.4K3окт. 2022
textaudioapache-2.0hugging-face
NandemoGHS
Anime-Llasa-3B

Anime-Llasa-3B — модель синтеза речи по тексту, разработанная как дообучение HKUSTAudio/Llasa-3B для японского языка. Это плотная Llama-совместимая модель с 3,4 млрд параметров; репозиторий содержит веса в формате safetensors, а заявленная длина контекста составляет 131 072 токена. Модель предназначена для генерации японской речи, в том числе выразительной речи в аниме-стиле. В README указано, что объём обучающих данных увеличили примерно с 14 000 до 33 000 часов, чтобы улучшить выразительность и стабильность синтеза. В числе датасетов метаданных — японские речевые и ASMR-наборы. Для использования предусмотрена демонстрация на Hugging Face Spaces. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но не коммерческое применение. Данных о качестве на независимых тестах в карточке нет.

19830сент. 2025ctx131.1K
textcc-by-nc-4.0hugging-face
sush0401
IndicF5-Kannada-Bedtime-v2

IndicF5-Kannada-Bedtime-v2 — модель синтеза речи, созданная автором репозитория sush0401 путём дообучения IndicF5 от AI4Bharat. Она предназначена для озвучивания сказок на каннада в спокойной, сказочной или юмористической манере, в том числе голосом, заданным аудиообразцом и его расшифровкой. Дообучен компонент CFM на данных SPRINGLab/IndicTTS_Kannada и синтетических аудиофрагментах со сказками перед сном; в карточке приведены примеры озвучивания и сценарий перевода английской сказки на каннада с последующей генерацией речи. Модель принимает текст на каннада, аудиообразец голоса и текст его расшифровки, а выдаёт речь. Репозиторий содержит веса в формате safetensors и распространяется по лицензии MIT. Размер модели и длина контекста в предоставленных данных не приведены.

190июнь 2026
textaudiomithugging-face
facebook
mms-tts-adh

facebook/mms-tts-adh — модель синтеза речи на языке джопадхола (Jopadhola, adh), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текста и создания речевых интерфейсов для языка с ограниченными цифровыми ресурсами. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, вариационный автоэнкодер, flow-модуль и декодер, построенный по принципу HiFi-GAN. Отдельная контрольная точка обучена для каждого языка MMS-TTS; размер этой модели — 3,5 млн параметров. Случайный предиктор длительности позволяет получать варианты ритма, поэтому для повторения того же результата требуется фиксировать seed. Для работы доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.

1100сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-agr

facebook/mms-tts-agr — модель синтеза речи на языке авар (Awajún), созданная командой Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на авар в речевую аудиоволну и предназначена для озвучивания текстов и создания речевых интерфейсов для этого языка. Модель использует архитектуру VITS и обучена отдельно для авар в составе семейства MMS-TTS. Вариационный автоэнкодер, потоковый модуль, декодер в стиле HiFi-GAN и стохастический предиктор длительности позволяют синтезировать речь с разным ритмом; результат может меняться между запусками, поэтому для повторяемой генерации нужен фиксированный seed. В репозитории указано 3,5 млн параметров; доступны веса PyTorch и safetensors. Для запуска поддерживается библиотека Transformers версии 4.33 и выше. Лицензия CC-BY-NC-4.0 допускает использование с указанием авторства, но запрещает коммерческое применение.

960сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-atg

facebook/mms-tts-atg — модель синтеза речи из текста для языка Ivbie North-Okpela-Arhe (код atg), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт для одного языка, построенный на архитектуре VITS и содержащий около 3,5 млн параметров. Модель принимает текст и генерирует речевую аудиоволну; стохастический предиктор длительности позволяет варьировать ритм речи, поэтому результат может отличаться при повторном запуске без фиксированного seed. Модель подходит для озвучивания текста на Ivbie North-Okpela-Arhe и интеграции синтеза речи в приложения через Transformers версии 4.33 и выше. Веса доступны в форматах PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

780сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-bom

facebook/mms-tts-bom — модель синтеза речи для языка бером (Berom, bom), разработанная Facebook в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт для одного языка из семейства MMS-TTS; архитектура VITS преобразует последовательность текста в речевую аудиоволну и включает вероятностный предиктор длительности, благодаря которому один и тот же текст может звучать с разным ритмом. Модель содержит 3,6 млн параметров и доступна в форматах PyTorch и Safetensors; для работы с ней подходит библиотека Transformers версии 4.33 и новее. Чекпойнт предназначен для озвучивания текста на бером. Генерация недетерминирована: чтобы повторно получить ту же аудиоволну, нужно зафиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

1000сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-bqp

facebook/mms-tts-bqp — модель синтеза речи на языке бисã (Bisã, код bqp), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на этом языке. Модель построена на архитектуре VITS и содержит 3,6 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; для воспроизводимого результата генерации требуется фиксированное случайное зерно. Модель доступна через библиотеку Transformers версии 4.33 и выше, веса представлены в форматах PyTorch и safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерчески. Модель предназначена для бисã, поэтому её не следует считать многоязычным синтезатором или применять для озвучивания текстов на других языках без подтверждения качества.

980сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-dyu

facebook/mms-tts-dyu — модель синтеза речи на языке джула (dyu), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на джула в речевую аудиоволну и предназначена для озвучивания текста и создания речевых интерфейсов на этом языке. Модель использует архитектуру VITS и обучена сквозным образом; для каждого языка в проекте MMS выпускается отдельный чекпойнт. Вариативный предсказатель длительности позволяет получать разные ритмы речи для одного текста, поэтому при одинаковом входе результат может различаться; фиксированный seed обеспечивает воспроизводимость. Размер модели — 3,5 млн параметров. Она доступна через библиотеку Transformers версии 4.33 и новее. Модель поддерживает джула и распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

5344сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-gjn

facebook/mms-tts-gjn — модель синтеза речи для языка гонжа (Gonja, gjn), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст на гонжа в речевую аудиоволну и предназначена для озвучивания фраз и создания речевого аудио на этом языке. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; при генерации стохастический предиктор длительности может выдавать разные варианты произношения и ритма для одного текста. Для воспроизводимого результата требуется фиксированное начальное значение генератора случайных чисел. Модель доступна через Transformers версии 4.33 и новее, веса представлены в форматах PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Модель специализирована на гонжа; качество синтеза для других языков не заявлено.

910сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-hlt

facebook/mms-tts-hlt — модель синтеза речи на языке Chin, Matu, созданная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на этом языке в речевой аудиосигнал и предназначена для озвучивания текста и создания голосовых интерфейсов для носителей Chin, Matu. Модель использует архитектуру VITS: текстовый энкодер, flow-модуль и декодер формируют речь сквозным образом; стохастический предсказатель длительности позволяет варьировать ритм произношения. Веса содержат 3,5 млн параметров, доступны в форматах PyTorch и Safetensors; для запуска подходит библиотека Transformers версии 4.33 и новее. Генерация недетерминирована: для повторения результата нужно фиксировать seed. Модель предназначена для одного языка и не подходит для синтеза речи на других языках без отдельной модели. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

970сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-idd

facebook/mms-tts-idd — модель синтеза речи для языка Ede Idaca, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст на Ede Idaca в речевую аудиоволну и предназначена для озвучивания текста и создания речи в приложениях для этого языка. Модель использует архитектуру VITS — сквозную систему синтеза речи с вариационным автоэнкодером, поточными слоями и декодером на основе HiFi-GAN. Для генерации с различным ритмом применяется стохастический предиктор длительности. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для работы с ним подходит Transformers версии 4.33 и новее. Генерация недетерминирована: для воспроизводимого результата требуется фиксировать seed. Модель обучена отдельно для Ede Idaca и не предназначена для других языков. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

970сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-ifk

facebook/mms-tts-ifk — модель синтеза речи на языке Ifugao, диалект Tuwali, разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на языке ifk в речевую аудиоволну и подходит для озвучивания текста и создания речи для приложений на этом языке. Модель построена на архитектуре VITS и содержит 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; для синтеза использует стохастический предиктор длительности, поэтому одинаковый текст может звучать с разным ритмом, а для воспроизводимого результата требуется фиксированный seed. Модель доступна через Transformers версии 4.33 и новее и распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

970сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-ifu

facebook/mms-tts-ifu — модель синтеза речи на языке Ifugao, диалект Mayoyao, разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель построена на архитектуре VITS: это сквозная система с вариационным автоэнкодером, поточным модулем, текстовым энкодером на основе Transformer и декодером на базе свёрточных слоёв в стиле HiFi-GAN. Размер модели — 3,5 млн параметров. Для каждого языка проекта MMS обучается отдельный чекпойнт; генерация стохастическая, поэтому для повторения результата нужен фиксированный seed. Модель поддерживается библиотекой Transformers начиная с версии 4.33. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Модель ориентирована на Ifugao (Mayoyao) и не предназначена для синтеза на других языках.

910сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-jmc

facebook/mms-tts-jmc — модель синтеза речи на языке Machame (код jmc), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на Machame. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза речи с условным вариационным автоэнкодером, потоковым модулем и стохастическим предсказателем длительности, благодаря которому один и тот же текст может звучать с разным ритмом. Для работы доступна через библиотеку Transformers версии 4.33 и новее. Модель обучена отдельно для одного языка, поэтому её назначение ограничено синтезом речи на Machame. Генерация недетерминирована: для повторения результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

920сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-kff-script_telugu

facebook/mms-tts-kff-script_telugu — модель синтеза речи из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует текст на языке Koya, записанный телугу-письмом, в речевой аудиосигнал; для каждого языка MMS обучается отдельный чекпойнт. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза речи с вероятностным предсказанием длительности, благодаря которому один текст может произноситься с разным ритмом. Модель доступна через библиотеку Transformers. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Для повторяемого аудиовыхода требуется фиксировать seed, поскольку синтез недетерминированный. Модель предназначена для речи на конкретном языке и письме, а не для многоязычной генерации.

5443сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-kri

facebook/mms-tts-kri — модель синтеза речи на языке крио (Krio, код kri), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на крио. Модель использует архитектуру VITS: вариационный автоэнкодер с состязательным обучением, поточным модулем, текстовым энкодером на основе Transformer, декодером в стиле HiFi-GAN и стохастическим предсказателем длительности. Для каждого языка MMS обучает отдельный чекпойнт. Размер модели — 3,5 млн параметров; она доступна для PyTorch и safetensors и поддерживается библиотекой Transformers версии 4.33 и новее. Стохастический предсказатель длительности позволяет получать варианты ритма речи для одного текста, поэтому результат может различаться между запусками; фиксированный seed нужен для воспроизводимого аудио. Модель предназначена для крио и не заявлена как многоязычная. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

1330сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-kru

facebook/mms-tts-kru — модель синтеза речи на языке курух (Kurux, код kru), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на курухе. Модель использует архитектуру VITS: это сквозная система синтеза речи с вариационным автоэнкодером, flow-модулем, декодером в стиле HiFi-GAN и стохастическим предсказателем длительности. В репозитории указано 3,6 млн параметров; для каждого языка проекта MMS обучается отдельный чекпойнт. Модель доступна через Transformers версии 4.33 и выше. Генерация недетерминирована: для повторения результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но исключает коммерческое применение.

9543сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-kus

facebook/mms-tts-kus — модель синтеза речи на языке кусасал (Kusaal, kus), созданная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на Kusaal. Модель использует архитектуру VITS и обучена как отдельный чекпойнт для этого языка. Это сквозная система синтеза с текстовым энкодером на основе Transformer, поточным модулем, декодером HiFi-GAN-подобного типа и стохастическим предсказателем длительности, который позволяет варьировать ритм речи. В репозитории указано 3,5 млн параметров; модель доступна для Transformers версии 4.33 и новее. Генерация недетерминирована: для повторения того же аудио требуется фиксированный seed. Модель предназначена для Kusaal, поэтому её применение к другим языкам не подтверждено. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и ограничивающая коммерческое применение.

1020сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-lcp

facebook/mms-tts-lcp — модель синтеза речи на языке Lawa, Western, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Это отдельный чекпойнт для одного языка из семейства MMS-TTS, предназначенный для преобразования текста в речевую аудиоволну. Модель построена на архитектуре VITS и обучается сквозным образом: текстовый энкодер и flow-модуль формируют акустическое представление, а декодер на основе свёрточных слоёв генерирует аудио. Стохастический предиктор длительности позволяет получать разные ритмические варианты произнесения; для воспроизводимого результата требуется фиксировать seed. В репозитории указаны веса PyTorch и safetensors, около 3,5 млн параметров. Модель доступна через Transformers версии 4.33 и новее. Подходит для озвучивания текста на Lawa, Western, например для речевых интерфейсов и создания аудиоверсий материалов. Чекпойнт рассчитан на конкретный язык, поэтому его не следует считать универсальной многоязычной TTS-моделью. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерчески.

4870сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-lew

facebook/mms-tts-lew — модель синтеза речи на языке леда (Lew), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт для одного языка, построенный на архитектуре VITS: модель преобразует последовательность текста в речевую аудиоволну, используя вариационный автоэнкодер, потоковый модуль, декодер и стохастический предиктор длительности. Модель предназначена для озвучивания текста на языке леда; вариативность предиктора длительности позволяет получать разные ритмические варианты произношения, а для повторяемого результата требуется фиксированный seed. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

950сент. 2023
textaudiocc-by-nc-4.0hugging-face

Задачи профессии

15 задач
139Классификация звуковых событий. — AI анализирует спектральные и временные признаки аудио и относит фрагменты к классам звуковых событий: речи, музыке, сигналам, ударам, шумам или другим заданным категориям. На выходе — метки с временными границами и уверенностью. Качество проверяют по размеченным записям, отдельно оценивая редкие классы, смешанные звуки и условия с сильным фоновым шумом.
140Обнаружение заданного звука в непрерывном аудиопотоке. — Механизм: AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение заданного звука в непрерывном аудиопотоке», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
141Определение источника и направления звука. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение источника и направления звука» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
142Разделение смеси на голос, музыку и отдельные инструменты. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: результат «Разделение смеси на голос, музыку и отдельные инструменты» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
143Удаление фонового шума и акустических артефактов. — Практическая реализация: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Входной контекст включает референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: преобразованный материал по задаче «Удаление фонового шума и акустических артефактов» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
144Восстановление повреждённой или неполной аудиозаписи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: преобразованный материал по задаче «Восстановление повреждённой или неполной аудиозаписи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
145Автоматическое выравнивание громкости и динамического диапазона. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. К исходным данным относятся аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Автоматическое выравнивание громкости и динамического диапазона» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
146Генерация музыки по жанру, настроению, структуре и ограничениям. — Для этой задачи система генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: редактируемый артефакт по задаче «Генерация музыки по жанру, настроению, структуре и ограничениям», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
147Генерация звуковых эффектов по текстовому описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Генерация звуковых эффектов по текстовому описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
148Создание аранжировки для заданной мелодии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: редактируемый артефакт по задаче «Создание аранжировки для заданной мелодии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
149Продолжение музыкального фрагмента в согласованном стиле. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: редактируемый артефакт по задаче «Продолжение музыкального фрагмента в согласованном стиле», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
150Транскрибирование музыки в ноты или MIDI. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Транскрибирование музыки в ноты или MIDI» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
151Определение темпа, тональности, аккордов и структуры композиции. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение темпа, тональности, аккордов и структуры композиции» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
152Сведение и предварительный мастеринг аудиоматериала. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: преобразованный материал по задаче «Сведение и предварительный мастеринг аудиоматериала» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
153Адаптация длительности музыки под видео без резкого обрыва. — AI строит профиль текущих потребностей и адаптирует содержание, порядок или параметры взаимодействия под конкретного человека. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: адаптированный вариант для «Адаптация длительности музыки под видео без резкого обрыва» с указанием контекста и факторов, определивших персонализацию. Надёжность оценивают по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче. <a id="section-i-10"></a>

0 моделей