/ Профессии
Универсальные способности и операции

I.9Аудио и музыка

В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
15
в этой профессии
Подходящих моделей
4 835
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

4 835 моделей
Загрузки
Лайки
Дата выхода
2 071–2 100 из 4 835
facebook
mms-tts-bam

facebook/mms-tts-bam — модель синтеза речи на языке бамананкан, созданная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на бамананканском языке. Модель построена на архитектуре VITS и содержит 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; для синтеза с теми же настройками требуется фиксировать seed, поскольку предсказатель длительности работает стохастически и может создавать варианты с разным ритмом. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

78K6сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-bdq

facebook/mms-tts-bdq — модель синтеза речи на языке бхнар (bdq), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Это отдельный языковой чекпойнт для преобразования входного текста в речевую аудиоволну; модель доступна через библиотеку Transformers версии 4.33 и новее. Модель построена на архитектуре VITS и содержит 3,5 млн параметров. Она обучается сквозным образом: текстовый энкодер, flow-модуль и декодер формируют речь, а стохастический предиктор длительности позволяет получать разные ритмические варианты произнесения одного текста. Генерация недетерминирована; для повторения результата требуется фиксировать seed. Репозиторий содержит веса PyTorch и Safetensors. Модель подходит для озвучивания текста на бхнар, в том числе для речевых интерфейсов и аудиоконтента на этом языке. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но не коммерческое использование.

1010сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-bgc

facebook/mms-tts-bgc — модель синтеза речи на языке харьянави (код bgc), созданная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на харьянави в речевую аудиоволну и подходит для озвучивания текста и создания речевых интерфейсов на этом языке. Модель построена на архитектуре VITS и обучена отдельно для харьянави. VITS объединяет вариационный автоэнкодер, flow-модуль и декодер, а стохастический предсказатель длительности позволяет получать разные ритмические варианты произношения одного текста. Веса доступны в форматах PyTorch и Safetensors; модель поддерживается библиотекой Transformers версии 4.33 и новее. Веса содержат 3,6 млн параметров. Генерация недетерминирована: для повторения результата нужно зафиксировать seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

5114сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-bjr

facebook/mms-tts-bjr — модель синтеза речи на языке бинумариен, созданная Meta в рамках проекта Massively Multilingual Speech (MMS). Это отдельный чекпойнт для бинумариен, предназначенный для преобразования входного текста в речевую аудиоволну. Модель построена на архитектуре VITS: она объединяет вариационный автоэнкодер, flow-модуль с текстовым энкодером на основе Transformer и декодер, похожий на HiFi-GAN. Размер модели — 3,5 млн параметров. Стохастический предиктор длительности позволяет варьировать ритм речи, поэтому генерация может быть недетерминированной; фиксированный seed нужен для повторения результата. Чекпойнт доступен через библиотеку Transformers версии 4.33 и новее. Модель подходит для озвучивания текста на бинумариен. Карточка не описывает поддержку других языков или возможности управления голосом. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

910сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-bng

Модель facebook/mms-tts-bng — система синтеза речи для языка бенга (bng), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на бенга в речевую аудиоволну и предназначена для озвучивания текстов и создания голосового вывода на этом языке. Модель основана на архитектуре VITS и содержит около 3,6 млн параметров. Это отдельный чекпойнт для бенга из семейства MMS-TTS; он доступен через библиотеку Transformers версии 4.33 и новее. Архитектура VITS объединяет кодирование текста, предсказание длительности и генерацию аудиосигнала; случайный предиктор длительности делает генерацию недетерминированной, поэтому для повторяемого результата требуется фиксированное начальное значение генератора. Модель рассчитана на синтез речи на бенга, а не на многоязычный ввод. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

5175сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-bss

facebook/mms-tts-bss — модель синтеза речи на языке акоосе (bss) из проекта Massively Multilingual Speech компании Facebook. Это отдельный чекпойнт VITS, обученный для одного языка: он принимает текст и генерирует речевую аудиоволну. Вариационный автоэнкодер с Transformer-энкодером текста, нормализующими потоками, стохастическим предиктором длительности и декодером на основе HiFi-GAN синтезирует речь сквозным образом; число параметров — 3,6 млн. Модель подходит для озвучивания текста на акоосе и создания речевых функций для приложений на этом языке. Стохастический предиктор позволяет варьировать ритм речи, поэтому для повторяемого результата требуется фиксированное значение seed. Для работы с чекпойнтом в Transformers нужна версия 4.33 или новее. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но некоммерческое.

930сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-ceb

facebook/mms-tts-ceb — модель синтеза речи на себуанском языке из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания себуанских текстов и создания речевых интерфейсов. Модель использует архитектуру VITS и обучена отдельно для себуанского языка. Вариационный автоэнкодер, потоковый модуль и декодер HiFi-GAN работают совместно для генерации речи; стохастический предиктор длительности позволяет получать разные ритмы произношения. В репозитории представлены веса PyTorch и Safetensors, размер модели — около 3,5 млн параметров. Для повторения той же генерации нужен фиксированный seed. Для работы доступна библиотека Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но не для коммерческих целей.

4433сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-dig

facebook/mms-tts-dig — модель синтеза речи на языке Chidigo (код dig), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный языковой чекпойнт семейства MMS-TTS, предназначенный для преобразования входного текста в речевую аудиоволну. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. VITS объединяет вариационный автоэнкодер, flow-модуль и декодер, формирующий аудиосигнал; стохастический предиктор длительности позволяет получать варианты ритма для одного текста. Для повторяемого результата при генерации требуется фиксировать seed. Модель работает с текстом и создаёт аудио; для запуска поддерживается библиотека Transformers версии 4.33 и выше. Модель подходит для озвучивания текста на Chidigo и создания речевых фрагментов для приложений и демонстраций. Доступна по лицензии CC-BY-NC-4.0, которая ограничивает коммерческое использование.

950сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-dwr

facebook/mms-tts-dwr — модель синтеза речи на языке Dawro (код dwr), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт для одного языка из семейства MMS-TTS; модель принимает текст и генерирует речевую аудиоволну. Она основана на архитектуре VITS: текстовый энкодер, flow-модуль, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Размер модели — 3,5 млн параметров; веса доступны в форматах PyTorch и Safetensors и поддерживаются библиотекой Transformers начиная с версии 4.33. Модель подходит для озвучивания текста на Dawro, например для голосовых интерфейсов и создания аудиоверсий материалов. Стохастический предиктор длительности позволяет варьировать ритм речи, поэтому результат может отличаться при повторной генерации; для воспроизводимого аудио следует фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

980сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-guh

facebook/mms-tts-guh — модель синтеза речи на языке гуахибо, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на гуахибо в речевую аудиоволну; для каждого языка MMS обучается отдельная модель. Модель основана на архитектуре VITS — сквозной вариационном автоэнкодере с Transformer-кодировщиком текста, нормализующими потоками, стохастическим предиктором длительности и декодером HiFi-GAN. Число параметров — около 3,5 млн. Модель предназначена для озвучивания текста на гуахибо в приложениях синтеза речи. Стохастический предиктор длительности позволяет получать варианты ритма для одного текста, поэтому для воспроизводимого результата требуется фиксировать seed. Для работы используется библиотека Transformers версии 4.33 или новее. Веса доступны в форматах PyTorch и Safetensors; лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерчески.

890сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-gux

facebook/mms-tts-gux — модель синтеза речи на языке гурманчема, выпущенная Meta* в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на гурманчема в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS и содержит 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; модель обучена для гурманчема. В VITS текстовый энкодер и потоковый модуль формируют акустическое представление, которое декодер преобразует в аудиосигнал. Стохастический предиктор длительности позволяет получать варианты ритма; для повторяемого результата требуется фиксированное начальное значение генератора случайных чисел. Модель доступна через библиотеку Transformers версии 4.33 и новее. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая не разрешает коммерческое использование. Карточка не приводит оценок качества синтеза.

1020сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-ife

facebook/mms-tts-ife — модель синтеза речи для языка Ifè, разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на Ifè в речевую аудиоволну и предназначена для создания озвучивания и речевых интерфейсов для этого языка. Модель использует архитектуру VITS: условный вариационный автоэнкодер с Transformer-энкодером текста, потоковым модулем, стохастическим предсказателем длительности и декодером, построенным по принципу HiFi-GAN. Размер модели — 3,5 млн параметров. Для разных языков проекта обучаются отдельные контрольные точки; эта модель рассчитана на Ifè. Из-за стохастического предсказания длительности результат может различаться при одинаковом входном тексте; фиксированный seed позволяет воспроизводить генерацию. Для работы доступна библиотека Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

1060сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-kin

facebook/mms-tts-kin — модель синтеза речи на киньяруанда, созданная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на киньяруанда. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров; для языков MMS используются отдельные контрольные точки. Доступна через библиотеку Transformers версии 4.33 и выше, веса представлены в форматах PyTorch и Safetensors. Лицензия CC BY-NC 4.0 допускает использование на условиях атрибуции и некоммерческого применения. VITS синтезирует речь сквозным образом: текстовый энкодер и flow-модуль формируют акустическое представление, а декодер строит волну; стохастический предсказатель длительности позволяет получать разные ритмические варианты одной фразы. Генерация недетерминирована, поэтому для повторяемого результата нужно фиксировать seed. Модель ориентирована на киньяруанда и не заявлена для других языков; сведения о длине контекста в предоставленных данных отсутствуют.

3.6K4сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-kmr-script_arabic

facebook/mms-tts-kmr-script_arabic — модель синтеза речи из текста для курдского языка (северный курдский, запись арабским письмом), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Для каждого языка MMS-TTS обучается отдельный чекпойнт; модель построена на архитектуре VITS и генерирует речевую форму сигнала непосредственно по входному тексту. Вариативный предсказатель длительности позволяет получать разные ритм и просодию для одной и той же фразы; для воспроизводимого результата требуется фиксированное начальное значение генератора случайных чисел. Модель предназначена для озвучивания текста на северном курдском, записанном арабским письмом. Она содержит около 3,5 млн параметров и доступна для использования через Transformers версии 4.33 и новее. Репозиторий предоставляет веса PyTorch и safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

3.0K5сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-kpv

facebook/mms-tts-kpv — модель синтеза речи на коми-зырянском языке из проекта Massively Multilingual Speech (MMS) компании Meta/Facebook. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текстов на коми-зырянском языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS, доступный через библиотеку Transformers версии 4.33 и новее. Стохастический предиктор длительности позволяет варьировать ритм речи; результат генерации может меняться между запусками, поэтому для повторяемого аудио требуется фиксированное случайное зерно. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка не приводит сведений о голосах или дополнительных настройках синтеза.

4993сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-kxm

facebook/mms-tts-kxm — модель синтеза речи на северном кхмерском языке, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текстов на северном кхмерском языке. Модель построена на архитектуре VITS и обучена сквозным образом; для каждого языка MMS использует отдельный чекпойнт. Стоимость модели составляет 3,5 млн параметров. Стохастический предиктор длительности позволяет варьировать ритм речи, поэтому при одинаковом тексте результат может отличаться; фиксированный seed нужен для воспроизводимого синтеза. Модель доступна в Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

5003сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-kyc

facebook/mms-tts-kyc — модель синтеза речи на языке кьяка (Kyaka, код kyc), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевой аудиосигнал и предназначена для озвучивания текстов на этом языке. Модель использует архитектуру VITS — сквозную систему синтеза речи на основе вариационного автоэнкодера, нормализующих потоков и декодера с компонентами HiFi-GAN. В метаданных указано 3,5 млн параметров; отдельный чекпойнт MMS-TTS обучен для каждого языка. Случайный предиктор длительности позволяет варьировать ритм речи, поэтому для повторяемого результата требуется фиксировать seed. Модель распространяется в форматах PyTorch и Safetensors и доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но не для коммерческих целей.

900сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-nas

facebook/mms-tts-nas — модель синтеза речи на языке наасио (nas), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт MMS-TTS для одного языка, построенный на архитектуре VITS: модель преобразует входной текст непосредственно в речевую волну, используя вариационный автоэнкодер, потоковый модуль и декодер на основе HiFi-GAN. Размер модели — 3,5 млн параметров; веса доступны в форматах PyTorch и Safetensors и поддерживаются библиотекой Transformers начиная с версии 4.33. Модель предназначена для озвучивания текста на наасио. Стохастический предиктор длительности позволяет получать разные ритмические варианты произнесения; для повторяемого результата требуется фиксировать seed. Модель принимает текст и выдаёт аудио. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

940сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-ngl

facebook/mms-tts-ngl — модель синтеза речи на языке ломве (Lomwe, ngl), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный языковой чекпойнт семейства MMS-TTS, предназначенный для преобразования текста на ломве в речевую волну. Модель использует архитектуру VITS и работает сквозным образом: текстовый энкодер и flow-модуль формируют акустическое представление, а декодер на основе свёрточных слоёв генерирует аудио. Стохастический предиктор длительности позволяет получать разные ритмические варианты одной фразы; для повторения результата требуется фиксированный seed. В метаданных указано 3,5 млн параметров, формат весов — PyTorch и safetensors. Модель подходит для озвучивания текста на ломве и создания речевых интерфейсов для этого языка. Она рассчитана на один язык, поэтому её нельзя считать универсальной многоязычной моделью. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но ограничивает коммерческое применение.

1030сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-nyf

facebook/mms-tts-nyf — модель синтеза речи на языке кигирияма (nyf) из проекта Massively Multilingual Speech, разработанного Facebook. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текстов на этом языке. Модель использует архитектуру VITS: это сквозная система синтеза речи с вариационным автоэнкодером, потоковым модулем и декодером, основанным на подходе HiFi-GAN. Размер модели — 3,5 млн параметров. Для каждого языка в проекте MMS обучена отдельная модель; вероятностный предиктор длительности может создавать разные ритмические варианты одной и той же фразы, поэтому результат генерации недетерминирован. Модель распространяется под лицензией CC BY-NC 4.0, которая ограничивает коммерческое использование. README указывает на поддержку через библиотеку Transformers версии 4.33 и выше.

930сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-nzi

facebook/mms-tts-nzi — модель синтеза речи на языке нзема (nzi), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиозапись и предназначена для озвучивания текста на нзема. Это отдельный чекпойнт для одного языка, построенный на архитектуре VITS и содержащий 3,5 млн параметров; модель доступна через библиотеку Transformers версии 4.33 и новее. VITS синтезирует речевую волну сквозным образом, используя текстовый энкодер, условный вариационный автоэнкодер, модуль предсказания длительности и декодер на основе свёрточных слоёв. Стохастическое предсказание длительности позволяет получать разные ритмические варианты произношения одного текста; для повторения результата требуется фиксированное случайное зерно. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

1250сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-pse

facebook/mms-tts-pse — модель синтеза речи на центральном малайском языке из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую волну и подходит для озвучивания фраз и коротких текстов на этом языке. Модель построена на архитектуре VITS и содержит 3,5 млн параметров; для каждого языка в проекте обучен отдельный чекпойнт. Длительность и ритм произношения задаются стохастически, поэтому для повторяемого результата требуется фиксировать seed. Модель доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers начиная с версии 4.33. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

990сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-qvw

facebook/mms-tts-qvw — модель синтеза речи на языке кечуа, диалект Уайлья-Уанка, из проекта Massively Multilingual Speech компании Meta (Facebook). Она преобразует входной текст в речевую волну и предназначена для озвучивания текста на этом языке. Для каждого языка в MMS-TTS используется отдельный чекпойнт. Модель построена на архитектуре VITS: она объединяет вариационный автоэнкодер, потоковый модуль, текстовый энкодер на основе Transformer, стохастический предсказатель длительности и декодер в стиле HiFi-GAN. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для работы с ним подходит Transformers версии 4.33 и новее. Предсказатель длительности делает синтез недетерминированным: для повторного получения той же речевой волны требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

990сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-seh

facebook/mms-tts-seh — модель синтеза речи для языка Sena (seh) из проекта Massively Multilingual Speech, разработанного Facebook. Это отдельный языковой чекпойнт семейства VITS: модель принимает текст и генерирует речевую аудиоволну. Архитектура VITS объединяет вариационный автоэнкодер, Transformer-кодировщик текста, flow-модуль, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN; число параметров — 3,5 млн. Модель предназначена для озвучивания текста на Sena. Стохастический предиктор длительности позволяет получать варианты ритма для одного текста, поэтому генерация недетерминирована: для повторяемого результата нужен фиксированный seed. Чекпойнт доступен через Transformers версии 4.33 и новее и распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

1000сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-shi

facebook/mms-tts-shi — модель синтеза речи на языке ташельхит (shi) из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на ташельхите. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Размер — 3,5 млн параметров; модель доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers версии 4.33 и выше. Отдельный чекпойнт MMS-TTS обучен для каждого языка. Предиктор длительности стохастический, поэтому при одинаковом тексте синтезированная речь может различаться; для повторения результата нужен фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

1353сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-sid

facebook/mms-tts-sid — модель синтеза речи на языке сидама (sid), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на сидама. Модель использует архитектуру VITS и содержит 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; синтез речи стохастический, поэтому для повторения того же результата требуется фиксировать seed. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

1200сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-sja

facebook/mms-tts-sja — модель синтеза речи на языке эпена (Epena, код sja) из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст на эпена в речевой аудиосигнал; для каждого языка MMS-TTS обучается отдельный чекпойнт. Модель построена на архитектуре VITS: она объединяет кодирование текста, вероятностное моделирование длительности и декодер, формирующий аудиоволну. Чекпойнт содержит 3,5 млн параметров и распространяется в форматах PyTorch и Safetensors; для работы с ним подходит библиотека Transformers версии 4.33 и выше. Модель предназначена для синтеза речи на эпена, например озвучивания текстов и создания речевых интерфейсов для этого языка. Генерация недетерминирована, поэтому для воспроизведения того же результата требуется фиксированный seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но некоммерческое.

930сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-sna

facebook/mms-tts-sna — модель синтеза речи на языке шона, разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на шона в речевую аудиоволну и подходит для озвучивания текстов и создания синтетической речи для приложений на этом языке. Модель построена на архитектуре VITS: это сквозная система с вариационным автоэнкодером, потоковым модулем, декодером формы сигнала и стохастическим предиктором длительности, который позволяет варьировать ритм произношения. Для каждого языка MMS-TTS обучается отдельный чекпойнт; этот содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors. Использование поддерживается библиотекой Transformers начиная с версии 4.33. Генерация недетерминирована: чтобы получить тот же аудиосигнал повторно, необходимо зафиксировать seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

7967сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-tik

facebook/mms-tts-tik — модель синтеза речи на языке тикар, разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный языковой чекпойнт семейства VITS с 3,5 млн параметров: модель принимает текст и генерирует речевую аудиоволну. Архитектура VITS объединяет вариационный автоэнкодер, Transformer-энкодер текста, нормализующие потоки и декодер на основе свёрточных слоёв; стохастический предиктор длительности позволяет варьировать ритм произношения. Модель предназначена для синтеза речи на тикаре, например для озвучивания текста и создания речевого вывода в приложениях. Она доступна через Transformers версии 4.33 и выше. Генерация недетерминирована, поэтому для повторения результата требуется фиксированное начальное значение генератора. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

940сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-tir

facebook/mms-tts-tir — модель синтеза речи на тигринья, разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания фраз на тигринья. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль, стохастический предсказатель длительности и декодер, формирующий аудиосигнал. Чекпойнт содержит 3,5 млн параметров и опубликован в форматах PyTorch и safetensors; для работы доступен через Transformers версии 4.33 и выше. Предсказатель длительности делает синтез недетерминированным: для повторения того же результата требуется фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

4.9K7сент. 2023
textaudiocc-by-nc-4.0hugging-face

Задачи профессии

15 задач
139Классификация звуковых событий. — AI анализирует спектральные и временные признаки аудио и относит фрагменты к классам звуковых событий: речи, музыке, сигналам, ударам, шумам или другим заданным категориям. На выходе — метки с временными границами и уверенностью. Качество проверяют по размеченным записям, отдельно оценивая редкие классы, смешанные звуки и условия с сильным фоновым шумом.
140Обнаружение заданного звука в непрерывном аудиопотоке. — Механизм: AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение заданного звука в непрерывном аудиопотоке», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
141Определение источника и направления звука. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение источника и направления звука» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
142Разделение смеси на голос, музыку и отдельные инструменты. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: результат «Разделение смеси на голос, музыку и отдельные инструменты» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
143Удаление фонового шума и акустических артефактов. — Практическая реализация: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Входной контекст включает референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: преобразованный материал по задаче «Удаление фонового шума и акустических артефактов» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
144Восстановление повреждённой или неполной аудиозаписи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: преобразованный материал по задаче «Восстановление повреждённой или неполной аудиозаписи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
145Автоматическое выравнивание громкости и динамического диапазона. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. К исходным данным относятся аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Автоматическое выравнивание громкости и динамического диапазона» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
146Генерация музыки по жанру, настроению, структуре и ограничениям. — Для этой задачи система генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: редактируемый артефакт по задаче «Генерация музыки по жанру, настроению, структуре и ограничениям», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
147Генерация звуковых эффектов по текстовому описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Генерация звуковых эффектов по текстовому описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
148Создание аранжировки для заданной мелодии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: редактируемый артефакт по задаче «Создание аранжировки для заданной мелодии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
149Продолжение музыкального фрагмента в согласованном стиле. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: редактируемый артефакт по задаче «Продолжение музыкального фрагмента в согласованном стиле», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
150Транскрибирование музыки в ноты или MIDI. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Транскрибирование музыки в ноты или MIDI» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
151Определение темпа, тональности, аккордов и структуры композиции. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение темпа, тональности, аккордов и структуры композиции» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
152Сведение и предварительный мастеринг аудиоматериала. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: преобразованный материал по задаче «Сведение и предварительный мастеринг аудиоматериала» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
153Адаптация длительности музыки под видео без резкого обрыва. — AI строит профиль текущих потребностей и адаптирует содержание, порядок или параметры взаимодействия под конкретного человека. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: адаптированный вариант для «Адаптация длительности музыки под видео без резкого обрыва» с указанием контекста и факторов, определивших персонализацию. Надёжность оценивают по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче. <a id="section-i-10"></a>

0 моделей