/ Профессии
Универсальные способности и операции

I.9Аудио и музыка

В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
15
в этой профессии
Подходящих моделей
4 835
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

4 835 моделей
Загрузки
Лайки
Дата выхода
2 461–2 490 из 4 835
facebook
mms-tts-knf

facebook/mms-tts-knf — модель синтеза речи на языке манканья (Mankanya, код knf), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст на манканья в речевую аудиоволну; для каждого языка MMS обучается отдельный чекпойнт. Модель использует архитектуру VITS — сквозную вариационную модель с Transformer-кодировщиком текста, нормализующими потоками, стохастическим предсказателем длительности и декодером, построенным по принципу HiFi-GAN. Чекпойнт содержит около 3,5 млн параметров, представлен в форматах PyTorch и Safetensors и доступен через Transformers версии 4.33 и новее. Стохастический предсказатель длительности позволяет получать разные ритмические варианты речи для одного текста; для воспроизводимого результата требуется фиксировать seed. Модель предназначена для синтеза речи на манканья и не является универсальной многоязычной моделью. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

960сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-kxc

facebook/mms-tts-kxc — модель синтеза речи на языке консо (Konso, kxc) из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну; для каждого языка в MMS обучается отдельный чекпойнт. Модель основана на архитектуре VITS и содержит текстовый энкодер, flow-модуль, стохастический предиктор длительности и декодер на основе HiFi-GAN. Размер составляет 3,6 млн параметров. Модель доступна через библиотеку Transformers версии 4.33 и новее; лицензия CC BY-NC 4.0 ограничивает коммерческое использование. Стохастический предиктор длительности позволяет получать варианты ритма для одного текста, поэтому результат может меняться между запусками; для воспроизводимой генерации нужен фиксированный seed. Модель предназначена для синтеза речи на консо и не заявлена как многоязычная.

4860сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-mzk

facebook/mms-tts-mzk — модель синтеза речи на языке Мамби́ла (mzk), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель основана на архитектуре VITS и содержит около 3,5 млн параметров; для каждого языка проекта обучается отдельный чекпойнт. VITS объединяет текстовый энкодер на основе Transformer, вариационный автоэнкодер, нормализующие потоки, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Предиктор длительности позволяет получать разные ритмические варианты произношения одного текста, поэтому синтез недетерминирован и для воспроизводимого результата требуется фиксировать seed. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. Модель ориентирована на синтез речи на языке Мамби́ла; сведения о поддержке других языков или специальных ограничениях качества в карточке отсутствуют.

960сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-ngp

facebook/mms-tts-ngp — модель синтеза речи на языке Ngulu (ngp), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст в речевую аудиоволну и предназначена для озвучивания текстов на Ngulu. Для каждого языка в проекте обучается отдельный чекпойнт. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль, стохастический предиктор длительности и декодер HiFi-GAN-подобного типа. Размер модели — 3,5 млн параметров; она доступна для Transformers версии 4.33 и новее, в форматах PyTorch и Safetensors. Предиктор длительности стохастический, поэтому один и тот же текст может получать разный ритм и звучание; для воспроизводимого результата требуется фиксировать seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

930сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-not

facebook/mms-tts-not — модель синтеза речи на языке номацингенга, созданная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую волну и предназначена для озвучивания текстов на номацингенга. Модель использует архитектуру VITS: это сквозная система синтеза речи с вариационным автоэнкодером, flow-модулем, декодером на основе HiFi-GAN и стохастическим предсказателем длительности. Для языка проекта обучена отдельная модель; размер чекпойнта — 3,5 млн параметров. Модель доступна через Transformers версии 4.33 и новее. К модели применима лицензия CC BY-NC 4.0, которая ограничивает коммерческое использование. Из-за стохастического предсказателя длительности синтез недетерминирован: для повторения результата требуется фиксировать seed. Модель предназначена для одного языка и не подходит для синтеза речи на других языках.

940сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-sba

facebook/mms-tts-sba — модель синтеза речи на языке нгамбай (Ngambay, код sba), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую волну и подходит для озвучивания фраз и создания речевых интерфейсов на нгамбай. Модель использует архитектуру VITS — сквозной вариационный автоэнкодер с состязательным обучением, потоковым модулем, декодером на основе свёрточных слоёв и стохастическим предсказателем длительности. В репозитории указано 3,5 млн параметров; веса доступны в форматах PyTorch и Safetensors. Модель предназначена для языка нгамбай; длина контекста в предоставленных данных не указана. Генерация речи недетерминирована: для повторяемого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерчески.

1160сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-srm

facebook/mms-tts-srm — модель синтеза речи на языке сарамаккан, разработанная Meta* в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на сарамаккане в речевой аудиосигнал и предназначена для озвучивания текстов и создания речевых интерфейсов на этом языке. Модель построена на архитектуре VITS: она объединяет кодировщик текста, вероятностные компоненты и декодер, формирующий аудиоволну. Это отдельный контрольный набор весов для одного языка; размер модели — 3,5 млн параметров. Доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Генерация недетерминирована из-за стохастического предиктора длительности; для воспроизводимого результата нужно фиксировать seed. Качество и естественность речи README не оценивает.

1040сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-sxb

facebook/mms-tts-sxb — модель синтеза речи для языка Suba (sxb), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на Suba в речевую аудиоволну; для каждого языка проекта обучается отдельный чекпойнт. Модель доступна через библиотеку Transformers версии 4.33 и новее. Модель построена на архитектуре VITS и содержит 3,5 млн параметров. В её состав входят текстовый кодировщик на основе Transformer, условный вариационный автоэнкодер, модуль предсказания длительности и декодер HiFi-GAN. Стохастический предсказатель длительности позволяет получать варианты ритма для одного текста, поэтому генерация недетерминирована; фиксированный seed нужен для воспроизведения того же результата. Репозиторий распространяет веса в форматах PyTorch и Safetensors. Модель подходит для озвучивания текста на Suba, например для голосовых интерфейсов и аудиоверсий текстового содержимого. Она специализирована на одном языке и не предназначена для синтеза речи на других языках. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

920сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-tac

facebook/mms-tts-tac — модель синтеза речи на западном тараумара, разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на языке Tarahumara, Western в речевую аудиоволну и подходит для озвучивания текстов на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный чекпойнт для одного языка; он доступен в формате PyTorch и Safetensors и поддерживается библиотекой Transformers начиная с версии 4.33. Генерация зависит от случайного предсказателя длительности, поэтому для повторения того же результата нужен фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

1110сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-tcc

facebook/mms-tts-tcc — модель синтеза речи для языка datooga (код ISO 639-3: tcc), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текста на Datooga. Модель основана на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; для синтеза используется стохастический предиктор длительности, поэтому одинаковый текст может звучать по-разному, а для повторения результата требуется фиксированное начальное значение генератора. Модель доступна через Transformers версии 4.33 и новее. Модель предназначена для синтеза речи на одном языке и не заявлена как универсальная мультиязычная система. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

910сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-ura

facebook/mms-tts-ura — модель синтеза речи на языке урарина, разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на урарина в речевую аудиоволну и предназначена для озвучивания текстов и создания речевых интерфейсов на этом языке. Модель использует архитектуру VITS и обучена сквозным образом; для каждого языка MMS-TTS выпускается отдельный чекпойнт. Размер модели — 3,5 млн параметров. Вероятностный предиктор длительности позволяет получать варианты ритма речи для одного текста, поэтому результат может меняться между запусками; для повторяемой генерации нужен фиксированный seed. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

1050сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-wwa

facebook/mms-tts-wwa — модель синтеза речи на языке ваама (Waama, код wwa), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт для одного языка из семейства MMS-TTS. Модель построена на архитектуре VITS и преобразует входной текст в речевую аудиоволну; стохастический предиктор длительности позволяет варьировать ритм произнесения, поэтому генерация не детерминирована и для повторения результата нужен фиксированный seed. В чекпойнте около 3,5 млн параметров. Для запуска поддерживается библиотека Transformers версии 4.33 и новее; веса доступны в форматах PyTorch и safetensors. Модель предназначена для озвучивания текста на ваама, например для голосовых интерфейсов и создания речевого контента. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

980сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-xon

facebook/mms-tts-xon — модель синтеза речи на языке конкомба (xon), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на конкомба. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, вероятностный модуль длительности и декодер, который формирует аудиосигнал. Это отдельный чекпойнт, обученный для одного языка; число параметров — около 3,5 млн. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Генерация речи недетерминирована: для повторяемого результата требуется фиксированный seed. Модель ориентирована на конкомба, поэтому её не следует считать многоязычной или подходящей для других языков.

940сент. 2023
textaudiocc-by-nc-4.0hugging-face
amandabenson
music-flamingo-think-2601-hf-fork

Карточка модели amandabenson/music-flamingo-think-2601-hf-fork на Hugging Face совпадает с карточкой nvidia/music-flamingo-think-2601-hf, поэтому описание составлено по ней. Music Flamingo Think (MF-Think) — разработанная NVIDIA модель Audio-Language для понимания музыки и песен. Она принимает аудио и текстовые запросы, а в ответ формирует текст с описанием музыки, ответами на вопросы и пошаговыми рассуждениями о звучании. Модель построена на архитектуре Audio Flamingo 3: использует аудиоэнкодер AF-Whisper, MLP-адаптер и декодерную языковую модель на базе Qwen2.5-7B. Размер — 8 млрд параметров. В README заявлена обработка аудио длительностью до 20 минут и контекста текста до 24 000 токенов; метаданные указывают native context в 1 200 токенов. Модель ориентирована на музыкальные вопросы и ответы, подробные описания с учётом музыкальной теории и анализ структуры, тембра, гармонии, текстов песен и культурного контекста. Основной язык карточки — английский. MF-Think предназначена для исследовательских и разработческих сценариев, включая изучение музыки и создание интерактивных музыкальных помощников. Для работы предусмотрены PyTorch и Transformers; README указывает NVIDIA A100 и H100 и Linux. Лицензия обозначена как other, а README ограничивает использование некоммерческими исследованиями. Результаты модели требуют проверки на данных и задачах целевого применения.

250авг. 2026ctx1.2K
textaudiootherhugging-face
snkii
Sori-1B-MCQ

Sori-1B-MCQ — модель Seonuk Kim из Human Interface Lab Сеульского национального университета для ответов на вопросы с вариантами выбора о звуковых фрагментах. Она возвращает выбранный вариант, вероятности для заданных вариантов и оценку уверенности, чтобы программа могла принимать решения без разбора текстового ответа. Модель содержит 1,05 млрд параметров и объединяет дообученный аудиоэнкодер NVIDIA Audio Flamingo Next, двунаправленный энкодер Liquid AI LFM2.5-Encoder-350M и проектор-микшер на основе блоков энкодера Liquid. Принимает аудио, преобразует его к частоте 16 кГц и поддерживает вопросы о выборе варианта, оценке по шкале и проверке утверждения. Карточка указывает английский язык. Лицензия обозначена как other; README позиционирует модель как исследовательский предварительный выпуск для академического использования.

716сент. 2026
textaudiootherhugging-face
PrinceAlhassanNasamu
tekyerema-tts-kus

Модель PrinceAlhassanNasamu/tekyerema-tts-kus — система синтеза речи на языке кусал, дообученная разработчиком на базе facebook/mms-tts-kus. Это компактная модель VITS с 3,5 млн параметров в формате Safetensors; обучение длилось 20 000 шагов на наборе kusaal_scripture. Модель преобразует текст в аудио и предназначена для озвучивания текстов на кусал, в том числе команд голосового агента. Голос обучен на чтении священных текстов, поэтому звучит как чтение, а не как обычная разговорная речь. Проверка носителем языка показала обобщение фонетического покрытия на тексты вне обучающего набора, однако командах голосового агента длительность синтеза составляла около 54% от человеческой. Токенизатор посимвольный: символы вне словаря отбрасываются без предупреждения. Перед синтезом следует привести текст к нижнему регистру и преобразовать числа в слова; для кусал также остаются проблемными буква «c» и некоторые знаки препинания. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства, но не коммерческое.

460авг. 2026
textaudiocc-by-nc-4.0hugging-face
B-K
umt5-thai-g2p-v2-0.5k

umt5-thai-g2p-v2-0.5k — модель B-K, дообученная на наборе B-K/thai-g2p для преобразования тайского текста в фонемную транскрипцию Международным фонетическим алфавитом (IPA). Это модель семейства UMT5 с архитектурой условной генерации текста; число параметров — 29,6 млн. Её применяют для преобразования слов и предложений на тайском языке в произношение, в том числе как этап предварительной обработки в конвейере синтеза речи. На оценочном наборе указаны loss 1,0480 и CER 0,0369. Модель может ошибаться, особенно на редких словах, неологизмах, сложных именах и данных, отличающихся от обучающего набора; неоднозначность тайского письма также может приводить к неверному произношению. Устойчивость на очень длинных или сложных предложениях может варьироваться. Распространяется по лицензии Apache-2.0.

3942июнь 2025
textapache-2.0hugging-face
microsoft
wavlm-base

WavLM-Base — базовая модель Microsoft для извлечения речевых признаков. Это плотная Transformer-архитектура семейства WavLM с 113,3 млн параметров, созданная на основе подхода HuBERT и предварительно обученная на 960 часах англоязычной речи из LibriSpeech. Модель принимает аудио с частотой дискретизации 16 кГц и выдаёт речевые представления; токенизатора у неё нет. Модель предназначена для дальнейшей настройки под задачи обработки речи, включая распознавание речи и классификацию аудио. Она сохраняет информацию о содержании речи и характеристиках говорящего, поэтому её представления также могут быть полезны в задачах, связанных с голосом. Для распознавания речи нужны токенизатор и дообучение на размеченных текстовых данных; готовой моделью распознавания WavLM-Base не является. Карточка сообщает о хороших результатах на бенчмарке SUPERB. Разработчик — Microsoft. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.

48K17март 2022
textembeddinghugging-face
saheedniyi
YarnGPT

YarnGPT — модель синтеза речи, разработанная Saheed Azeez для генерации английской речи с нигерийским акцентом. Она построена как дообученная языковая модель семейства Llama на базе HuggingFaceTB/SmolLM2-360M и использует языковое моделирование для синтеза речи без внешних адаптеров. В метаданных указаны 365,7 млн параметров, контекст 8192 токена и библиотека Transformers. Модель предназначена для озвучивания текста, например для новостного читателя. Поддерживает 11 голосовых профилей: шесть мужских и пять женских; голос idera указан как вариант по умолчанию. README также отмечает возможность задавать голос через промпт. Карточка заявляет естественное звучание и культурно релевантную речь, но не приводит результатов сравнительной оценки. Модель ориентирована на английский с нигерийским акцентом, поэтому её пригодность для других языков и акцентов не подтверждена. Лицензия — Apache-2.0.

14654дек. 2024ctx8.2K
textapache-2.0hugging-face
facebook
mms-tts-ake

facebook/mms-tts-ake — модель синтеза речи на языке Akawaio (код ake), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на Akawaio. Модель использует архитектуру VITS: текстовый энкодер, потоковый модуль и декодер формируют речь сквозным образом; стохастический предиктор длительности позволяет варьировать ритм произношения. Размер модели — 3,5 млн параметров. Для воспроизводимого результата требуется фиксировать seed, поскольку генерация недетерминирована. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и ограничивающая коммерческое применение.

980сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-ann

facebook/mms-tts-ann — модель синтеза речи на языке оболо (ann), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на оболо. Модель построена на архитектуре VITS и содержит 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; для синтеза использует стохастический предсказатель длительности, поэтому одинаковый текст может звучать с разным ритмом, а для воспроизводимого результата требуется фиксированный seed. Модель доступна через Transformers версии 4.33 и новее, веса представлены в форматах PyTorch и Safetensors. Лицензия CC BY-NC 4.0 запрещает коммерческое использование.

970сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-dip

facebook/mms-tts-dip — модель синтеза речи на северо-восточном диалекте языка динка (Dinka, Northeastern, ISO 639-3: dip), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Это отдельный чекпойнт для одного языка, предназначенный для преобразования текстовой последовательности в речевую аудиоволну. Модель построена на архитектуре VITS и содержит текстовый энкодер на основе Transformer, flow-модуль, стохастический предиктор длительности и декодер, формирующий аудиоволну. В репозитории указаны 3,5 млн параметров; доступны веса PyTorch и Safetensors. Для одинакового результата генерации требуется фиксировать seed, поскольку предиктор длительности стохастический. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

1140сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-hwc

facebook/mms-tts-hwc — модель синтеза речи для Hawaii Pidgin (hwc), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст на Hawaii Pidgin в речевую аудиоволну и подходит для озвучивания коротких фраз и текстов на этом языке. Модель использует архитектуру VITS, которая объединяет текстовый энкодер, генерацию акустических признаков и декодер речи в сквозной системе. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для работы с ним подходит Transformers версии 4.33 и новее. Отдельные VITS-чекпойнты MMS обучаются для разных языков. Генерация стохастическая: один и тот же текст может звучать по-разному, поэтому для воспроизводимого результата требуется фиксированное значение seed. Лицензия CC-BY-NC-4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.

1030сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-kek

facebook/mms-tts-kek — модель синтеза речи на языке кекчи, созданная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на кекчи в речевую аудиоволну и предназначена для озвучивания текста и создания речевых интерфейсов для этого языка. Модель использует архитектуру VITS — сквозную систему text-to-speech с вариационным автоэнкодером, потоковым модулем, трансформерным текстовым энкодером, декодером, похожим на HiFi-GAN, и стохастическим предсказателем длительности. Для каждой языковой версии MMS-TTS обучен отдельный чекпойнт. Размер модели — 3,5 млн параметров; она доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers начиная с версии 4.33. Из-за стохастической генерации фиксированный seed нужен для повторного получения той же аудиозаписи. Модель рассчитана на синтез речи на кекчи и не является многоязычной универсальной системой. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

1510сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-klu

facebook/mms-tts-klu — модель синтеза речи на языке клао (Klao, код klu), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую волну и предназначена для озвучивания текста на клао. Модель использует архитектуру VITS и обучена отдельно для этого языка. В описании архитектуры указаны текстовый энкодер на основе Transformer, потоковый модуль, декодер, подобный HiFi-GAN, и стохастический предиктор длительности, позволяющий синтезировать разные ритмы речи для одного текста. Размер модели — 3,5 млн параметров; для работы доступна через Transformers версии 4.33 и выше. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Синтез стохастический: для воспроизводимого результата требуется фиксировать seed. Карточка не сообщает о поддержке других языков или дополнительных режимах синтеза.

5022сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-kqy

facebook/mms-tts-kqy — модель синтеза речи на языке Koorete (код kqy), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текстов на Koorete. Модель использует архитектуру VITS и содержит 3,6 млн параметров; для каждого языка MMS обучается отдельный чекпойнт. Модель доступна через библиотеку Transformers версии 4.33 и новее. Синтез выполняется сквозным способом: модель предсказывает акустические признаки и формирует аудиосигнал. Стохастический предиктор длительности позволяет получать варианты с разным ритмом; результат может меняться между запусками, поэтому для повторяемой генерации требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

4900сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-mbu

facebook/mms-tts-mbu — модель синтеза речи на языке Mbula-Bwazza, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на языке mbu в речевую аудиоволну и подходит для озвучивания фраз и создания голосового вывода на этом языке. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, потоковый модуль, стохастический предсказатель длительности и декодер, формирующий аудиоволну. Это отдельный чекпойнт для одного языка; в репозитории указано 3,6 млн параметров. Модель доступна через Transformers версии 4.33 и новее. Из-за стохастического предсказателя длительности для повторения того же результата требуется фиксированный seed. Лицензия — CC BY-NC 4.0, которая ограничивает коммерческое использование. Описание и метаданные не сообщают о дополнительных ограничениях качества или поддержке других языков.

970сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-mfy

facebook/mms-tts-mfy — модель синтеза речи на языке Mayo (mfy), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на Mayo. Для каждого языка MMS обучается отдельный чекпойнт. Модель использует архитектуру VITS: это сквозная система синтеза речи с текстовым энкодером, вариационным автоэнкодером, flow-модулем и декодером на основе HiFi-GAN. Размер модели — 3,5 млн параметров. Она доступна через библиотеку Transformers версии 4.33 и выше. Генерация стохастическая: для повторения того же результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. Модель предназначена для синтеза речи на Mayo; сведений о поддержке других языков или дополнительных возможностях карточка не приводит.

940сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-mhi

facebook/mms-tts-mhi — модель синтеза речи на языке Ma’di (код ISO 639-3: mhi), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на Ma’di в речевую аудиоволну и предназначена для озвучивания текста и создания речевого вывода для этого языка. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, условный вариационный автоэнкодер, нормализующие потоки, стохастический предиктор длительности и декодер, связанный с HiFi-GAN. Архитектура синтезирует речь сквозным образом; стохастический предиктор позволяет получать разные ритмические варианты одной фразы. Веса содержат около 3,5 млн параметров, доступны в форматах PyTorch и Safetensors и поддерживаются библиотекой Transformers версии 4.33 и выше. Модель предназначена для одного языка и не является универсальным многоязычным синтезатором. Из-за стохастического предиктора одинаковый ввод может давать разные аудиоварианты; для воспроизводимого результата требуется фиксированное случайное зерно. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

940сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-nhx

facebook/mms-tts-nhx — модель синтеза речи на языке науатль, вариант Isthmus-Mecayapan (nhx), разработанная в рамках проекта Massively Multilingual Speech (MMS) компании Facebook. Она преобразует входной текст на этом языке в речевую аудиоволну и предназначена для озвучивания текста и создания синтетической речи. Модель использует архитектуру VITS и содержит 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS, обученный для науатля Isthmus-Mecayapan. Синтез выполняется сквозным образом; стохастический предсказатель длительности позволяет получать разные ритмические варианты произнесения, поэтому для повторяемого результата нужен фиксированный seed. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое применение. Модель рассчитана на один языковой вариант и может быть чувствительна к написанию входного текста; качество синтеза за пределами описанного языка не подтверждено.

910сент. 2023
textaudiocc-by-nc-4.0hugging-face

Задачи профессии

15 задач
139Классификация звуковых событий. — AI анализирует спектральные и временные признаки аудио и относит фрагменты к классам звуковых событий: речи, музыке, сигналам, ударам, шумам или другим заданным категориям. На выходе — метки с временными границами и уверенностью. Качество проверяют по размеченным записям, отдельно оценивая редкие классы, смешанные звуки и условия с сильным фоновым шумом.
140Обнаружение заданного звука в непрерывном аудиопотоке. — Механизм: AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение заданного звука в непрерывном аудиопотоке», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
141Определение источника и направления звука. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение источника и направления звука» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
142Разделение смеси на голос, музыку и отдельные инструменты. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: результат «Разделение смеси на голос, музыку и отдельные инструменты» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
143Удаление фонового шума и акустических артефактов. — Практическая реализация: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Входной контекст включает референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: преобразованный материал по задаче «Удаление фонового шума и акустических артефактов» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
144Восстановление повреждённой или неполной аудиозаписи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: преобразованный материал по задаче «Восстановление повреждённой или неполной аудиозаписи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
145Автоматическое выравнивание громкости и динамического диапазона. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. К исходным данным относятся аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Автоматическое выравнивание громкости и динамического диапазона» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
146Генерация музыки по жанру, настроению, структуре и ограничениям. — Для этой задачи система генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: редактируемый артефакт по задаче «Генерация музыки по жанру, настроению, структуре и ограничениям», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
147Генерация звуковых эффектов по текстовому описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Генерация звуковых эффектов по текстовому описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
148Создание аранжировки для заданной мелодии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: редактируемый артефакт по задаче «Создание аранжировки для заданной мелодии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
149Продолжение музыкального фрагмента в согласованном стиле. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: редактируемый артефакт по задаче «Продолжение музыкального фрагмента в согласованном стиле», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
150Транскрибирование музыки в ноты или MIDI. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Транскрибирование музыки в ноты или MIDI» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
151Определение темпа, тональности, аккордов и структуры композиции. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение темпа, тональности, аккордов и структуры композиции» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
152Сведение и предварительный мастеринг аудиоматериала. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: преобразованный материал по задаче «Сведение и предварительный мастеринг аудиоматериала» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
153Адаптация длительности музыки под видео без резкого обрыва. — AI строит профиль текущих потребностей и адаптирует содержание, порядок или параметры взаимодействия под конкретного человека. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: адаптированный вариант для «Адаптация длительности музыки под видео без резкого обрыва» с указанием контекста и факторов, определивших персонализацию. Надёжность оценивают по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче. <a id="section-i-10"></a>

0 моделей