/ Профессии
Универсальные способности и операции

I.9Аудио и музыка

В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
15
в этой профессии
Подходящих моделей
4 835
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

4 835 моделей
Загрузки
Лайки
Дата выхода
2 431–2 460 из 4 835
facebook
mms-tts-mda

facebook/mms-tts-mda — модель синтеза речи для языка Mada (mda), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на Mada в речевую аудиоволну; для каждого языка MMS-TTS обучается отдельный чекпойнт. Модель построена на архитектуре VITS и содержит текстовый энкодер на основе Transformer, flow-модуль и декодер, подобный HiFi-GAN. Размер модели — 3,5 млн параметров; для работы доступны веса PyTorch и Safetensors, а поддержка включена в Transformers начиная с версии 4.33. Модель подходит для озвучивания текста на Mada в приложениях и экспериментах с речевыми интерфейсами. Стохастический предиктор длительности позволяет варьировать ритм речи, поэтому для повторяемого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерчески.

910сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-mev

facebook/mms-tts-mev — модель синтеза речи на языке Maan (mev), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на Maan. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, вариационный автоэнкодер, flow-модуль, декодер, похожий на HiFi-GAN, и стохастический предсказатель длительности. Размер модели — 3,5 млн параметров. Для каждого языка MMS-TTS обучается отдельный чекпойнт; стохастический предсказатель может создавать разные варианты ритма, поэтому для повторяемого результата нужен фиксированный seed. Модель распространяется в форматах PyTorch и Safetensors по лицензии CC-BY-NC-4.0, которая ограничивает коммерческое использование. Описание не приводит оценок качества или условий записи обучающих данных.

980сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-mfk

facebook/mms-tts-mfk — модель синтеза речи на языке Mofu, North (mfk), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель построена на архитектуре VITS и содержит 3,5 млн параметров. Это отдельный языковой чекпойнт проекта MMS-TTS; он доступен через библиотеку Transformers. Генерация стохастическая: для повторения того же результата необходимо фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, допускающей использование с указанием авторства и ограничивающей коммерческое применение.

920сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-mza

facebook/mms-tts-mza — модель синтеза речи на языке Mixtec, Santa María Zacatepec (mza), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую волну и предназначена для озвучивания текста и создания речевого вывода в приложениях. Модель использует архитектуру VITS: это сквозная система синтеза речи с вариационным автоэнкодером, потоковым модулем и декодером, построенным по принципу HiFi-GAN. Для предсказания ритма используется стохастический предиктор длительности, поэтому результат синтеза может меняться между запусками; фиксированный seed позволяет воспроизводить тот же результат. В репозитории доступны веса PyTorch и Safetensors, размер модели — 3,5 млн параметров. Модель поддерживается библиотекой Transformers начиная с версии 4.33. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Карточка описывает отдельный чекпойнт для одного языка; качество синтеза для конкретных текстов может зависеть от используемого письма и входных данных.

1130сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-mzi

facebook/mms-tts-mzi — модель синтеза речи на мазатекском языке варианта Икатлан, разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный контрольный набор VITS, обученный для одного языка; модель преобразует входной текст в речевую аудиоволну. Архитектура VITS объединяет вариационный автоэнкодер, потоковый модуль с текстовым энкодером на основе Transformer, стохастический предсказатель длительности и декодер, подобный HiFi-GAN. В репозитории доступны веса PyTorch и Safetensors; размер модели — 3,5 млн параметров. Для работы с моделью подходит библиотека Transformers версии 4.33 и выше. Модель предназначена для озвучивания текста на мазатекском языке Икатлан. Стохастический предсказатель длительности позволяет получать варианты с разным ритмом, поэтому для воспроизводимого результата требуется фиксировать случайное зерно. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

1080сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-nhw

facebook/mms-tts-nhw — модель синтеза речи на западно-уастекском варианте науатля (nhw), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну; для каждого языка в MMS-TTS обучен отдельный чекпойнт. Модель построена на архитектуре VITS и объединяет вариационный автоэнкодер, Transformer-кодировщик текста, нормализующие потоки, стохастический предсказатель длительности и декодер на основе HiFi-GAN. В репозитории указано 3,5 млн параметров; модель доступна через Transformers версии 4.33 и новее. Стохастический предсказатель делает генерацию недетерминированной: для повторения результата требуется фиксированное начальное значение генератора. Чекпойнт предназначен для озвучивания текста на западно-уастекском науатле. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

1010сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-nim

facebook/mms-tts-nim — модель синтеза речи на языке ниламба (nim) из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Для каждого языка MMS обучается отдельная модель; этот чекпойнт преобразует текст на ниламба в речевую аудиоволну. Модель основана на архитектуре VITS и содержит около 3,5 млн параметров. Это сквозная система text-to-speech: текстовый энкодер и flow-модуль формируют акустические представления, а декодер на основе свёрточных слоёв генерирует аудио. Стохастический предиктор длительности позволяет получать варианты с разным ритмом; из-за этого результат может меняться при одинаковом входе, а фиксированный seed обеспечивает воспроизводимость. Модель предназначена для синтеза речи на ниламба и использования через Transformers версии 4.33 или новее. Карточка указывает лицензию CC BY-NC 4.0, которая ограничивает коммерческое использование.

900сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-noa

facebook/mms-tts-noa — модель синтеза речи на языке Woun Meu (noa), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текстов и создания речевого вывода в приложениях. Модель построена на архитектуре VITS: генерация речи выполняется сквозным образом, а стохастический предиктор длительности позволяет получать варианты ритма для одного текста. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для работы поддерживается библиотека Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование на условиях атрибуции и некоммерческого применения.

930сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-omw

facebook/mms-tts-omw — модель синтеза речи на языке Tairora, South (omw), разработанная в рамках проекта Massively Multilingual Speech (MMS) компании Meta. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для создания озвучивания и речевых интерфейсов для языка, для которого доступно мало речевых технологий. Модель использует архитектуру VITS: это сквозная система синтеза речи с вариационным автоэнкодером, flow-модулем, декодером, похожим на HiFi-GAN, и стохастическим предсказателем длительности. В репозитории указано 3,5 млн параметров; модель доступна для PyTorch и safetensors и поддерживается библиотекой Transformers начиная с версии 4.33. Стохастический предсказатель может выдавать разные ритмы для одного текста, поэтому для повторяемого результата требуется фиксированный seed. Модель предназначена для синтеза речи именно на Tairora, South. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. README не приводит оценок качества или подробностей о голосе и произношении, поэтому пригодность для конкретного приложения следует проверять на целевых текстах.

940сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-ote

facebook/mms-tts-ote — модель синтеза речи на языке отоми, мезкиталь, разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текста и создания речевого вывода в приложениях. Для каждого языка MMS-TTS обучается отдельный чекпойнт. Модель использует архитектуру VITS и содержит 3,5 млн параметров. Это сквозной синтезатор речи с текстовым энкодером, потоковыми слоями и декодером, формирующим аудиоволну; стохастический предиктор длительности позволяет варьировать ритм речи. Результат может меняться между запусками, поэтому для воспроизводимой генерации нужно фиксировать seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия — CC BY-NC 4.0, которая ограничивает использование некоммерческими целями.

1110сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-tbk

facebook/mms-tts-tbk — модель синтеза речи на языке Tagbanwa, Calamian (код tbk), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну; для каждого языка MMS-TTS обучается отдельный чекпойнт. Модель использует архитектуру VITS — сквозную систему text-to-speech на основе условного вариационного автоэнкодера, flow-модуля и декодера, сочетающего подходы HiFi-GAN. Стохастический предиктор длительности позволяет варьировать ритм речи для одного текста, поэтому для повторяемого результата нужен фиксированный seed. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для работы с ним подходит Transformers версии 4.33 и новее. Модель предназначена для синтеза речи на Tagbanwa, Calamian. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. Карточка не приводит оценок качества или дополнительных ограничений применения.

960сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-toc

facebook/mms-tts-toc — модель синтеза речи на языке тотонак, вариант Койутла, из проекта Massively Multilingual Speech компании Facebook. Она преобразует текст на тотонаке в речевую аудиоволну и подходит для озвучивания текста и создания речи для приложений на этом языке. Модель построена на архитектуре VITS и обучена отдельно для одного языка. В архитектуре сочетаются вариационный автоэнкодер, потоковый модуль, Transformer-энкодер текста, декодер формы сигнала и стохастический предсказатель длительности, благодаря которому одна и та же фраза может звучать с разным ритмом. Размер модели — 3,5 млн параметров; она доступна для Transformers версии 4.33 и новее. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Генерация речи недетерминирована: для повторения того же результата требуется фиксированный seed. Качество и естественность озвучивания в предоставленных материалах не оценены.

870сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-vun

facebook/mms-tts-vun — модель синтеза речи на языке Vunjo (vun) из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на Vunjo. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; для синтеза использует текстовый энкодер, модуль предсказания длительности и декодер аудио. Генерация недетерминирована: для повторяемого результата требуется фиксированное начальное значение генератора случайных чисел. Модель распространяется под лицензией CC BY-NC 4.0, которая ограничивает коммерческое использование.

950сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-war

facebook/mms-tts-war — модель синтеза речи на Waray-Waray, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текста и создания голосовых интерфейсов на Waray-Waray. Модель использует архитектуру VITS и обучена как отдельный языковой чекпойнт MMS-TTS. В её состав входят текстовый энкодер на базе Transformer, потоковый модуль, декодер HiFi-GAN и стохастический предиктор длительности, позволяющий варьировать ритм речи. Модель содержит 3,5 млн параметров и доступна для использования через Transformers версии 4.33 и выше. Генерация недетерминирована: для воспроизводимого результата требуется фиксированное значение seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

2140сент. 2023
textaudiocc-by-nc-4.0hugging-face
rnjema-unima
mms-tts-wol-baseline

Это подготовительный репозиторий для независимого дообучения модели синтеза речи на волофском языке, созданный на основе конфигурации VITS проекта MMS и данных WAXAL от AIMS Senegal. В карточке указано, что репозиторий не содержит весов: при обучении скрипт загружает их из facebook/mms-tts-ful — модели для фула, выбранной как прокси из-за отсутствия модели MMS для волофа. Дообучение на конфигурации google/WaxalNLP wol_tts адаптирует акустические и просодические характеристики к целевому языку. Архитектура VITS выполняет сквозной синтез речи без отдельного вокодера. В метаданных указан размер 3,5 млн параметров; формат весов в репозитории обозначен как safetensors, хотя README уточняет, что сами веса здесь не хранятся. Модель предназначена для генерации речи по тексту на волофском языке. Репозиторий распространяется по лицензии CC-BY-NC-4.0; данные WAXAL имеют отдельную лицензию CC-BY-SA-4.0.

1801апр. 2026
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-yal

facebook/mms-tts-yal — модель синтеза речи на языке ялунка (yal) из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну; для каждого языка MMS обучается отдельный чекпойнт. Модель основана на архитектуре VITS и содержит текстовый энкодер, flow-модуль, декодер и стохастический предиктор длительности, который позволяет варьировать ритм речи. Модель подходит для озвучивания текста на ялунка и создания речевого вывода в приложениях. Она доступна через библиотеку Transformers версии 4.33 и новее, а веса представлены в форматах PyTorch и Safetensors. Чекпойнт содержит около 3,5 млн параметров и распространяется по лицензии CC BY-NC 4.0. Генерация недетерминирована: чтобы получать одинаковую аудиоволну при повторных запусках, необходимо фиксировать seed. Модель предназначена для одного языка и не заявлена как многоязычная.

940сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-yao

facebook/mms-tts-yao — модель синтеза речи на языке яо, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на языке яо. Модель использует архитектуру VITS: вариационный автоэнкодер с текстовым энкодером на основе Transformer, flow-модулем, декодером и стохастическим предиктором длительности, обученный сквозным способом с вариационными и состязательными функциями потерь. Размер модели — 3,5 млн параметров; доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers версии 4.33 и новее. Отдельные контрольные точки MMS-TTS обучены для каждого языка, поэтому эта модель рассчитана на яо, а не на многоязычную генерацию в одном чекпойнте. Стохастический предиктор длительности может давать разные варианты произношения одного текста; для воспроизводимого результата следует фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.

990сент. 2023
textaudiocc-by-nc-4.0hugging-face
nvidia
music-flamingo-hf

Music Flamingo — модель большого аудиоязыкового типа от NVIDIA для понимания музыки и песен. Архитектура Audio Flamingo 3 объединяет аудиоэнкодер AF-Whisper, MLP-адаптер и декодерную языковую модель Qwen2.5-7B; размер модели — 8 млрд параметров. Модель принимает аудио и текстовые инструкции и генерирует текстовые ответы. Она предназначена для вопросов и рассуждений о музыке, создания подробных описаний с учётом музыкальной теории и анализа гармонии, структуры, тембра, текста песен и культурного контекста. Поддерживает длинные аудиозаписи: до 20 минут, а максимальная длина текстового контекста указана как 24 000 токенов. В карточке заявлен английский язык; модель обучалась на музыкальных данных из разных источников. Модель доступна для исследовательского использования и разработки, включая музыкальных помощников и изучение понимания длинных аудиозаписей. Для инференса указаны Hugging Face Transformers и PyTorch; заявлена поддержка NVIDIA A100 и H100 под Linux. Лицензия обозначена как other, а README ограничивает использование некоммерческими исследовательскими целями.

9.5K113нояб. 2025ctx24K
textaudiootherhugging-face
oddadmix
Nabra-82M-v0.1

Nabra-82M-v0.1 — компактная модель синтеза речи на 82 млн параметров, разработанная Oddadmix как дообучение hexgrad/Kokoro-82M. Она преобразует текст на современном стандартном арабском языке (MSA) в естественную речь с частотой 24 кГц. Архитектура основана на StyleTTS2: включает текстовый энкодер PL-BERT, предсказатель просодии и декодер ISTFTNet. Для арабского произношения модель использует специализированную фонемную лексику и фронтенд графема-фонема, сохраняющий различия между ع и ء, а также ح и ه. Модель предназначена для арабских голосовых помощников, экранных дикторов, озвучивания аудиокниг и учебных материалов, а также локальных приложений и конвейеров с арабскими языковыми моделями. Для правильного произношения входной текст должен быть снабжён диакритическими знаками; обычный арабский текст без огласовок рекомендуется предварительно диакритизировать. Доступен один женский голос af_msa, а типичные предложения модель может синтезировать быстрее реального времени на CPU. Лицензия — Apache-2.0. Модель обучена для MSA и не предназначена для египетского и других арабских диалектов, неарабского текста, пения или клонирования голоса. Для локальной работы на устройствах Apple Silicon и iOS автор указывает отдельную MLX-конверсию; в этом репозитории представлены веса PyTorch.

1.1K10июль 2026
textaudioapache-2.0hugging-face
abreza
persian-ezafe-albert

abreza/persian-ezafe-albert — модель классификации токенов на основе ALBERT, дообученная на HooshvareLab/albert-fa-zwnj-base-v2 для обнаружения эзофе в персидском тексте. Она определяет, где при фонемизации следует добавить непишущийся звук эзофе (/e/ или /ye/), чтобы разрешать неоднозначности произношения. Модель предназначена для использования в конвейерах персидского преобразования текста в речь, в частности с Piper и LCA Phonemizer. В репозитории представлены веса PyTorch и квантованная версия ONNX для инференса. По README, F1 на отложенной тестовой выборке составляет 98,73%; метаданные указывают 136,3 млн параметров и контекст до 512 токенов. Модель обучена на обработанной части набора HomoRich для персидских графемно-фонемных задач. Лицензия в предоставленных сведениях не указана.

8735дек. 2025ctx512
texthugging-face
zanite
Qwen3-TTS-Tokenizer-12Hz

Карточка модели zanite/Qwen3-TTS-Tokenizer-12Hz на Hugging Face совпадает с карточкой Qwen/Qwen3-TTS-Tokenizer-12Hz, поэтому описание составлено по ней. Qwen3-TTS-Tokenizer-12Hz — аудиотокенизатор из семейства Qwen3-TTS, разработанный командой Qwen. Он кодирует входную речь в дискретные акустические токены и декодирует токены обратно в речь, чтобы компактно представлять аудио для хранения и передачи, а также использовать его в речевых системах. Архитектура использует 16 слоёв многокодовой книги, частоту токенизации 12,5 Гц и лёгкую каузальную ConvNet. В README заявлены эффективное акустическое сжатие и сохранение просодических и акустических характеристик среды. Семейство Qwen3-TTS охватывает китайский, английский, японский, корейский, немецкий, французский, русский, португальский, испанский и итальянский языки; это описание относится к семейству, а не обязательно к отдельным возможностям токенизатора. Модель предназначена для кодирования и восстановления речи, включая сценарии хранения, передачи и потоковой генерации с низкой задержкой в системах Qwen3-TTS. Репозиторий распространяется по лицензии Apache-2.0. Количественные результаты оценки качества вынесены в технический отчёт; сам README их не приводит.

90авг. 2026
audioapache-2.0hugging-face
Sariel00
cosyvoice2_rknn

Sariel00 выпустил адаптацию CosyVoice2-0.5B для синтеза китайской речи с клонированием голоса по нулевому примеру на устройствах Rockchip RK3588 и RK3572. Модель использует 24-слойный Qwen2 и потоковую генерацию речи; для RK3588 предоставлены ONNX- и RKNN-компоненты и C++-движок. Вариант Flow-компонента дистиллирован до одного шага, тогда как LLM, Speech Head, CampPlus и HiFT не изменялись. Вход — предварительно нормализованный текст в UTF-8, выход — поток PCM с частотой 24 кГц. README сообщает о тестировании на коротких и средних фразах и приводит показатели потокового синтеза на целевых платформах. Одношаговая дистилляция сокращает вычисления, но качество звучания уступает официальной десятишаговой модели и содержит слышимые искажения. Для очень длинного текста требуется смысловое разбиение; задержка до первого аудиоблока составляет около двух секунд в приведённых тестах RK3588, а HiFT может переключаться на CPU. Проверен фиксированный голосовой профиль, но строгая проверка регистрации произвольного WAV на устройстве ещё не завершена. Для работы приложения текст должен быть нормализован заранее. Лицензия файлов проекта — Apache-2.0; исходные компоненты CosyVoice и сторонние материалы сохраняют собственные условия лицензирования.

57219июль 2026
textaudioapache-2.0hugging-face
facebook
mms-tts-bzh

facebook/mms-tts-bzh — модель синтеза речи для языка Buang, Mapos (bzh), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну; отдельный чекпойнт MMS-TTS обучен для каждого языка. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, вариационный автоэнкодер, flow-модуль и декодер, близкий по устройству к HiFi-GAN. Стохастический предиктор длительности позволяет получать варианты произношения и ритма; для повторяемого результата требуется фиксировать seed. В метаданных указан размер 3,5 млн параметров. Модель доступна через Transformers версии 4.33 и выше. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование. Модель предназначена для синтеза речи на Buang, Mapos; качество для других языков карточкой не заявлено.

920сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-flr

facebook/mms-tts-flr — модель синтеза речи на языке фулииру, разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на фулииру в речевую аудиоволну и подходит для озвучивания текстов и создания речевых интерфейсов на этом языке. Модель основана на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт; он доступен для использования через библиотеку Transformers версии 4.33 и выше. Генерация речи стохастическая: при фиксированном seed можно воспроизводить один и тот же результат. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Она предназначена для синтеза речи на фулииру; качество для других языков не заявлено.

920сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-gmv

facebook/mms-tts-gmv — модель синтеза речи на языке гам (Gamo), созданная Facebook в рамках проекта Massively Multilingual Speech (MMS). Это отдельный чекпойнт для одного языка, построенный на архитектуре VITS и содержащий около 3,5 млн параметров. Модель принимает текст и генерирует речевую волну; VITS объединяет вариационный автоэнкодер, потоковый модуль и декодер на основе HiFi-GAN, а стохастический предсказатель длительности позволяет варьировать ритм произношения. Модель предназначена для преобразования текста на гам в речь. Её можно использовать для озвучивания текста и создания речевого вывода в приложениях, рассчитанных на этот язык. Генерация недетерминирована: для повторения того же результата требуется фиксировать seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

920сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-huu

facebook/mms-tts-huu — модель синтеза речи для языка Witoto, Murui (huu), созданная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для приложений озвучивания и синтеза речи. Модель основана на архитектуре VITS и содержит около 3,5 млн параметров; для каждого языка проекта MMS обучается отдельный чекпойнт. Модель поддерживается библиотекой Transformers версии 4.33 и новее, веса доступны в форматах PyTorch и Safetensors. Случайный предиктор длительности делает генерацию недетерминированной: для повторения того же результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование на условиях атрибуции и некоммерческого применения.

900сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-hvn

facebook/mms-tts-hvn — модель синтеза речи на языке хаву (Hawu, hvn), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст на хаву в речевую аудиоволну и предназначена для озвучивания текста и создания речевых выходов для приложений на этом языке. Модель использует архитектуру VITS: вариационный автоэнкодер с текстовым энкодером на основе Transformer, потоковыми слоями, стохастическим предсказателем длительности и декодером, формирующим аудиоволну. Это отдельный чекпойнт для хаву; в метаданных указано 3,5 млн параметров. Модель доступна через Transformers версии 4.33 и новее, веса представлены в форматах PyTorch и Safetensors. Предсказатель длительности стохастический, поэтому генерация недетерминирована; фиксированный seed позволяет воспроизводить тот же результат. Модель рассчитана на хаву, поэтому её не следует считать универсальной многоязычной системой синтеза речи. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.

960сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-kby

facebook/mms-tts-kby — модель синтеза речи на языке канури, диалекте манга (код kby), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текста. Модель использует архитектуру VITS и содержит 3,5 млн параметров. Это отдельный чекпойнт для одного языка из семейства MMS-TTS; для синтеза применяются текстовый энкодер, предсказатель длительности и нейросетевой декодер аудио. Модель доступна через библиотеку Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование. Генерация недетерминирована: для повторения того же результата требуется фиксированное начальное значение генератора. Модель предназначена для канури манга и не заявлена как многоязычная.

1210сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-khg

facebook/mms-tts-khg — модель синтеза речи на тибетском языке кхамс (Khams, код khg), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую звуковую волну и предназначена для озвучивания текстов на этом языке. Модель построена на архитектуре VITS и содержит 3,6 млн параметров. Это отдельный чекпойнт для одного языка из семейства MMS-TTS; для синтеза используется вариативный генератор длительности, поэтому один и тот же текст может звучать по-разному. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование. Модель специализирована на кхамсском тибетском и не предназначена для синтеза на других языках.

5193сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-klv

facebook/mms-tts-klv — модель синтеза речи на языке Maskelynes (klv), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; веса доступны в форматах PyTorch и Safetensors. Для работы с моделью подходит библиотека Transformers версии 4.33 и новее. Случайный предиктор длительности делает синтез недетерминированным: для повторения результата с той же формой волны требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

1060сент. 2023
textaudiocc-by-nc-4.0hugging-face

Задачи профессии

15 задач
139Классификация звуковых событий. — AI анализирует спектральные и временные признаки аудио и относит фрагменты к классам звуковых событий: речи, музыке, сигналам, ударам, шумам или другим заданным категориям. На выходе — метки с временными границами и уверенностью. Качество проверяют по размеченным записям, отдельно оценивая редкие классы, смешанные звуки и условия с сильным фоновым шумом.
140Обнаружение заданного звука в непрерывном аудиопотоке. — Механизм: AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение заданного звука в непрерывном аудиопотоке», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
141Определение источника и направления звука. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение источника и направления звука» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
142Разделение смеси на голос, музыку и отдельные инструменты. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: результат «Разделение смеси на голос, музыку и отдельные инструменты» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
143Удаление фонового шума и акустических артефактов. — Практическая реализация: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Входной контекст включает референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: преобразованный материал по задаче «Удаление фонового шума и акустических артефактов» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
144Восстановление повреждённой или неполной аудиозаписи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: преобразованный материал по задаче «Восстановление повреждённой или неполной аудиозаписи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
145Автоматическое выравнивание громкости и динамического диапазона. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. К исходным данным относятся аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Автоматическое выравнивание громкости и динамического диапазона» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
146Генерация музыки по жанру, настроению, структуре и ограничениям. — Для этой задачи система генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: редактируемый артефакт по задаче «Генерация музыки по жанру, настроению, структуре и ограничениям», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
147Генерация звуковых эффектов по текстовому описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Генерация звуковых эффектов по текстовому описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
148Создание аранжировки для заданной мелодии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: редактируемый артефакт по задаче «Создание аранжировки для заданной мелодии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
149Продолжение музыкального фрагмента в согласованном стиле. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: редактируемый артефакт по задаче «Продолжение музыкального фрагмента в согласованном стиле», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
150Транскрибирование музыки в ноты или MIDI. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Транскрибирование музыки в ноты или MIDI» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
151Определение темпа, тональности, аккордов и структуры композиции. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение темпа, тональности, аккордов и структуры композиции» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
152Сведение и предварительный мастеринг аудиоматериала. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: преобразованный материал по задаче «Сведение и предварительный мастеринг аудиоматериала» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
153Адаптация длительности музыки под видео без резкого обрыва. — AI строит профиль текущих потребностей и адаптирует содержание, порядок или параметры взаимодействия под конкретного человека. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: адаптированный вариант для «Адаптация длительности музыки под видео без резкого обрыва» с указанием контекста и факторов, определивших персонализацию. Надёжность оценивают по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче. <a id="section-i-10"></a>

0 моделей