/ Профессии
Универсальные способности и операции

I.9Аудио и музыка

В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
15
в этой профессии
Подходящих моделей
4 835
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

4 835 моделей
Загрузки
Лайки
Дата выхода
2 311–2 340 из 4 835
facebook
mms-tts-ruf

facebook/mms-tts-ruf — модель синтеза речи на языке лугуру (код ruf) из проекта Massively Multilingual Speech компании Facebook. Она преобразует текст на лугуру в речевую аудиоволну и предназначена для озвучивания текста и создания голосовых сообщений на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный чекпойнт для одного языка, доступный для использования через библиотеку Transformers. Стохастический предсказатель длительности позволяет варьировать ритм речи; для повторяемого результата при генерации требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства на условиях, запрещающих коммерческое применение.

960сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-sab

facebook/mms-tts-sab — модель синтеза речи на языке Buglere (sab), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на Buglere в речевую волну и предназначена для озвучивания текстов на этом языке. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль, стохастический предиктор длительности и декодер, формирующий аудиосигнал. Это отдельный чекпойнт для одного языка; размер модели — 3,5 млн параметров. Модель доступна в Transformers версии 4.33 и новее. Предиктор длительности стохастический, поэтому одинаковый текст может звучать по-разному; для воспроизводимого результата требуется фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но не коммерческое использование.

960сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-spy

facebook/mms-tts-spy — модель синтеза речи на языке сабаот, разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на сабаот. Для каждого языка в MMS-TTS обучается отдельная модель. Модель использует архитектуру VITS: условный вариационный автоэнкодер с текстовым энкодером на основе Transformer, flow-модулем, стохастическим предсказателем длительности и декодером, похожим на HiFi-GAN. Размер модели — 3,5 млн параметров. Для воспроизводимого результата при генерации требуется фиксировать seed, поскольку предсказатель длительности работает стохастически. Репозиторий содержит веса PyTorch и safetensors; модель доступна через Transformers начиная с версии 4.33. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

990сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-stp

facebook/mms-tts-stp — модель синтеза речи на языке тепехуан, юго-восточный (stp), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания фраз и текстов на этом языке. Модель построена на архитектуре VITS: использует текстовый энкодер на основе Transformer, потоковый модуль, стохастический предиктор длительности и декодер, похожий на HiFi-GAN; обучение выполнялось сквозным методом. В репозитории указаны 3,5 млн параметров, веса доступны в форматах PyTorch и Safetensors, а для запуска поддерживается библиотека Transformers версии 4.33 и новее. Предсказатель длительности стохастический, поэтому результат может меняться между запусками; для воспроизводимой генерации требуется фиксированное случайное зерно. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

980сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-suv

facebook/mms-tts-suv — модель синтеза речи для языка пуройк (suv), выпущенная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую волну и предназначена для озвучивания текста на пуройк. Для каждого языка в MMS-TTS обучается отдельный чекпойнт. Модель построена на архитектуре VITS и содержит текстовый энкодер, flow-модуль, декодер волновой формы и стохастический предиктор длительности. Чекпойнт насчитывает 3,5 млн параметров; для работы доступен через Transformers версии 4.33 и выше, веса представлены в форматах PyTorch и safetensors. Предиктор длительности стохастический, поэтому для повторения результата требуется фиксированное начальное значение генератора. Модель предназначена для пуройк и не заявлена как многоязычная. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

960сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-sya

facebook/mms-tts-sya — модель синтеза речи на языке сианг (код ISO 639-3: sya) из проекта Massively Multilingual Speech компании Facebook. Это отдельный языковой чекпойнт семейства VITS, который по текстовой последовательности генерирует речевую аудиоволну; архитектура объединяет вариационный автоэнкодер, Transformer-энкодер текста, потоковый модуль, декодер в стиле HiFi-GAN и стохастический предиктор длительности. Модель содержит 3,5 млн параметров и доступна в форматах PyTorch и Safetensors для использования через Transformers версии 4.33 и новее. Модель предназначена для озвучивания текста на сианге. Стохастический предиктор длительности позволяет получать варианты ритма и произношения для одной и той же фразы, поэтому результат может меняться между запусками; для повторяемой генерации требуется фиксировать seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но некоммерческое.

960сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-tbc

facebook/mms-tts-tbc — модель синтеза речи для языка Takia (код tbc), созданная в рамках проекта Massively Multilingual Speech компании Facebook. Она преобразует текст в речевую аудиоволну и предназначена для озвучивания текста на Takia. Модель построена на архитектуре VITS: сочетает вариационный автоэнкодер, Transformer-энкодер текста, нормализующие потоки, стохастический предсказатель длительности и декодер на основе HiFi-GAN. Размер модели — около 3,5 млн параметров; она доступна в Transformers и сохранена в форматах PyTorch и Safetensors. Отдельный чекпойнт MMS-TTS обучен для каждого языка. Стохастический предсказатель длительности позволяет получать варианты ритма речи, поэтому для повторяемого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и ограничивает коммерческое применение.

900сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-tby

facebook/mms-tts-tby — модель синтеза речи на языке табару из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует текст на табару в речевую аудиоволну и предназначена для озвучивания текстов и создания речевого вывода для приложений на этом языке. Модель использует архитектуру VITS и содержит 3,5 млн параметров. Это отдельный чекпойнт, обученный для табару; он доступен в Transformers версии 4.33 и новее. Стохастический предиктор длительности позволяет варьировать ритм произношения, поэтому для повторяемого результата требуется фиксированное начальное значение генератора случайных чисел. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и ограничивает коммерческое применение. Модель рассчитана на синтез речи на табару; качество и применимость к другим языкам карточка не описывает.

980сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-tih

facebook/mms-tts-tih — модель синтеза речи для языка мурут, тимугон (код tih), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текста и создания речевых интерфейсов. Для каждого языка MMS-TTS обучается отдельный чекпойнт. Модель использует архитектуру VITS: текстовый энкодер, вариационный автоэнкодер, flow-модуль, предсказатель длительности и декодер на основе HiFi-GAN. Размер — 3,5 млн параметров. Генерация стохастическая: для воспроизводимого результата требуется фиксированное начальное значение генератора случайных чисел. Модель доступна через Transformers версии 4.33 и выше. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

930сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-tnr

facebook/mms-tts-tnr — модель синтеза речи для языка Ménik (tnr), выпущенная в рамках проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну. Это отдельный чекпойнт VITS, обученный для одного языка; архитектура объединяет вариационный автоэнкодер, flow-модуль с текстовым энкодером на основе Transformer, предсказатель длительности и декодер, подобный HiFi-GAN. Модель содержит 3,5 млн параметров и доступна в форматах PyTorch и Safetensors. Чекпойнт предназначен для озвучивания текста на Ménik и может использоваться в приложениях синтеза речи. Стохастический предсказатель длительности делает генерацию недетерминированной: для повторения результата требуется фиксированное начальное значение генератора. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

870сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-udu

facebook/mms-tts-udu — модель синтеза речи на языке удук из проекта Massively Multilingual Speech компании Meta. Это отдельный чекпойнт для одного языка с архитектурой VITS: модель принимает текст и генерирует речевую аудиоволну. Размер модели — 3,5 млн параметров; веса доступны в форматах PyTorch и Safetensors, модель поддерживается библиотекой Transformers версии 4.33 и новее. VITS объединяет вариационный автоэнкодер, flow-модуль и декодер, построенный по принципу HiFi-GAN. Стохастический предиктор длительности позволяет получать варианты ритма для одного текста; из-за этого генерация недетерминирована, и для повторяемого результата требуется фиксированное начальное значение генератора случайных чисел. Модель предназначена для озвучивания текста на удук. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

1110сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-vmw

Это модель синтеза речи на языке макуа (Makhuwa, код vmw), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания фраз и создания речевых интерфейсов на этом языке. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это отдельный контрольный набор для одного языка; модель доступна через библиотеку Transformers версии 4.33 и выше. Стохастический предиктор длительности позволяет варьировать ритм речи, поэтому для повторяемого результата при генерации требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

1060сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-wsg

facebook/mms-tts-wsg — модель синтеза речи на языке гонди, диалект Адилабад, разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для создания озвучивания и синтеза речи для приложений и материалов на гонди. Модель построена на архитектуре VITS: это сквозная система, объединяющая вариационный автоэнкодер, flow-модуль и декодер на основе HiFi-GAN. В предсказании длительности используется стохастический модуль, поэтому генерация недетерминирована; для повторения того же результата нужен фиксированный seed. Размер модели — 3,5 млн параметров. Доступны веса PyTorch и Safetensors, модель поддерживается библиотекой Transformers версии 4.33 и выше. Модель лицензирована по CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка описывает отдельный чекпойнт для одного языка, поэтому его не следует считать универсальным многоязычным синтезатором.

4890сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-yka

facebook/mms-tts-yka — модель синтеза речи на языке якан, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевой сигнал и предназначена для озвучивания текста на яканском языке. Модель использует архитектуру VITS: текстовый энкодер, flow-модуль и декодер, формирующий аудиоволну; стохастический предиктор длительности позволяет получать варианты произношения с разным ритмом. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; его можно использовать через Transformers версии 4.33 и выше. Модель рассчитана на синтез речи на яканском языке. Генерация недетерминирована, поэтому для воспроизводимого результата требуется фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

910сент. 2023
textaudiocc-by-nc-4.0hugging-face
amandabenson
music-flamingo-hf-fork

Карточка модели amandabenson/music-flamingo-hf-fork на Hugging Face совпадает с карточкой nvidia/music-flamingo-hf, поэтому описание составлено по ней. Music Flamingo — разработанная NVIDIA крупная аудиоязыковая модель для понимания музыки и песен. Она принимает музыкальное аудио вместе с текстовым запросом и генерирует текстовые ответы; заявлены вопросы и рассуждения о гармонии, структуре, тембре, текстах песен и культурном контексте, а также анализ длинных записей продолжительностью до 20 минут. Модель построена на архитектуре Audio Flamingo 3: использует аудиокодировщик AF-Whisper, MLP-адаптер и декодерную языковую модель Qwen2.5-7B. Размер модели — 8 млрд параметров; максимальная длина текста на входе — 24 000 токенов, на выходе — 2 048 токенов. Для работы предусмотрены Transformers и PyTorch, а README указывает на оптимизацию для GPU NVIDIA A100 и H100. Модель предназначена для исследовательских и разработческих сценариев: анализа музыки, музыкальных вопросов и ответов, а также создания интерактивных музыкальных помощников. Карточка сообщает о сравнительных оценках на более чем десяти публичных задачах понимания музыки. Лицензия обозначена как other, а README ограничивает использование некоммерческими исследованиями. Как и другие генеративные модели, её выводы требуют проверки; использование в продукте требует дополнительной оценки на данных конкретного сценария.

270июль 2026ctx24K
textaudiootherhugging-face
asif00
orpheus-bangla-tts

asif00/orpheus-bangla-tts — экспериментальная версия Orpheus 3B, дообученная для синтеза речи на бенгальском языке. Модель основана на LlamaForCausalLM и содержит 3,3 млрд параметров; для обучения использовался датасет SUST-CSE-Speech/banspeech с 955 аудиофрагментами из аудиокниг, а обучение в течение 10 эпох проводилось на одной T4 GPU в Google Colab. Модель предназначена для преобразования бенгальского текста в речь, в том числе для экспериментов с озвучиванием аудиокниг, разговорными системами и синтезом речи. В метаданных указан контекст 131072 токена и формат safetensors. README характеризует модель как proof of concept: из-за малого объёма обучающих данных и ограниченного обучения естественность и точность синтеза могут меняться в зависимости от текста. Лицензия — Apache-2.0.

1388март 2025ctx131.1K
textapache-2.0hugging-face
dg845
univnet-dev

dg845 опубликовал преобразованный для библиотеки Transformers чекпойнт UnivNet — нейронного вокодера, который синтезирует аудиоволну по логарифмической мел-спектрограмме полного диапазона. Архитектура генератора основана на ResNet со свёртками, параметры которых зависят от положения; модель обучалась как генератор GAN на датасете LibriTTS. Репозиторий содержит только генераторную часть, без дискриминатора. Модель предназначена для преобразования спектральных признаков в речевой аудиосигнал и может использоваться как компонент конвейера синтеза речи, например после модели, создающей мел-спектрограммы. В статье UnivNet заявлены высокое качество синтеза и работа в реальном времени, однако эти результаты относятся к исследованию и не гарантируют такое же поведение данного чекпойнта. Это не самостоятельная модель преобразования текста в речь: ей нужны подготовленные спектрограммы. Лицензия — BSD-3-Clause; чекпойнт основан на неофициальной реализации maum-ai.

10K1июль 2023
textembeddingbsd-3-clausehugging-face
shahzaib31
wav2vec2-base-balti-bft

shahzaib31/wav2vec2-base-balti-bft — модель распознавания речи на основе wav2vec 2.0, дообученная автором репозитория на неизвестном наборе данных. Она использует архитектуру Wav2Vec2ForCTC и содержит 113,3 млн параметров. Предназначена для преобразования входящего аудио в текст; в названии указано, что модель ориентирована на балти, однако состав обучающих данных и поддерживаемые языки в карточке не подтверждены. В README приведены результаты оценки: loss 1,8899 и WER 0,8106. Эти значения указывают на заметные ошибки распознавания в использованной оценочной выборке, поэтому качество для конкретных условий следует проверять отдельно. Модель распространяется в формате safetensors и под лицензией Apache-2.0.

80июнь 2026
textaudioapache-2.0hugging-face
Beehzod
wav2vec2-large-xlsr-uzbek_STT_2

Beehzod/wav2vec2-large-xlsr-uzbek_STT_2 — модель распознавания речи, разработанная дообучением facebook/wav2vec2-large-xlsr-53. Она принимает аудио и выдаёт текст; модель построена на архитектуре Wav2Vec2ForCTC и содержит около 402,7 млн параметров. По названию модель предназначена для распознавания узбекской речи, однако карточка не раскрывает обучающий набор данных и подробные условия применения. Указана лицензия Apache-2.0. В карточке приведён результат оценки WER 1,0, что указывает на очень высокую ошибку распознавания в использованной оценке. Поэтому качество транскрипции может быть недостаточным для практических сценариев; данных для вывода о производительности на других наборах или условиях записи нет.

410февр. 2025
textaudioapache-2.0hugging-face
facebook
mms-tts-asa

facebook/mms-tts-asa — модель синтеза речи на языке асу (Asu, код asa), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на асу. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; он доступен через библиотеку Transformers. Генерация речи стохастическая: для повторения того же результата требуется фиксированное начальное значение генератора случайных чисел. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка не сообщает оценок качества или подробностей о разнообразии голосов.

920сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-bcl

facebook/mms-tts-bcl — модель синтеза речи на центральном бикольском языке из проекта Massively Multilingual Speech компании Facebook. Она преобразует текст на языке Bikol, Central в речевую аудиоволну и подходит для озвучивания текстов и создания голосовых интерфейсов для этого языка. Модель построена на архитектуре VITS: это сквозная система с вариационным автоэнкодером, Transformer-энкодером текста, flow-модулем и декодером, подобным HiFi-GAN. Вариативный предсказатель длительности позволяет получать разные ритмические варианты произнесения одного текста; поэтому для воспроизводимого результата требуется фиксировать случайное зерно. В чекпойнте около 3,5 млн параметров, доступны веса PyTorch и Safetensors, модель поддерживается библиотекой Transformers версии 4.33 и выше. Модель предназначена для синтеза речи на центральном бикольском языке и не заявлена как многоязычная. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

1111сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-boa

facebook/mms-tts-boa — модель синтеза речи для языка боа (Bora), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный языковой чекпойнт семейства VITS, который преобразует входной текст в речевую аудиоволну. Архитектура VITS объединяет вариационный автоэнкодер, потоковый модуль с текстовым энкодером на основе Transformer, стохастический предсказатель длительности и декодер, построенный по принципу HiFi-GAN. Размер модели — 3,5 млн параметров. Модель предназначена для озвучивания текста на языке боа. Стохастический предсказатель длительности позволяет получать варианты с разным ритмом; генерация недетерминирована, поэтому для повторения результата нужен фиксированный seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

1030сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-bru

facebook/mms-tts-bru — модель синтеза речи для языка bru, восточный бру, разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текстов на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров; для каждого языка проекта MMS обучается отдельный чекпойнт. Модель доступна через библиотеку Transformers версии 4.33 и выше. VITS объединяет вариационный автоэнкодер, Transformer-энкодер текста, flow-модули и декодер на основе свёрточных слоёв в сквозной системе синтеза. Стохастический предиктор длительности позволяет получать варианты ритма для одного текста, поэтому генерация недетерминирована; для повторяемого результата требуется фиксированный seed. Репозиторий содержит веса PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

1090сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-byr

facebook/mms-tts-byr — модель синтеза речи для языка Yipma (код byr), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текстов на этом языке. Модель построена на архитектуре VITS и обучена отдельно для одного языка; размер составляет 3,5 млн параметров. Для использования доступна через библиотеку Transformers версии 4.33 и новее. VITS объединяет текстовый энкодер, потоковый модуль и декодер на основе свёрточных слоёв, близкий по принципу к HiFi-GAN. Стохастический предсказатель длительности позволяет получать различный ритм речи; генерация недетерминирована, поэтому для повторяемого результата нужен фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

950сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-daa

facebook/mms-tts-daa — модель синтеза речи на языке Dangaléat (код daa), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на Dangaléat в речевой аудиосигнал и предназначена для озвучивания текста и создания речевого вывода для приложений на этом языке. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт в семействе MMS-TTS; модель синтезирует речь сквозным образом, а стохастический предиктор длительности позволяет варьировать ритм произнесения. Для повторяемого результата при генерации требуется фиксировать seed. Модель доступна через Transformers версии 4.33 и новее и распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

1060сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-ded

facebook/mms-tts-ded — модель синтеза речи для языка Dedua (код ISO 639-3: ded), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текста на Dedua. Модель построена на архитектуре VITS и объединяет вариационный автоэнкодер, flow-модуль с текстовым энкодером на основе Transformer, стохастический предиктор длительности и декодер, подобный HiFi-GAN. Веса содержат около 3,5 млн параметров; модель доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers начиная с версии 4.33. Стохастический предиктор позволяет получать варианты ритма речи, поэтому для воспроизводимого результата требуется фиксированный seed. Модель предназначена для синтеза речи на одном языке и не является многоязычной сама по себе. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

1030сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-dgi

facebook/mms-tts-dgi — модель синтеза речи для языка Dagara, Northern (dgi), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст на этом языке в речевую аудиоволну и подходит для озвучивания текста и создания речевых интерфейсов для носителей языка. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; в VITS синтез выполняется сквозным способом, а стохастический предиктор длительности позволяет варьировать ритм речи. Для повторяемой генерации одного и того же аудио требуется фиксированное случайное зерно. Модель доступна через Transformers версии 4.33 и выше, веса представлены в форматах PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

980сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-dgo

Это модель синтеза речи на языке догри, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на догри в речевую аудиоволну и подходит для озвучивания текстов и создания голосового вывода в приложениях на этом языке. Модель построена на архитектуре VITS: она объединяет текстовый энкодер на основе Transformer, вариационный автоэнкодер, flow-модуль и декодер, близкий по принципу работы к HiFi-GAN. Размер модели — 3,6 млн параметров. Для каждого языка MMS обучается отдельный чекпойнт; эта версия предназначена для догри. Модель доступна через библиотеку Transformers версии 4.33 и новее. Генерация речи стохастическая: один и тот же текст может звучать по-разному, поэтому для воспроизводимого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но запрещает коммерческое применение.

5212сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-frd

facebook/mms-tts-frd — модель синтеза речи на языке фордата (Fordata, ISO 639-3: frd), созданная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует текст на фордата в речевую аудиоволну и предназначена для озвучивания текста и создания речевых выходов в приложениях. Для каждого языка MMS обучается отдельный чекпойнт. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза речи с вариационным автоэнкодером, Transformer-кодировщиком текста, нормализующими потоками, стохастическим предсказателем длительности и декодером на основе свёрточных слоёв. Разная длительность может приводить к вариациям ритма; для воспроизводимого результата требуется фиксировать seed. Модель доступна через Transformers версии 4.33 и новее, веса представлены в форматах PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

1000сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-ign

facebook/mms-tts-ign — модель синтеза речи на языке игнасиано из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует текст на игнасиано в речевую аудиоволну и подходит для озвучивания текстов и создания речевого вывода в приложениях. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров; для каждого языка в MMS обучается отдельный чекпойнт. Модель доступна через библиотеку Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но запрещает коммерческое применение.

980сент. 2023
textaudiocc-by-nc-4.0hugging-face

Задачи профессии

15 задач
139Классификация звуковых событий. — AI анализирует спектральные и временные признаки аудио и относит фрагменты к классам звуковых событий: речи, музыке, сигналам, ударам, шумам или другим заданным категориям. На выходе — метки с временными границами и уверенностью. Качество проверяют по размеченным записям, отдельно оценивая редкие классы, смешанные звуки и условия с сильным фоновым шумом.
140Обнаружение заданного звука в непрерывном аудиопотоке. — Механизм: AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение заданного звука в непрерывном аудиопотоке», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
141Определение источника и направления звука. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение источника и направления звука» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
142Разделение смеси на голос, музыку и отдельные инструменты. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: результат «Разделение смеси на голос, музыку и отдельные инструменты» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
143Удаление фонового шума и акустических артефактов. — Практическая реализация: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Входной контекст включает референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: преобразованный материал по задаче «Удаление фонового шума и акустических артефактов» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
144Восстановление повреждённой или неполной аудиозаписи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: преобразованный материал по задаче «Восстановление повреждённой или неполной аудиозаписи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
145Автоматическое выравнивание громкости и динамического диапазона. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. К исходным данным относятся аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Автоматическое выравнивание громкости и динамического диапазона» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
146Генерация музыки по жанру, настроению, структуре и ограничениям. — Для этой задачи система генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: редактируемый артефакт по задаче «Генерация музыки по жанру, настроению, структуре и ограничениям», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
147Генерация звуковых эффектов по текстовому описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Генерация звуковых эффектов по текстовому описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
148Создание аранжировки для заданной мелодии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: редактируемый артефакт по задаче «Создание аранжировки для заданной мелодии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
149Продолжение музыкального фрагмента в согласованном стиле. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: редактируемый артефакт по задаче «Продолжение музыкального фрагмента в согласованном стиле», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
150Транскрибирование музыки в ноты или MIDI. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Транскрибирование музыки в ноты или MIDI» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
151Определение темпа, тональности, аккордов и структуры композиции. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение темпа, тональности, аккордов и структуры композиции» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
152Сведение и предварительный мастеринг аудиоматериала. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: преобразованный материал по задаче «Сведение и предварительный мастеринг аудиоматериала» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
153Адаптация длительности музыки под видео без резкого обрыва. — AI строит профиль текущих потребностей и адаптирует содержание, порядок или параметры взаимодействия под конкретного человека. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: адаптированный вариант для «Адаптация длительности музыки под видео без резкого обрыва» с указанием контекста и факторов, определивших персонализацию. Надёжность оценивают по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче. <a id="section-i-10"></a>

0 моделей