/ Профессии
Универсальные способности и операции

I.9Аудио и музыка

В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
15
в этой профессии
Подходящих моделей
4 835
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

4 835 моделей
Загрузки
Лайки
Дата выхода
2 101–2 130 из 4 835
abeeranajam31
mms-tts-urd-fine-tuned

Модель abeeranajam31 предназначена для синтеза речи на урду: она преобразует текст на урду, записанный арабским письмом, в аудио. Это дообученная версия facebook/mms-tts-urd-script_arabic на датасете codewithdark/urdu-tts. Модель использует архитектуру VITS и доступна для работы через Transformers; размер составляет 3,6 млн параметров. Модель подходит для генерации речи из Unicode-текста на урду, в том числе при локальном или серверном инференсе. Качество и произношение зависят от обучающих данных; модель не оценивалась количественно и не проверялась на справедливость для региональных акцентов и диалектов. Она не предназначена для Roman Urdu, других языков, клонирования голоса или идентификации говорящего. Лицензия в предоставленных данных не указана.

420авг. 2026
textaudiohugging-face
facebook
mms-tts-xog

facebook/mms-tts-xog — модель синтеза речи на языке сога (xog), разработанная Facebook в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт для одного языка, построенный на архитектуре VITS и содержащий около 3,5 млн параметров. Модель принимает текст и генерирует речевую аудиоволну; она доступна через библиотеку Transformers версии 4.33 и новее. VITS объединяет вариационный автоэнкодер, потоковый модуль, текстовый энкодер на основе Transformer и декодер, построенный по принципу HiFi-GAN. Стохастический предиктор длительности позволяет варьировать ритм произношения одного и того же текста, поэтому результат может различаться между запусками; фиксированный seed позволяет воспроизвести тот же вариант. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

1040сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-xsr

facebook/mms-tts-xsr — модель синтеза речи из текста проекта Massively Multilingual Speech, разработанного Meta (Facebook). Это отдельный языковой чекпойнт для языка Sherpa (xsr), предназначенный для преобразования входного текста в речевую волну. Модель использует архитектуру VITS — вариационный автоэнкодер с состязательным обучением и предсказателем длительности, который позволяет варьировать ритм речи. Чекпойнт содержит около 3,5 млн параметров и доступен для работы через Transformers. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

4730сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-xuo

facebook/mms-tts-xuo — модель синтеза речи для языка Kuo (xuo), разработанная в рамках проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну; для каждого языка MMS обучается отдельный чекпойнт. Модель построена на архитектуре VITS: сочетает вариационный автоэнкодер, потоковый модуль с текстовым энкодером на основе Transformer и декодер, похожий на HiFi-GAN. Размер модели — 3,5 млн параметров; использовать её можно через Transformers версии 4.33 и новее. Модель подходит для озвучивания текста на языке Kuo, например для голосовых интерфейсов и аудиоверсий материалов. Генерация недетерминирована: для повторяемого результата требуется фиксировать seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

910сент. 2023
textaudiocc-by-nc-4.0hugging-face
OpenVoiceOS
pipertts_pt-BR_dii

OpenVoiceOS/pipertts_pt-BR_dii — модель синтеза речи на бразильском варианте португальского языка с женским голосом Dii. Она разработана OpenVoiceOS и принадлежит TigreGotico Lda; модель дообучена на базе OpenVoiceOS/pipertts_pt-PT_dii с использованием синтетического набора данных TigreGotico/tts-train-synthetic-dii_pt-BR. Модель предназначена для преобразования текста в речь в приложениях и сервисах, поддерживающих Piper, включая голосовые интерфейсы и платформу OVOS. Она использует архитектуру Piper VITS и экспортирована в формат ONNX, что позволяет выполнять инференс на CPU. Для работы требуется совместимый с Piper runtime или плагин ovos-tts-plugin-piper. В README не указаны размер модели, максимальная длина контекста и дополнительные поддерживаемые языки; по имеющимся данным, модель предназначена именно для португальского языка Бразилии. Модель удобна для локального синтеза речи на CPU и интеграции в экосистему Piper, однако качество и область применения зависят от характеристик обучающих записей и синтетического датасета. Она распространяется по лицензии Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 (CC BY-NC-ND 4.0): разрешены некоммерческое использование и распространение с указанием авторства TigreGotico Lda, но запрещены модификация, создание производных моделей и использование идентичности голоса для создания производных голосов. Для коммерческого применения или иных вариантов лицензирования необходимо обратиться к TigreGotico Lda.

9602июнь 2025
textaudiocc-by-nc-nd-4.0hugging-face
facebook
s2t-small-librispeech-asr

S2T-SMALL-LIBRISPEECH-ASR — модель автоматического распознавания речи семейства Speech to Text Transformer (S2T), опубликованная в репозитории Facebook. Это последовательностная модель encoder-decoder на базе трансформера с 15,1 млн параметров: энкодер обрабатывает акустические признаки, а декодер авторегрессионно генерирует транскрипцию. Для обучения использовались признаки log-mel фильтрового банка и SentencePiece с регистронезависимым текстом. Модель предназначена для преобразования английской речи в текст, в частности для расшифровки записей, похожих на аудиокниги LibriSpeech. Обучение проводилось на корпусе LibriSpeech ASR, содержащем около 1000 часов английской речи с чтением вслух. В карточке приведены результаты WER 4,3 на тестовой части clean и 9,0 на other. Модель принимает аудио, представленное акустическими признаками, и выдаёт текстовую транскрипцию. Модель выпущена по лицензии MIT. Её специализация на английской речи с чтением вслух ограничивает применимость к другим языкам, спонтанной речи, шумным записям и сценариям, отличающимся от данных LibriSpeech.

37K35март 2022
textaudiomithugging-face
marcoyang
spear-xlarge-speech-audio-v2

SPEAR XLarge v2 — открытый энкодер SPEAR для обучения представлениям речи и общего аудио, разработанный авторами работы SPEAR и опубликованный как версия модели для статьи, принятой на ICML 2026. Это самонагружаемая модель с backbone Zipformer из 13 стеков и примерно 600 млн параметров. На вход подаются монофонические или пакетированные аудиосигналы с частотой 16 кГц; энкодер выдаёт покадровые представления размерностью 1280 примерно с частотой 50 Гц. Модель обучалась на неразмеченных данных: около 184 тысяч часов английской речи и 13 тысяч часов общего аудио. Версия v2 добавляет token mixing для повышения устойчивости к шуму, перекрывающейся речи и смешанным акустическим сценам. SPEAR предназначена как универсальный акустический энкодер для последующей настройки под распознавание речи, аудиотегирование и другие задачи понимания речи и звуков; сама предобученная модель не выдаёт транскрипции или метки без соответствующей downstream-модели или дообучения. Карточка сообщает о высоких результатах на SUPERB и HEAR, а также приводит результаты настройки на LibriSpeech и AudioSet. Модель распространяется по лицензии Apache-2.0.

1.2K6июнь 2026
textembeddingapache-2.0hugging-face
iamwille
speecht5_finetuned_iamwille_ig

iamwille/speecht5_finetuned_iamwille_ig — дообученная на неизвестном наборе данных модель Microsoft SpeechT5 для синтеза речи из текста. Она использует архитектуру SpeechT5ForTextToSpeech и предназначена для преобразования текстового ввода в аудио. В README указана оценка Loss 0,4255 на тестовой выборке, но описание набора данных и условий оценки отсутствует. Модель распространяется в формате safetensors по лицензии MIT. Данных о поддерживаемых языках, голосе, качестве синтеза и ограничениях применения нет; результаты оценки не позволяют судить о качестве речи без сведений о тестовом наборе и метрике.

90авг. 2026ctx600
textaudiomithugging-face
Splintir
speecht5_tts-pld-hil-v2

Splintir/speecht5_tts-pld-hil-v2 — дообученная версия SpeechT5 для синтеза речи на языке Hiligaynon. Автор продолжил дообучение базовой модели sapinsapin/speecht5_tts-pld-hil на данных sapinsapin/pld: использованы 10 464 обучающих и 200 проверочных аудиофрагментов, обучение проведено в течение 4 000 шагов. Модель принимает текст и для каждого вызова требует 512-мерный x-вектор говорящего; в репозитории приложен x-вектор реального носителя Hiligaynon из обучающих данных. Модель предназначена для преобразования текста на Hiligaynon в речь, например для озвучивания текстов и создания голосовых интерфейсов на этом языке. Она использует архитектуру SpeechT5 и библиотеку Transformers; веса опубликованы в формате safetensors. Лицензия — MIT. Данные карточки не сообщают размер модели или длину контекста.

190авг. 2026ctx600
textaudiomithugging-face
maitrix-org
Voila-base

Карточка модели maitrix-org/Voila-base на Hugging Face совпадает с карточкой maitrix-org/Voila-Tokenizer, поэтому описание составлено по ней. Voila-Tokenizer — аудиотокенизатор семейства Voila от Maitrix, построенный на архитектуре EnCodec и представленный в формате safetensors. Он предназначен для преобразования аудио в представление, пригодное для работы голосовых языковых моделей и обратного преобразования в аудио; в карточке Hugging Face основная задача отмечена как audio-to-audio. Проект Voila описывает применение токенизатора в единой системе голосовых задач, включая распознавание речи, синтез речи, перевод речи и голосовой диалог в реальном времени. В метаданных перечислены английский, китайский, французский, немецкий, японский и корейский языки. Для семейства Voila заявлены потоковая обработка с низкой задержкой и поддержка множества голосов; конкретные параметры и результаты для этого токенизатора отдельно не приведены. Модель распространяется по лицензии MIT.

2113март 2025ctx4.1K
audiomithugging-face
Vyvo
VyvoTTS-v0-Qwen3-0.6B

VyvoTTS-v0-Qwen3-0.6B — англоязычная модель синтеза речи, разработанная на основе Qwen3-0.6B и дообученная для генерации естественно звучащей английской речи. В карточке заявлено около 810 млн параметров, а метаданные указывают 537 млн параметров; модель использует архитектуру Qwen3ForCausalLM, библиотеку Transformers и формат safetensors. Длина контекста по метаданным — 40 960 токенов. Модель предназначена для преобразования текста в речь. В README отмечен высокий уровень ошибок распознавания (WER) в сгенерированной речи и рекомендуется использовать её как предварительно обученную основу, затем дообучить на подходящем речевом наборе данных и отдельно настроить для одного диктора. Доступна по лицензии MIT.

30725авг. 2025ctx41K
textmithugging-face
DrishtiSharma
wav2vec2-large-xls-r-300m-ab-CV7

DrishtiSharma выпустила модель автоматического распознавания речи, дообученную на основе facebook/wav2vec2-xls-r-300m на конфигурации ab набора Mozilla Common Voice 7.0. Это архитектура Wav2Vec2ForCTC с 402,7 млн параметров, принимающая аудио и выдающая распознанный текст; модель предназначена для транскрибирования речи на языке абазинском. На тестовом наборе карточка сообщает значение WER 0,5651 и loss 0,5620. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Показатель WER указывает на заметные ошибки распознавания, поэтому перед применением для конкретных записей качество стоит оценить на собственных данных.

281март 2022
textaudioapache-2.0hugging-face
nikhil6041
wav2vec2-large-xlsr-tamil-commonvoice

Модель nikhil6041/wav2vec2-large-xlsr-tamil-commonvoice — дообученная nikhil6041 версия facebook/wav2vec2-large-xlsr-53 для автоматического распознавания речи на датасете Common Voice. Это модель архитектуры Wav2Vec2 с CTC-выходом, содержащая 402,7 млн параметров и сохранённая в формате PyTorch. Она предназначена для преобразования аудиозаписей на тамильском языке в текст; указанный результат на оценочной выборке — WER 0,8512. Модель выпущена под лицензией Apache-2.0. В карточке не приведены подробности о рекомендуемых сценариях применения и известных ограничениях; высокий WER указывает на значительное число ошибок распознавания на указанной оценочной выборке.

340март 2022
textaudioapache-2.0hugging-face
nahomazmach
whisper-small-ha

nahomazmach/whisper-small-ha — модель распознавания речи на хауса, созданная дообучением openai/whisper-small на конфигурации ha_ng набора Google FLEURS. Обучение проходило три эпохи на 3259 аудиозаписях; для тестирования использовались 621 запись. Модель принимает аудио и выдаёт текстовую расшифровку на хауса. Она предназначена для транскрибирования речи на этом языке; в README приведён тестовый WER 44,68%. Модель основана на архитектуре Whisper и распространяется в формате safetensors по лицензии Apache-2.0.

81авг. 2026ctx1K
textaudioapache-2.0hugging-face
saheedniyi
YarnGPT-local

YarnGPT-local — модель синтеза речи, опубликованная Saheed Azeez для генерации речи на йоруба, игбо и хауса. Она использует языковую модель без внешних адаптеров и сложных дополнительных архитектур; для управления голосом можно задавать текстовый голосовой промпт. В карточке перечислены десять вариантов голосов: женские и мужские голоса для этих языков. Модель основана на архитектуре Llama и содержит 365,7 млн параметров. Она загружается через Transformers, использует формат safetensors и имеет контекст длиной 8192 токена. Метаданные указывают на объединение с HuggingFaceTB/SmolLM2-360M и saheedniyi/YarnGPT. Лицензия CC BY-NC-SA 4.0 разрешает использование с указанием авторства и на условиях распространения производных материалов, но не для коммерческого применения. Модель предназначена для озвучивания текстов и создания голосовых интерфейсов на поддерживаемых нигерийских языках. Автор заявляет о естественном и культурно релевантном звучании, однако независимые оценки качества в карточке не приведены. Результат может зависеть от выбора голосового промпта; модель ориентирована на три указанных языка.

6618янв. 2025ctx8.2K
textcc-by-nc-sa-4.0hugging-face
nineninesix
kani-tts-400m-ky

KaniTTS Kyrgyz — текст-в-речь-модель для синтеза речи на кыргызском языке, разработанная авторами проекта KaniTTS. Она предназначена для разговорных ИИ-приложений, виртуальных помощников, экранных читалок и приложений для изучения языка, где важны низкая задержка и быстрое создание речи. В README описана двухэтапная схема: LLM формирует сжатые аудиотокены, а нейросетевой аудиокодек синтезирует из них звуковую волну. Метаданные указывают архитектуру LFM2 с причинной языковой моделью, библиотеку Transformers и 460 млн параметров; README сообщает частоту дискретизации 22 кГц. Контекст модели составляет 128 000 токенов по метаданным, однако карточка рекомендует обрабатывать речь длиннее 15 секунд скользящими окнами. README приводит замеры скорости на нескольких видеокартах, включая работу быстрее реального времени на RTX 5090 и RTX 4080, и отмечает поддержку эмоциональных тегов, использовавшихся при дообучении. Модель является дообучением nineninesix/kani-tts-400m-0.3-pt и принимает текст, выдавая аудио. README указывает лицензию Apache 2.0, тогда как метаданные содержат обозначение other; условия распространения следует сверять с файлами лицензии репозитория. Карточка содержит противоречивое замечание об оптимизации преимущественно для английского, хотя модель названа кыргызской и для неё указано обучение на кыргызских примерах. Также отмечены ограниченная выразительность без дополнительной настройки эмоций и возможное наследование смещений обучающих данных в произношении и просодии.

585окт. 2025ctx128K
textotherhugging-face
slprl
mhubert-base-25hz

slprl/mhubert-base-25hz — это преобразованная SLP-RL версия многоязычной модели HuBERT от Meta, представленной в работе TWIST. Модель содержит 113,3 млн параметров и реализована как HubertModel в Transformers; веса Safetensors конвертированы из исходного выпуска Textlesslib, а результаты сверены с оригиналом. Модель предназначена для извлечения речевых признаков с частотой 25 Гц и токенизации речи, в частности для обучения языковых моделей речи и преобразования стиля говорения. Она обучалась на смеси многоязычных наборов данных, включая Multilingual LS, Vox Populi, Common Voice, Spotify и Fisher. Лицензия — MIT; подробности условий также приведены в лицензии Textlesslib.

4.7K4окт. 2024
textembeddingmithugging-face
facebook
mms-tts-acf

facebook/mms-tts-acf — модель синтеза речи на антильском французском креольском языке из проекта Massively Multilingual Speech компании Facebook. Она преобразует текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель построена на архитектуре VITS: она объединяет вариационный автоэнкодер, потоковый модуль и декодер с принципами HiFi-GAN. Стохастический предиктор длительности позволяет синтезировать разные ритмы для одного и того же текста, поэтому результат может меняться между запусками; фиксированный seed помогает воспроизводить одну и ту же речь. Чекпойнт содержит около 3,5 млн параметров и использует PyTorch и safetensors. Он доступен через Transformers версии 4.33 и новее. Модель предназначена для антильского французского креольского языка (acf). Лицензия CC BY-NC 4.0 требует соблюдения условий атрибуции и некоммерческого использования.

1100сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-ach

facebook/mms-tts-ach — модель синтеза речи на языке ачоли (Acholi) из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну; отдельная модель VITS обучена для каждого языка проекта MMS. Модель использует архитектуру VITS: текстовый энкодер на базе Transformer, потоковый модуль и декодер, формирующий аудиоволну. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для работы предусмотрена библиотека Transformers версии 4.33 и новее. Стохастический предиктор длительности позволяет синтезировать разные ритмические варианты одной и той же фразы, поэтому результат может меняться между запусками; для воспроизводимого аудио требуется фиксировать seed. Модель предназначена для синтеза речи на ачоли, а не для многоязычного синтеза. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

1550сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-amh

facebook/mms-tts-amh — модель синтеза речи на амхарском языке из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания амхарских текстов и создания синтетической речи. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза: текстовый энкодер и flow-модуль формируют акустическое представление, а декодер генерирует аудиоволну. Стохастический предсказатель длительности позволяет получать варианты с разным ритмом; для повторяемого результата требуется фиксировать seed. Модель доступна через библиотеку Transformers версии 4.33 и выше. Чекпойнт предназначен для амхарского языка; другие языки этим репозиторием не заявлены. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

2.8K11сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-bba

facebook/mms-tts-bba — модель синтеза речи на баатонумском языке, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на баатонумском языке. Модель построена на архитектуре VITS и содержит 3,5 млн параметров; для работы с ней подходит библиотека Transformers версии 4.33 и новее. Отдельный чекпойнт MMS-TTS обучен для каждого языка проекта. Стохастический предиктор длительности позволяет получать варианты речи с разным ритмом; из-за недетерминированной генерации для повторения результата требуется фиксировать seed. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

1300сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-bbc

facebook/mms-tts-bbc — модель синтеза речи на языке батак-тоба (код bbc) из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую волну и предназначена для озвучивания текстов на батак-тоба. Для разных языков проекта обучаются отдельные контрольные точки VITS. Модель использует архитектуру VITS: в её состав входят текстовый энкодер на основе Transformer, flow-модуль, стохастический предиктор длительности и декодер, формирующий речевую волну. Размер модели — 3,5 млн параметров. Она доступна через библиотеку Transformers версии 4.33 и новее; веса представлены в форматах PyTorch и Safetensors. Предиктор длительности стохастический, поэтому синтез недетерминирован: для повторения того же результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 требует указания авторства и ограничивает коммерческое использование.

1010сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-bkv

facebook/mms-tts-bkv — модель синтеза речи на языке бекварра (bkv), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на бекварра в речевую аудиоволну и подходит для озвучивания текста и создания голосовых интерфейсов на этом языке. Модель построена на архитектуре VITS и содержит 3,5 млн параметров. Это отдельный чекпойнт MMS-TTS для одного языка; модель доступна через библиотеку Transformers. Из-за стохастического предсказания длительности одинаковый текст может звучать по-разному, поэтому для воспроизводимого результата требуется фиксированное случайное зерно. Лицензия CC BY-NC 4.0 разрешает использование на условиях атрибуции и некоммерческого применения.

950сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-bmr

facebook/mms-tts-bmr — модель синтеза речи на языке муинане (bmr), выпущенная в рамках проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на муинане. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль, стохастический предсказатель длительности и декодер, формирующий аудиоволну. В репозитории указано 3,5 млн параметров; модель доступна через Transformers версии 4.33 и новее. Предсказатель длительности стохастический, поэтому для повторения результата требуется фиксированный seed. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства, но не коммерческое использование.

1080сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-bqj

facebook/mms-tts-bqj — модель синтеза речи на языке бандьял (Bandial, bqj), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт VITS, обученный для одного языка: по входному тексту он генерирует речевую аудиоволну. Архитектура VITS объединяет вариационный автоэнкодер, flow-based модуль, Transformer-энкодер текста, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Размер модели — 3,5 млн параметров. Модель предназначена для озвучивания текста на бандьял, например для создания речевых сообщений и аудиоверсий материалов. Стохастический предиктор позволяет получать варианты ритма и произношения; результат генерации может меняться между запусками, поэтому для воспроизводимого аудио нужен фиксированный seed. Модель доступна через Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

980сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-bzj

facebook/mms-tts-bzj — модель синтеза речи на Belize English Creole (код языка bzj), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну; отдельный чекпойнт VITS обучен для этого языка. Архитектура VITS объединяет текстовый энкодер на основе Transformer, вариационный автоэнкодер, нормализующие потоки, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Модель содержит 3,5 млн параметров и доступна в форматах PyTorch и Safetensors. Чекпойнт предназначен для озвучивания текста на Belize English Creole и может применяться в голосовых интерфейсах, озвучке и создании речевого контента. Стохастический предиктор позволяет получать варианты ритма; для повторяемого результата README рекомендует фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

970сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-car

facebook/mms-tts-car — модель синтеза речи на языке кариб, разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на языке кариб. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, потоковый модуль и декодер HiFi-GAN объединены в сквозную систему синтеза речи. Число параметров — 3,5 млн; модель доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers версии 4.33 и новее. Отдельный чекпойнт MMS-TTS обучен для каждого языка. Стохастический предиктор длительности позволяет получать варианты ритма речи для одного и того же текста, поэтому результат недетерминирован; для повторяемого аудио требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

870сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-djk

facebook/mms-tts-djk — модель синтеза речи на языке аукан (Aukan, код djk), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт для одного языка, построенный на архитектуре VITS и доступный через библиотеку Transformers. Модель принимает текст и генерирует речевую аудиоволну; её объём составляет 3,5 млн параметров. VITS объединяет вариационный автоэнкодер, Transformer-энкодер текста, нормализующие потоки и декодер на основе свёрточных слоёв в стиле HiFi-GAN. Стохастический предиктор длительности позволяет варьировать ритм речи, поэтому при одинаковом тексте результаты могут отличаться; для повторяемой генерации нужен фиксированный seed. Модель предназначена для озвучивания текста на ауканском языке. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое использование.

970сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-dts

facebook/mms-tts-dts — модель синтеза речи для языка Dogon, Toro So (dts), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Для каждого языка MMS-TTS обучается отдельная модель. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, потоковые слои и декодер на основе транспонированных свёрток, похожий на HiFi-GAN; предсказатель длительности позволяет варьировать ритм речи. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors. Для повторения той же генерации требуется фиксировать seed, поскольку предсказатель длительности стохастический. Модель рассчитана на синтез речи на Dogon, Toro So. Для работы с ней подходит библиотека Transformers версии 4.33 или новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

930сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-enx

facebook/mms-tts-enx — модель синтеза речи на языке энxет (Enxet, код enx), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS — сквозную условную вариационную автоэнкодерную систему с текстовым энкодером, нормализующими потоками, стохастическим предсказателем длительности и декодером в стиле HiFi-GAN. Размер модели — 3,5 млн параметров; она доступна для PyTorch и Safetensors и поддерживается библиотекой Transformers версии 4.33 и выше. Стохастический предсказатель длительности позволяет получать варианты ритма для одного и того же текста, поэтому результаты генерации могут различаться; фиксированный seed нужен для повторения того же аудио. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

950сент. 2023
textaudiocc-by-nc-4.0hugging-face

Задачи профессии

15 задач
139Классификация звуковых событий. — AI анализирует спектральные и временные признаки аудио и относит фрагменты к классам звуковых событий: речи, музыке, сигналам, ударам, шумам или другим заданным категориям. На выходе — метки с временными границами и уверенностью. Качество проверяют по размеченным записям, отдельно оценивая редкие классы, смешанные звуки и условия с сильным фоновым шумом.
140Обнаружение заданного звука в непрерывном аудиопотоке. — Механизм: AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение заданного звука в непрерывном аудиопотоке», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
141Определение источника и направления звука. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение источника и направления звука» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
142Разделение смеси на голос, музыку и отдельные инструменты. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: результат «Разделение смеси на голос, музыку и отдельные инструменты» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
143Удаление фонового шума и акустических артефактов. — Практическая реализация: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Входной контекст включает референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: преобразованный материал по задаче «Удаление фонового шума и акустических артефактов» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
144Восстановление повреждённой или неполной аудиозаписи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: преобразованный материал по задаче «Восстановление повреждённой или неполной аудиозаписи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
145Автоматическое выравнивание громкости и динамического диапазона. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. К исходным данным относятся аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Автоматическое выравнивание громкости и динамического диапазона» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
146Генерация музыки по жанру, настроению, структуре и ограничениям. — Для этой задачи система генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: редактируемый артефакт по задаче «Генерация музыки по жанру, настроению, структуре и ограничениям», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
147Генерация звуковых эффектов по текстовому описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Генерация звуковых эффектов по текстовому описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
148Создание аранжировки для заданной мелодии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: редактируемый артефакт по задаче «Создание аранжировки для заданной мелодии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
149Продолжение музыкального фрагмента в согласованном стиле. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: редактируемый артефакт по задаче «Продолжение музыкального фрагмента в согласованном стиле», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
150Транскрибирование музыки в ноты или MIDI. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Транскрибирование музыки в ноты или MIDI» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
151Определение темпа, тональности, аккордов и структуры композиции. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение темпа, тональности, аккордов и структуры композиции» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
152Сведение и предварительный мастеринг аудиоматериала. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: преобразованный материал по задаче «Сведение и предварительный мастеринг аудиоматериала» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
153Адаптация длительности музыки под видео без резкого обрыва. — AI строит профиль текущих потребностей и адаптирует содержание, порядок или параметры взаимодействия под конкретного человека. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: адаптированный вариант для «Адаптация длительности музыки под видео без резкого обрыва» с указанием контекста и факторов, определивших персонализацию. Надёжность оценивают по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче. <a id="section-i-10"></a>

0 моделей