/ Профессии
Универсальные способности и операции

I.9Аудио и музыка

В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
15
в этой профессии
Подходящих моделей
4 835
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

4 835 моделей
Загрузки
Лайки
Дата выхода
3 511–3 540 из 4 835
facebook
mms-tts-kjb

facebook/mms-tts-kjb — модель синтеза речи на языке к’анхобаль (Q’anjob’al, код kjb), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текстов и создания речевых интерфейсов для языка с ограниченными цифровыми ресурсами. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; он доступен для использования через библиотеку Transformers. Генерация зависит от стохастического предсказателя длительности: один и тот же текст может звучать по-разному, а для воспроизводимого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.

890сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-kki

facebook/mms-tts-kki — модель синтеза речи на языке кагулу (kki), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на кагулу. Модель использует архитектуру VITS: текстовый энкодер и вероятностный модуль длительности управляют генерацией речи, а декодер формирует аудиоволну. Для проекта MMS обучен отдельный чекпойнт для каждого языка; размер этой модели — 3,5 млн параметров. Она доступна через Transformers версии 4.33 и новее. Генерация недетерминирована: для повторяемого результата нужно зафиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

1100сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-kss

facebook/mms-tts-kss — модель синтеза речи на языке киси, южный вариант (Kisi, Southern; код kss), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS: это сквозная система с текстовым энкодером на основе Transformer, потоковым модулем и декодером аудиосигнала. Для проекта MMS отдельный чекпойнт VITS обучен для каждого языка; размер этой модели — 3,5 млн параметров. Она доступна через библиотеку Transformers версии 4.33 и новее. Генерация зависит от стохастического предсказателя длительности, поэтому при одном и том же тексте результат может различаться; фиксированный seed позволяет воспроизвести ту же аудиоволну. Модель предназначена для языка киси, южный вариант, и её возможности для других языков не заявлены. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

4963сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-mcb

facebook/mms-tts-mcb — модель синтеза речи на языке Matsigenka (mcb), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну; для каждого языка MMS обучается отдельный чекпойнт. Модель основана на архитектуре VITS и содержит текстовый энкодер, flow-модуль, стохастический предиктор длительности и декодер, формирующий аудио. Размер модели — 3,5 млн параметров; она доступна в Transformers начиная с версии 4.33. Модель предназначена для озвучивания текста на Matsigenka, например для синтеза речевых сообщений и аудиоверсий текстов. Из-за стохастического предиктора длительности генерация недетерминирована: для воспроизводимого результата нужно фиксировать seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

930сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-mco

facebook/mms-tts-mco — модель синтеза речи для языка Mixe, Coatlán (код mco), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Для каждого языка MMS обучается отдельная модель VITS; архитектура VITS выполняет синтез речи сквозным образом и использует стохастический предиктор длительности, поэтому одинаковый текст может звучать с разным ритмом. Размер модели — 3,5 млн параметров; она доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers с версии 4.33. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Генерация недетерминирована: для воспроизводимого результата требуется фиксированное начальное значение генератора случайных чисел.

1060сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-poh-dialect_eastern

facebook/mms-tts-poh-dialect_eastern — модель синтеза речи на языке Poqomchi’ восточного диалекта из проекта Massively Multilingual Speech компании Facebook. Она преобразует текст на Poqomchi’ в речевую аудиоволну и предназначена для озвучивания текстов на этом языке. Модель использует архитектуру VITS и содержит 3,5 млн параметров. Это отдельный чекпойнт, обученный для одного языка; модель доступна через библиотеку Transformers. Стохастический предсказатель длительности может создавать разные варианты ритма для одного текста, поэтому для повторяемого результата нужен фиксированный seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но некоммерческое. Модель рассчитана на Poqomchi’ восточного диалекта, поэтому её не следует считать универсальным или многоязычным синтезатором.

890сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-qvn

facebook/mms-tts-qvn — модель синтеза речи на языке кечуа, северный диалект Хунина (qvn), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS — сквозной генератор речи с вариационным автоэнкодером, поточным модулем и декодером в стиле HiFi-GAN. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для работы предусмотрена библиотека Transformers версии 4.33 и выше. Генерация стохастическая: один и тот же текст может звучать с разным ритмом, а для повторения результата нужен фиксированный seed. Модель специализирована на одном языке, поэтому её не следует считать многоязычной или универсальной. Лицензия CC BY-NC 4.0 требует указания авторства и запрещает коммерческое использование.

1000сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-xua

facebook/mms-tts-xua — модель синтеза речи из текста для языка курумба, алу (xua), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный языковой чекпойнт проекта, реализованный на архитектуре VITS и содержащий около 3,5 млн параметров. Модель принимает текст и генерирует речевую аудиоволну; она доступна через библиотеку Transformers версии 4.33 и новее. Модель предназначена для озвучивания текста на курумба, алу. Стохастический предиктор длительности позволяет синтезировать варианты речи с разным ритмом, поэтому результат может меняться между запусками; фиксированное начальное значение генератора случайных чисел позволяет воспроизводить тот же результат. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

4760сент. 2023
textaudiocc-by-nc-4.0hugging-face
jssaluja
nemotron35-punjabi-cer-train-113953-epochs-10-test-1408

Модель jssaluja/nemotron35-punjabi-cer-train-113953-epochs-10-test-1408 — потоковая система автоматического распознавания речи на основе NVIDIA Nemotron 3.5 ASR Streaming 0.6B, дообученная для пенджабской речи, включая чтение и декламацию Gurbani. Она принимает аудио и выдаёт распознанный текст; режим распознавания обусловлен целевым языком pa-IN. Обучение использовало записи Sehaj Paath, киртана, аудиокниг, бесед и других материалов на пенджаби, а словарь токенизатора обучен на стихах Guru Granth Sahib. Модель предназначена для потоковой транскрипции пенджабских религиозных чтений и аудиозаписей. В README приведены метрики CER и WER, но их значения отсутствуют, поэтому качество по ним оценить нельзя. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства на некоммерческих условиях.

1450авг. 2026
textaudiocc-by-nc-4.0hugging-face
Folx
qwen3-0.6b-pl-text-normalization

Qwen3-0.6B Polish Text Normalization — модель, разработанная Folx и дообученная на базе Qwen/Qwen3-0.6B методом LoRA. Это причинная языковая модель с примерно 600 млн параметров для нормализации польского текста перед синтезом речи: она преобразует числа, даты, время, адреса, валюты, единицы измерения и сокращения в произносимую форму, сохраняя остальной текст. Модель рассчитана на польские TTS-системы, голосовых помощников, IVR, аудиокниги, подкасты и средства чтения с экрана. В README приведены результаты на 1 709 отложенных примерах: точное совпадение — 85,7%, совпадение с нормализацией регистра и пунктуации — 87,7%, символьная точность — 92,6%. Для выдачи без цифр описано ограниченное декодирование. Модель распространяется по лицензии MIT. Модель предназначена только для польского языка и нормализации произношения, а не для исправления грамматики. Возможны ошибки в редких сокращениях и специальных терминах; записи адресов вида «1/34» иногда читаются неверно. Качество снижается на входах длиннее примерно 300 символов. README указывает, что для разумной задержки требуется GPU, а заявленная задержка около 46 мс измерена на RTX 5090 через vLLM.

5183апр. 2026
textmithugging-face
cmots
UniSS

UniSS — модель для сквозного перевода речи в речь, представленная как унифицированная одноэтапная система. Она предназначена для преобразования устной речи на одном языке в устную речь на другом без отдельной цепочки распознавания, машинного перевода и синтеза речи. В карточке заявлено сохранение тембра, эмоций и согласованности длительности исходной речи; поддерживаются английский и китайский языки. Модель основана на плотной архитектуре Qwen2 и имеет 1,6 млрд параметров, работает через Transformers и принимает контекст до 32 768 токенов. Веса объединяют Qwen/Qwen2.5-1.5B-Instruct, SparkAudio/Spark-TTS-0.5B и zai-org/glm-4-voice-tokenizer. Репозиторий содержит веса PyTorch в формате safetensors. Лицензия — CC BY 4.0. UniSS подходит для перевода устных высказываний и сохранения характеристик голоса при межъязыковой передаче речи. Доступные сведения не описывают показатели качества, поддерживаемые направления перевода, требования к аудиоформату или ограничения по длительности входа; заявленные характеристики сохранения голоса приведены в карточке модели и не сопровождаются здесь количественной оценкой.

816авг. 2025ctx32.8K
textcc-by-4.0hugging-face
panlr
whisper-finetune-teochew

Модель panlr/whisper-finetune-teochew — дообученная версия Whisper-medium для распознавания речи на чаошаньском диалекте (в том числе чаочжоуском). Она преобразует аудио в текст с принятой в обучающих данных орфографией диалекта и не переводит речь на путунхуа. Модель разработана на основе открытого набора teochew-wild; в карточке указаны архитектура Whisper, 455,8 млн параметров и формат safetensors. Для дообучения использовано около 18,9 часа аудио: 12 500 фрагментов речи 12 говорящих с несколькими региональными вариантами произношения. На тестовой выборке автор сообщает CER 12,254%, на валидационной — 12,865%; часть омонимов в эксперименте унифицировалась, что улучшило результат. Модель подходит для транскрибации чаошаньской речи, но точность может зависеть от диалекта и выбранного написания. Лицензия — CC BY 4.0.

32118март 2025ctx1K
textaudiocc-by-4.0hugging-face
adventists-ai
DuplexJev-A-Gender-Qwen3-ASR-0.6B-Qwen3-32B

DuplexJev-A · gender — модель adventists-ai для извлечения ответов на вопросы о речи в виде оценки вариантов, считываемой одним токеном. Это коннектор в формате Ultravox, который соединяет замороженный ASR-энкодер Qwen3-ASR-0.6B с замороженной языковой моделью Qwen3-32B. Обучаемая часть — блок слияния на основе cross-attention и проектор; всего 21,1 млн обучаемых параметров. Модель предназначена для классификации пола говорящего и других закрытых решений по аудио, например определения, закончилась ли реплика, выбора подходящего заполнителя паузы и ответа на вопросы с вариантами. В README приведены результаты для распознавания пола, эмоций и набора двуязычных речевых вопросов. Для запросов следует использовать язык аудиоклипа и формулировки вариантов, соответствующие обучающим примерам. Модель принимает речь и текстовые запросы, а выдаёт текстовый выбор из предложенных вариантов. В метаданных указаны китайский и английский языки. Лицензия — Apache-2.0. Для работы необходимы указанные в карточке энкодер и Qwen3-32B, а также пакет duplexjev версии 0.2.1 или новее.

190сент. 2026ctx131.1K
textaudioapache-2.0hugging-face
Aratako
gemma-4-E4B-it-audio-encoder

Aratako/gemma-4-E4B-it-audio-encoder — аудиоэнкодер, извлечённый из Google Gemma 4 E4B Instruct. Это плотная модель класса Gemma4AudioEncoder, подготовленная для Transformers и распространяемая в формате safetensors. При включённой по умолчанию проекции она выдаёт векторы размерности 2560 в пространстве эмбеддингов языковой модели Gemma 4 E4B; без проекции — исходные аудиопредставления размерности 1536. Модель предназначена для извлечения признаков из аудио и передачи полученных представлений компонентам Gemma 4 E4B или другим совместимым системам. Для загрузки требуется Transformers версии 5.5.0 или новее. Лицензия — Apache 2.0. README не сообщает о поддерживаемых языках аудио и отдельных ограничениях качества или применения.

47116апр. 2026
textembeddingapache-2.0hugging-face
facebook
mms-tts-akb

facebook/mms-tts-akb — модель синтеза речи на языке батак-ангкола (akb), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт для одного языка на архитектуре VITS: модель преобразует входной текст в речевую аудиоволну, используя стохастический предиктор длительности, поэтому одинаковый текст может звучать по-разному. Чекпойнт содержит 3,5 млн параметров и доступен для работы через библиотеку Transformers версии 4.33 и новее. Модель предназначена для озвучивания текста на батак-ангкола. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Для воспроизводимого результата нужно задавать фиксированное случайное зерно; в карточке не приведены сведения о качестве синтеза и поддержке других языков.

940сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-nuz

facebook/mms-tts-nuz — модель синтеза речи на науатльском языке варианта Тламакатсапа (код nuz), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиозапись и предназначена для озвучивания текстов на этом языке. Модель использует архитектуру VITS — сквозную систему синтеза речи на основе вариационного автоэнкодера, Transformer-энкодера текста, flow-модуля и декодера в стиле HiFi-GAN. Веса доступны в форматах PyTorch и Safetensors; размер модели — около 3,5 млн параметров. Для языка обучен отдельный чекпойнт. Генерация стохастическая: для повторения того же результата нужно фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка предлагает использовать её через Transformers версии 4.33 или новее.

940сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-pps

facebook/mms-tts-pps — модель синтеза речи на языке пополока Сан-Луис-Темалакайука, разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на этом языке. Модель использует архитектуру VITS для сквозного синтеза речи: текстовый энкодер и flow-модуль подготавливают акустическое представление, а декодер формирует аудиоволну. Размер модели — 3,5 млн параметров; она доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers начиная с версии 4.33. Отдельные контрольные точки MMS-TTS обучены для разных языков. Из-за стохастического предсказателя длительности одинаковый текст может произноситься с разным ритмом, а для повторяемого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерчески.

1090сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-thl

facebook/mms-tts-thl — модель синтеза речи на языке тхару, диалект дангаура (код thl), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и подходит для озвучивания текстов и создания речевых интерфейсов на языке тхару. Модель использует архитектуру VITS и обучена как отдельный языковой чекпойнт MMS-TTS. Её размер — 3,6 млн параметров; модель доступна для Transformers версии 4.33 и новее в форматах PyTorch и Safetensors. Стохастический предиктор длительности позволяет получать варианты ритма речи, поэтому для повторяемого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. Модель предназначена для синтеза речи на тхару-дангаура; качество для других языков не заявлено.

4700сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-zyb

facebook/mms-tts-zyb — модель синтеза речи на языке чжуан, диалект юнбэй, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текста и создания речевых приложений для языка с ограниченными ресурсами. Модель использует архитектуру VITS: это сквозная система синтеза речи с вариационным автоэнкодером, поточным модулем и декодером на основе транспонированных свёрток, подобным HiFi-GAN. Предсказатель длительности позволяет синтезировать текст с различным ритмом; из-за его стохастичности для повторяемого результата требуется фиксировать seed. Веса доступны в форматах PyTorch и Safetensors, размер модели — 3,5 млн параметров. Для использования доступна библиотека Transformers версии 4.33 и новее. Модель предназначена для генерации речи только на языке чжуан, диалект юнбэй. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

1030сент. 2023
textaudiocc-by-nc-4.0hugging-face
giangndm
omniASR-CTC-300M-encoder

giangndm/omniASR-CTC-300M-encoder — отдельный аудиоэнкодер, извлечённый из facebook/omniASR-CTC-300M и представленный в формате SafeTensors с точностью bfloat16. Модель совместима с Wav2Vec2Model и AutoModel из Hugging Face Transformers и не требует Fairseq2. Энкодер предназначен для преобразования аудиосигнала в плотные акустические представления. Архитектура включает 24 слоя Transformer/Conformer с 16 головами внимания, размер скрытого состояния 1024 и FFN размером 4096; семислойный свёрточный экстрактор уменьшает временное разрешение аудио в 320 раз, выдавая представления с частотой 50 кадров в секунду. В метаданных указано 402,7 млн параметров. Репозиторий содержит только аудиоэнкодер, поэтому сам по себе он не выдаёт текст транскрипции и требует дополнительной CTC-головы или другого декодера для распознавания речи. Модель основана на facebook/omniASR-CTC-300M и обучена на датасете facebook/omniASR; лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

70сент. 2026
audiocc-by-nc-4.0hugging-face
vitouphy
wav2vec2-xls-r-300m-timit-phoneme

Модель vitouphy/wav2vec2-xls-r-300m-timit-phoneme разработана на основе facebook/wav2vec2-xls-r-300m и дообучена на корпусе DARPA TIMIT для распознавания речи. Она принимает аудио и с помощью архитектуры Wav2Vec2ForCTC преобразует его в текст; в карточке Hugging Face задача указана как automatic-speech-recognition. В тестовом разбиении TIMIT автор сообщает результат 7,996%. Модель содержит около 402,7 млн параметров и распространяется в форматах PyTorch и Safetensors. Модель подходит для экспериментов и распознавания речи на данных, близких к TIMIT. В README не уточняется, является ли текстовый результат обычной транскрипцией или фонетической последовательностью, поэтому это следует проверить перед использованием в конкретном конвейере. Лицензия — Apache-2.0.

11K33май 2022
textaudioapache-2.0hugging-face
PVKREDDY0808
bodhan-marathi-asr-artifacts

Bodhan Indic Transcribe Core Marathi ASR Artifacts — экспериментальная дообученная модель распознавания речи на маратхи. Её разработали на основе bodhan-ai/indic-transcribe-core и обучали на ограниченной выборке из одного фрагмента Shrutilipi: 2 000 обучающих и 200 проверочных высказываний общей длительностью около 4,3 часа. Акустический энкодер был заморожен, обучалась часть декодера и выходного слоя. Репозиторий содержит экспорт модели NeMo, контрольные точки Lightning, журналы обучения и файлы оценки. Для восстановления переносимого артефакта .nemo требуется NeMo и регистрация официального пути токенизатора Bodhan. В приведённой оценке CER снизилась с 0,04109 до 0,03963, а WER изменилась с 0,15254 до 0,15316; авторы подчёркивают, что результаты ограниченного эксперимента не являются общей оценкой качества. Лицензия указана как other, конкретные условия использования в карточке не приведены.

4191сент. 2026
textaudiootherhugging-face
aptech0081
MiniMax-H3-Acc-LoRAs-ComfyUI

MiniMax-H3 Acc LoRAs — ComfyUI conversion — это набор ускоряющих PDD-LoRA-модификаций для модели MiniMax-H3, предназначенный для генерации видео и аудио. Обучение и оригинальный выпуск выполнены alibaba-pai при участии авторов метода Parallel Decoding Distillation, базовая модель разработана MiniMaxAI, а данный репозиторий выполняет преобразование формата для ComfyUI. Набор предназначен для полной генерации аудио и видео в ComfyUI за 8 или 4 шага сэмплирования без CFG. Доступны варианты для архитектур FL2VA и Ref2VA. Каждый файл содержит LoRA ранга 64 для основной сети и банк PDD-голов: 32 проекции последнего слоя для каждого интервала и модальности. Также предлагается предварительно объединённый int8-конвёртированный чекпойнт Ref2VA размером 34 ГБ для систем с ограниченной видеопамятью; он снижает накладные расходы на повторное применение LoRA при каждом шаге. Модель требует специального набора узлов ComfyUI-MiniMax-H3-PDD-Acc и строго определённой схемы запуска с узлами SigmaShift, Apply, BasicGuider и сэмплером euler. Не следует объединять её с другими дистиллирующими LoRA или step-caching-узлами. Ограничения включают зависимость от совместимых базовых чекпойнтов, ComfyUI и пользовательских узлов; сведения о языках и размере контекстного окна не указаны. Распространение выполняется по лицензии Apache-2.0.

28K82авг. 2026
textvideoapache-2.0hugging-face
facebook
mms-tts-ixl-dialect_sanjuancotzal

facebook/mms-tts-ixl-dialect_sanjuancotzal — модель синтеза речи на языке Ixil, диалект Сан-Хуан-Коцаль, из проекта Massively Multilingual Speech компании Facebook. Она преобразует текст на этом языке в речевой аудиосигнал; для каждого языка проекта обучается отдельный чекпойнт. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза речи с текстовым энкодером на основе Transformer, поточным модулем, стохастическим предиктором длительности и декодером, формирующим аудиоволну. Модель доступна для использования через Transformers версии 4.33 и новее. Чекпойнт предназначен для озвучивания текста на указанном диалекте Ixil. Из-за стохастического предиктора длительности синтез может различаться при одинаковом входном тексте; для воспроизводимого результата нужен фиксированный seed. Лицензия — CC BY-NC 4.0, допускающая использование с атрибуцией, но не коммерческое.

940сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-lid

facebook/mms-tts-lid — модель синтеза речи на языке ниндроу (Nyindrou), созданная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на этом языке в речевую аудиоволну; для каждого языка MMS обучается отдельный чекпойнт. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза речи с текстовым энкодером, вариационным автоэнкодером, нормализующими потоками, стохастическим предсказателем длительности и декодером на основе HiFi-GAN. Стохастический предсказатель позволяет варьировать ритм речи, поэтому для повторяемого результата требуется фиксированный seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Модель предназначена для синтеза речи на ниндроу; данных о поддержке других языков нет.

900сент. 2023
textaudiocc-by-nc-4.0hugging-face
OpenMOSS-Team
MOVA-360p

MOVA — открытая модель генерации видео и синхронного аудио, разработанная командой OpenMOSS. Она предназначена для создания видео по изображению и текстовому описанию с одновременным синтезом звука, включая синхронизацию речи с движением губ и звуковые эффекты, соответствующие сцене. В метаданных Hugging Face для этой модели указан основной сценарий image-to-video. Модель использует асимметричную архитектуру с двумя башнями для видео и аудио, объединёнными двунаправленным cross-attention, и схему Mixture-of-Experts: 32 млрд параметров всего, 18 млрд активны при инференсе. Авторы заявляют о поддержке многоязычной синхронизации губ и предоставляют веса, код инференса, обучающий конвейер и скрипты для дообучения LoRA. Лицензия — Apache-2.0. В карточке не приведены сведения о длине контекста и конкретном перечне поддерживаемых языков.

142K216янв. 2026
textimagevideoapache-2.0hugging-face
aadel4
omniASR-W2V-300M

omniASR-W2V-300M — преобразованная в формат Hugging Face базовая самоконтролируемая аудиоэнкодерная модель Wav2Vec2, созданная автором репозитория на основе контрольной точки OmniLingual fairseq2 omniASR_W2V_300M. Модель содержит около 402,7 млн параметров; в README указаны 24 слоя энкодера и размер скрытого состояния 1024. Это энкодер без CTC-головы, предназначенный для извлечения признаков речи, анализа представлений и дообучения для последующих речевых задач. Модель принимает аудио и возвращает последовательности векторных представлений. Автор сообщает, что численные выходы преобразованной версии совпали с исходной контрольной точкой на проверочном аудиофрагменте с точностью atol=1e-4. Карточка не указывает языковой охват, контекст или лицензию; поэтому область применения и условия использования следует сверить с исходной моделью OmniLingual перед внедрением.

1931март 2026
textembeddinghugging-face
presencesw
Qwen3-Omni-30B-A3B-Captioner-GGUF

Qwen3-Omni-30B-A3B-Captioner-GGUF — это конвертация модели Qwen/Qwen3-Omni-30B-A3B-Captioner в формат GGUF, подготовленная пользователем или организацией presencesw для экспериментального распознавания и описания аудио в llama.cpp. Модель принимает один аудиовход и генерирует текстовое описание содержимого аудио. В комплект входят квантизированная модель Q4_K_M размером 17,7 GiB и мультимодальный проектор BF16 размером 2,1 GiB. Для работы требуется свежая сборка llama.cpp с поддержкой мультимодального аудио и запуск через llama-mtmd-cli. В README указано, что аудиоэнкодер успешно обработал тестовый файл из пяти фрагментов и сгенерировал подпись. В метаданных заявлен английский язык; сведения о поддерживаемых языках, размере контекста и точной архитектуре не приведены. Основное назначение модели — генерация текстовых подписей и описаний аудиозаписей. Поддержка аудио в llama.cpp обозначена как экспериментальная, поэтому совместимость и стабильность работы могут быть ограничены. Модель распространяется по лицензии Apache-2.0.

1.9K3июль 2026
textimageapache-2.0hugging-face
Noobbbbb
whisper-tiny-bn-custom-spm

Noobbbbb/whisper-tiny-bn-custom-spm — модель распознавания речи на основе архитектуры Whisper, разработанная автором репозитория и дообученная на неизвестном наборе данных. Она предназначена для преобразования аудио в текст; метаданные связывают модель с бенгальским языком. Модель загружается через библиотеку Transformers, веса опубликованы в формате safetensors, лицензия — Apache-2.0. В README приведены результаты оценки: loss 1,4220, WER 72,73 и CER 46,62. Высокие значения ошибок указывают на заметные ограничения распознавания, поэтому качество следует проверить на целевых аудиозаписях перед применением. Сведения о размере модели, контексте, обучающих данных и конкретных условиях записи не приведены.

160июнь 2026
textaudioapache-2.0hugging-face
dima806
english_accents_classification

Модель dima806/english_accents_classification предназначена для классификации аудиозаписи речи по распространённому акценту английского языка. Она дообучена на facebook/wav2vec2-base-960h и использует архитектуру wav2vec2 с классификационной головой; размер составляет 113,3 млн параметров. Модель принимает аудио и выдаёт метку класса акцента. Модель подходит для автоматической сортировки речевых образцов по акцентам и анализа английской речи. В карточке указана лицензия Apache-2.0. README не сообщает перечень классов акцентов и условия записи, поэтому точность для конкретных вариантов произношения оценить нельзя.

12K6авг. 2023
textapache-2.0hugging-face

Задачи профессии

15 задач
139Классификация звуковых событий. — AI анализирует спектральные и временные признаки аудио и относит фрагменты к классам звуковых событий: речи, музыке, сигналам, ударам, шумам или другим заданным категориям. На выходе — метки с временными границами и уверенностью. Качество проверяют по размеченным записям, отдельно оценивая редкие классы, смешанные звуки и условия с сильным фоновым шумом.
140Обнаружение заданного звука в непрерывном аудиопотоке. — Механизм: AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение заданного звука в непрерывном аудиопотоке», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
141Определение источника и направления звука. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение источника и направления звука» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
142Разделение смеси на голос, музыку и отдельные инструменты. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: результат «Разделение смеси на голос, музыку и отдельные инструменты» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
143Удаление фонового шума и акустических артефактов. — Практическая реализация: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Входной контекст включает референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: преобразованный материал по задаче «Удаление фонового шума и акустических артефактов» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
144Восстановление повреждённой или неполной аудиозаписи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: преобразованный материал по задаче «Восстановление повреждённой или неполной аудиозаписи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
145Автоматическое выравнивание громкости и динамического диапазона. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. К исходным данным относятся аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Автоматическое выравнивание громкости и динамического диапазона» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
146Генерация музыки по жанру, настроению, структуре и ограничениям. — Для этой задачи система генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: редактируемый артефакт по задаче «Генерация музыки по жанру, настроению, структуре и ограничениям», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
147Генерация звуковых эффектов по текстовому описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Генерация звуковых эффектов по текстовому описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
148Создание аранжировки для заданной мелодии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: редактируемый артефакт по задаче «Создание аранжировки для заданной мелодии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
149Продолжение музыкального фрагмента в согласованном стиле. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: редактируемый артефакт по задаче «Продолжение музыкального фрагмента в согласованном стиле», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
150Транскрибирование музыки в ноты или MIDI. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Транскрибирование музыки в ноты или MIDI» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
151Определение темпа, тональности, аккордов и структуры композиции. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение темпа, тональности, аккордов и структуры композиции» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
152Сведение и предварительный мастеринг аудиоматериала. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: преобразованный материал по задаче «Сведение и предварительный мастеринг аудиоматериала» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
153Адаптация длительности музыки под видео без резкого обрыва. — AI строит профиль текущих потребностей и адаптирует содержание, порядок или параметры взаимодействия под конкретного человека. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: адаптированный вариант для «Адаптация длительности музыки под видео без резкого обрыва» с указанием контекста и факторов, определивших персонализацию. Надёжность оценивают по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче. <a id="section-i-10"></a>

0 моделей