/ Профессии
Универсальные способности и операции

I.9Аудио и музыка

В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
15
в этой профессии
Подходящих моделей
4 835
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

4 835 моделей
Загрузки
Лайки
Дата выхода
2 491–2 520 из 4 835
facebook
mms-tts-npl

facebook/mms-tts-npl — модель синтеза речи на нахуа юго-восточной Пуэблы, выпущенная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текстов и создания речевых приложений для языка, охватываемого проектом MMS. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза речи со стохастическим предсказателем длительности, благодаря которому один и тот же текст может звучать с разным ритмом; результат генерации недетерминирован, поэтому для повторения той же аудиозаписи требуется фиксированное начальное значение. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

930сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-obo

facebook/mms-tts-obo — модель синтеза речи на языке Manobo, Obo (obo), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую волну и предназначена для озвучивания текста на этом языке. Для каждого языка MMS-TTS обучается отдельный чекпойнт. Модель использует архитектуру VITS: сквозную систему text-to-speech на основе вариационного автоэнкодера, потоковых слоёв и декодера, похожего на HiFi-GAN; предсказатель длительности позволяет варьировать ритм речи. Размер модели — 3,5 млн параметров. Для работы доступна через Transformers версии 4.33 и новее, веса представлены в форматах PyTorch и safetensors. Генерация недетерминирована из-за стохастического предсказателя длительности; для повторения результата нужен фиксированный seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

920сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-sag

facebook/mms-tts-sag — модель синтеза речи на языке санго (Sango, код sag) из проекта Massively Multilingual Speech компании Facebook. Она преобразует текст на санго в речевую аудиоволну; отдельный чекпойнт VITS обучен для этого языка. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль и декодер, формирующий аудиоволну. Чекпойнт содержит 3,5 млн параметров, распространяется в форматах PyTorch и Safetensors и доступен через библиотеку Transformers начиная с версии 4.33. Модель предназначена для синтеза речи на санго. Стохастический предиктор длительности позволяет варьировать ритм произношения, поэтому генерация недетерминирована; для воспроизводимого результата требуется фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но не коммерческое использование.

1851сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-urb

facebook/mms-tts-urb — модель синтеза речи на каапорском языке (Kaapor, код urb), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевой аудиосигнал и предназначена для озвучивания текста на каапорском языке. Модель использует архитектуру VITS и обучена отдельно для этого языка. Она объединяет вариационный автоэнкодер, потоковый модуль и декодер, построенный по принципу HiFi-GAN; стохастический предсказатель длительности позволяет варьировать ритм речи. Генерация недетерминирована: для повторения того же результата требуется фиксировать seed. В метаданных указаны 3,5 млн параметров и форматы PyTorch и Safetensors. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Она предназначена для синтеза речи на каапорском языке; качество и поддержка других языков не заявлены.

1020сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-vut

facebook/mms-tts-vut — модель синтеза речи для языка Vute (код vut), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на Vute в речевую аудиоволну и предназначена для озвучивания текстов и создания речевых интерфейсов на этом языке. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, потоковые слои и декодер, формирующий аудиоволну; предсказатель длительности позволяет варьировать ритм речи. Для каждого языка MMS обучается отдельный чекпойнт. В репозитории указаны веса PyTorch и Safetensors, объём модели — 3,5 млн параметров. Использование доступно через библиотеку Transformers версии 4.33 и новее. Модель предназначена для синтеза речи на Vute; её нельзя считать многоязычной только на основании принадлежности к MMS. Генерация недетерминирована и может различаться для одного текста, если не зафиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.

950сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-yat

facebook/mms-tts-yat — модель синтеза речи на языке ямбета (код yat), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текстов на этом языке. Модель построена на архитектуре VITS: она объединяет вариационный автоэнкодер, Transformer-энкодер текста, нормализующие потоки и декодер, похожий на HiFi-GAN. В репозитории хранится чекпойнт на 3,5 млн параметров в форматах PyTorch и Safetensors; модель доступна через Transformers версии 4.33 и выше. Для одного текста модель может синтезировать варианты с разным ритмом, поэтому генерация недетерминирована; для повторяемого результата требуется фиксировать seed. Модель распространяется по лицензии CC-BY-NC-4.0, которая ограничивает коммерческое использование.

4720сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-ycl

facebook/mms-tts-ycl — модель синтеза речи на языке лолопо (Lolopo, ycl) из проекта Massively Multilingual Speech компании Meta. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на этом языке. Модель использует архитектуру VITS: текстовый энкодер и потоковый модуль формируют акустическое представление, а декодер генерирует волну. Это отдельный чекпойнт для одного языка, содержащий 3,5 млн параметров; он доступен в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers версии 4.33 и новее. Генерация речи стохастическая: для повторения того же результата требуется фиксированное случайное зерно. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

910сент. 2023
textaudiocc-by-nc-4.0hugging-face
Mar2Ding
songcomposer_pretrain

SongComposer_pretrain — языковая модель для композиции текстов песен и мелодий, разработанная авторами SongComposer на основе InternLM2. Это предварительно обученная версия семейства SongComposer, инициализированная весами InternLM2 и получившая базовые знания о текстах песен и мелодиях; версия предназначена для генерации по заданному текстовому промпту. Модель имеет плотную архитектуру InternLM2ForCausalLM, содержит 7,4 млрд параметров и поддерживает контекст до 32 768 токенов. Модель рассчитана на создание строк песни и мелодических последовательностей. Для генерации по инструкциям, включая преобразование текста в мелодию, мелодии в текст, продолжение песни и создание песни по текстовому описанию, авторы также выпускают отдельную версию SongComposer_sft; эти сценарии не следует считать гарантированными возможностями данной предварительно обученной версии. В примере README используется китайский текст, поэтому китайский язык подтверждён; другие языки карточка не описывает. Модель распространяется в формате PyTorch по лицензии Apache-2.0.

195март 2024ctx32.8K
textapache-2.0hugging-face
PrinceAlhassanNasamu
tekyerema-tts-ewe

Модель Prince Nasamu Alhassan — дообученная версия VITS для синтеза речи на языке эве из текста. Она создана на основе facebook/mms-tts-ewe и обучена в течение 20 тысяч шагов на корпусах bibletts_ewe_hifi и waxal_ewe_tts. Модель предназначена для озвучивания фраз и коротких сообщений на эве; размер по метаданным — 3,6 млн параметров. Для запуска в README описано использование Transformers и VitsModel. Обучающие данные преимущественно состоят из библейских текстов, поэтому голос и формулировки могут лучше соответствовать этому регистру, чем повседневной речи. Токенизатор посимвольный: символы вне его словаря молча удаляются. Перед синтезом следует переводить текст в нижний регистр и записывать числа словами; для эве в README указано отсутствие потери символов на проверенной выборке после такой нормализации. Модель заявлена как исследовательская работа с хакатона, а не поддерживаемый продукт. Лицензия — CC BY-NC 4.0, использование ограничено её условиями, включая некоммерческое применение.

350авг. 2026
textaudiocc-by-nc-4.0hugging-face
Hengyuhan
whisper-medium-m4singer-zh-lyrics

Hengyuhan/whisper-medium-m4singer-zh-lyrics — модель распознавания пения, созданная полнопараметрическим дообучением OpenAI Whisper medium на корпусе M4Singer. Она преобразует короткие фразы на мандаринском пении в китайские тексты песен и предназначена для исследовательской оценки и расшифровки вокала. Валидационная CER составила 22,354% против 24,247% у исходной Whisper medium; независимая итоговая оценка на тестовой выборке на момент публикации карточки ещё не была завершена. Модель принимает аудио, рассчитана на фрагменты до примерно 30 секунд; для работы с Whisper рекомендуется монофонический звук с частотой 16 кГц. Качество на чистом профессионально записанном пении не гарантирует устойчивость к аккомпанементу, концертным записям, реверберации или бытовым микрофонам. Возможны вставки и повторы текста во время пауз, вдохов и инструментальных частей; результат следует проверять. Модель не предназначена для перевода речи, идентификации дикторов или общего распознавания разговорного мандаринского языка. Лицензия CC-BY-NC-SA-4.0 ограничивает коммерческое использование и требует соблюдения условий атрибуции и распространения производных материалов.

120июль 2026ctx1K
textaudiocc-by-nc-sa-4.0hugging-face
speech31
XLS-R-tamil-phoneme

Модель speech31/XLS-R-tamil-phoneme — акустическая модель распознавания речи на архитектуре Wav2Vec2, дообученная разработчиком на тамильской части Common Voice 16.1. Аудиосигнал преобразуется в последовательность тамильских фонем, записанных символами IPA и специальными знаками; это позволяет учитывать особенности тамильского произношения. Модель предназначена для автоматического распознавания тамильской речи и фонетической транскрипции аудиозаписей. Она содержит около 402,7 млн параметров и опубликована в формате PyTorch. В карточке не приведены сведения о длине контекста и лицензии.

2910февр. 2024
textaudiohugging-face
jssaluja
fb-mms-1b-sggs-ncer-train-107392-epochs-15-test-1569

Это модель автоматического распознавания речи, созданная дообучением jssaluja/fb-mms-1b на базе facebook/mms-1b-all. Она предназначена для преобразования аудиозаписей в текст; обучение проводилось на наборах с чтением и исполнением сикхских религиозных текстов, включая Sehaj Paath и киртан. Модель построена на архитектуре wav2vec2, имеет около 1,3 млрд параметров и использует библиотеку Transformers. В карточке приведены метрики оценки: WER 0,3164, CER 0,0801 и NCER 0,0324. Эти результаты относятся к указанному оценочному набору и не гарантируют аналогичного качества на других типах речи или записях. Базовая MMS-1B-All поддерживает более тысячи языков, однако язык и область применимости этого дообученного чекпойнта отдельно не указаны. Лицензия — CC BY-NC 4.0, допускающая использование с атрибуцией, но запрещающая коммерческое применение.

320сент. 2026
textaudiocc-by-nc-4.0hugging-face
uer
gpt2-chinese-lyric

uer/gpt2-chinese-lyric — языковая модель GPT-2, предварительно обученная проектом UER-py. Она предназначена для генерации китайских текстов песен: может продолжать заданный текст или создавать строки лирики с помощью конвейера генерации текста. Обучающие данные включают 150 000 китайских текстов песен из Chinese-Lyric-Corpus и MusicLyricChatbot. Модель использует плотную архитектуру GPT2LMHeadModel и принимает текст, выдавая текст. Контекст составляет 1024 токена. В карточке указаны реализации весов для PyTorch, TensorFlow и Flax. Лицензия в доступных данных не приведена.

42832март 2022ctx1K
texthugging-face
facebook
mms-tts-bov

facebook/mms-tts-bov — модель синтеза речи на языке ту́вули (код bov), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на ту́вули в речевую аудиоволну; для каждого языка проекта обучается отдельный чекпойнт. Модель основана на VITS — сквозной архитектуре с вариационным автоэнкодером, поточным модулем и декодером, напоминающим HiFi-GAN. В ней также используется стохастический предиктор длительности, поэтому один и тот же текст может звучать с разным ритмом, а для повторяемого результата требуется фиксировать seed. Веса содержат около 3,5 млн параметров и доступны в форматах PyTorch и safetensors. Модель можно использовать через Transformers версии 4.33 и выше. Она предназначена для озвучивания текста на ту́вули, а не для распознавания речи или генерации речи на других языках. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.

990сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-bpr

facebook/mms-tts-bpr — модель синтеза речи для языка Blaan диалекта Koronadal (код bpr), созданная в рамках проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевой сигнал и предназначена для озвучивания текстов на этом языке. Модель использует архитектуру VITS: это сквозная генеративная система с вариационным автоэнкодером, поточным модулем, декодером на основе свёрточных слоёв и стохастическим предсказателем длительности. В репозитории указано 3,5 млн параметров; доступны веса PyTorch и Safetensors. Для воспроизводимого результата генерации требуется фиксировать seed, поскольку предсказание длительности стохастическое. Модель поддерживается библиотекой Transformers начиная с версии 4.33. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но некоммерческое. Модель предназначена для одного языка, поэтому её нельзя считать универсальным многоязычным синтезатором; качество зависит от соответствия входного текста языку Blaan диалекта Koronadal.

920сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-cwe

facebook/mms-tts-cwe — модель синтеза речи на языке квэре (Kwere, cwe), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на квэре в речевую аудиоволну и предназначена для озвучивания текстов и создания речевого вывода на этом языке. Модель использует архитектуру VITS и содержит 3,5 млн параметров. Это отдельный языковой чекпойнт проекта MMS-TTS, доступный через библиотеку Transformers версии 4.33 и новее. Стохастический предиктор длительности позволяет варьировать ритм произношения; для повторяемого результата при генерации требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Она рассчитана на синтез речи на квэре; качество для других языков не заявлено.

1100сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-dnt

facebook/mms-tts-dnt — модель синтеза речи на языке Dani, Mid Grand Valley (код dnt), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на этом языке в речевой сигнал и предназначена для озвучивания текстов и создания синтетической речи. Для каждого языка MMS обучается отдельный чекпойнт. Модель использует архитектуру VITS — сквозную систему синтеза речи на основе вариационного автоэнкодера с Transformer-энкодером текста, потоковым модулем и декодером, похожим на HiFi-GAN. Размер модели — 3,5 млн параметров. Из-за стохастического предсказателя длительности результаты синтеза могут различаться; для воспроизводимости требуется фиксировать seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но ограничивает коммерческое применение.

1080сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-ixl-dialect_sangasparchajul

Это модель синтеза речи Ixil на варианте языка ixl-dialect_sangasparchajul, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на этом варианте Ixil в речевую аудиоволну и подходит для озвучивания текстов и создания речевых интерфейсов на языке, для которого мало доступно речевых технологий. Модель использует архитектуру VITS — сквозную систему синтеза на основе вариационного автоэнкодера, нормализующих потоков и декодера в стиле HiFi-GAN. Для одного и того же текста она может генерировать речь с разным ритмом; результат может меняться между запусками, поэтому для повторяемого вывода требуется фиксированное случайное зерно. Чекпойнт содержит 3,5 млн параметров, доступен в форматах PyTorch и Safetensors и поддерживается Transformers версии 4.33 и выше. Модель предназначена для синтеза речи на Ixil, а не для распознавания речи или перевода. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

930сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-jic

facebook/mms-tts-jic — модель синтеза речи на языке Tol (jic), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует текст на Tol в речевой сигнал; для каждого языка проекта обучается отдельный чекпойнт. Модель использует архитектуру VITS — сквозную систему синтеза речи на основе вариационного автоэнкодера, потоковых преобразований и декодера, построенного по принципу HiFi-GAN. В чекпойнте около 3,5 млн параметров; он работает с библиотекой Transformers версии 4.33 и новее. Генерация стохастическая: для повторяемого результата нужно задавать фиксированное начальное значение генератора. Модель предназначена для озвучивания текста на Tol. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

910сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-lif

facebook/mms-tts-lif — модель синтеза речи на языке лимбу (код ISO 639-3: lif), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на лимбу в речевую аудиоволну и предназначена для озвучивания текстов и создания голосовых интерфейсов на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный чекпойнт для лимбу из семейства MMS-TTS; для синтеза используется стохастический предиктор длительности, поэтому при одинаковом тексте речь может звучать по-разному. Для воспроизводимого результата требуется фиксировать seed. Модель доступна через библиотеку Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. Модель рассчитана на синтез речи именно на лимбу; качество для иных языков не заявлено.

4880сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-maj

facebook/mms-tts-maj — модель синтеза речи на языке мазатек, разновидность Халапa-де-Диас, из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Для каждого языка в проекте обучается отдельная модель. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза речи с текстовым кодировщиком на базе Transformer, потоковым модулем и декодером аудиосигнала; стохастический предсказатель длительности позволяет варьировать ритм произношения. Модель доступна через библиотеку Transformers версии 4.33 и новее. Генерация недетерминирована: для повторяемого результата требуется фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. Данных о качестве синтеза и ограничениях входного текста в карточке нет.

1080сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-mam-dialect_western

Модель facebook/mms-tts-mam-dialect_western — модель синтеза речи для западного диалекта языка мам, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на этом варианте мам. Модель построена на архитектуре VITS: она объединяет вариационный автоэнкодер, потоковый модуль и декодер на основе свёрточных слоёв, а стохастический предиктор длительности позволяет варьировать ритм речи. Размер модели — 3,5 млн параметров; для использования доступна через Transformers версии 4.33 и выше. Каждый языковой вариант MMS-TTS обучается отдельным чекпойнтом. Генерация недетерминирована, поэтому для повторения результата требуется фиксированное значение seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

990сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-maq

facebook/mms-tts-maq — модель синтеза речи на языке мазатек, диалект Чикиуитлан, разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS — сквозной генератор речи на основе вариационного автоэнкодера, потоковых слоёв и декодера, похожего на HiFi-GAN. Размер модели — 3,5 млн параметров; для каждого языка MMS обучается отдельный чекпойнт. Из-за стохастического предсказателя длительности результат может различаться при одинаковом тексте, а для повторяемого синтеза требуется фиксировать seed. Модель доступна через библиотеку Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства в рамках некоммерческих условий.

990сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-onb

facebook/mms-tts-onb — модель синтеза речи на языке Lingao (код onb), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания фраз и создания речевых выходов в приложениях на поддерживаемом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров; для разных языков MMS обучает отдельные контрольные точки. Используются веса PyTorch и Safetensors, модель доступна через Transformers версии 4.33 и новее. Стохастический предиктор длительности позволяет получать разные ритмические варианты произнесения одного текста, поэтому результат зависит от случайного seed; фиксированный seed нужен для воспроизводимой генерации. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

890сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-rap

facebook/mms-tts-rap — модель синтеза речи на рапануйском языке из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на рапануйском. Для языка создан отдельный чекпойнт MMS-TTS. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза: текстовый энкодер и flow-модуль формируют акустическое представление, а декодер на основе свёрточных слоёв генерирует аудиосигнал. Стохастический предиктор длительности позволяет получать варианты произношения с разным ритмом; поэтому результат может меняться между запусками, а фиксированный seed нужен для воспроизводимости. Модель доступна через библиотеку Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

1091сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-sgb

facebook/mms-tts-sgb — модель синтеза речи для языка айта маг-анцы (sgb), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текстов и создания речи для приложений на языках с ограниченными ресурсами. Модель построена на архитектуре VITS: текстовый энкодер, поточные слои и декодер формируют речь сквозным образом; стохастический предиктор длительности позволяет варьировать ритм произношения. Для каждого языка MMS обучается отдельный чекпойнт. В репозитории указаны веса PyTorch и Safetensors; размер модели — 3,5 млн параметров. Для повторения одинакового результата генерации требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка не приводит оценок качества синтеза или дополнительных языков помимо sgb.

930сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-yad

facebook/mms-tts-yad — модель синтеза речи на языке ягуа (Yagua, код yad), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на ягуа. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль, декодер HiFi-GAN и стохастический предиктор длительности, позволяющий варьировать ритм речи. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors. Для одинакового результата генерации требуется фиксировать seed. Модель можно использовать через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 требует атрибуции и ограничивает коммерческое использование.

870сент. 2023
textaudiocc-by-nc-4.0hugging-face
blackdeep
knaif

knaif — семейство дообученных моделей Qwen3, разработанных для runtime knaif. Модели преобразуют запросы на естественном языке в строгий JSON-план действий формата {"plan": [...]}, который затем валидируется, расширяется, подтверждается и исполняется детерминированным кодом через пакеты навыков. Модель только предлагает план и сама ничего не выполняет. В репозитории представлены две версии в формате GGUF: вариант на базе Qwen3-4B с 4 млрд параметров, квантизацией Q4_K_M и размером около 2,5 ГБ, предназначенный для настольных систем и CLI, а также вариант на базе Qwen3-1.7B с 1,7 млрд параметров, квантизацией Q6_K и размером около 1,4 ГБ, рассчитанный на мобильные устройства и системы с ограниченными ресурсами. Модели обучены методом SFT на навыках ffmpeg и documents; заявленная задача — генерация структурированных планов, а не открытый диалог. Сильная сторона моделей — специализированное преобразование пользовательского намерения в проверяемый план с именами инструментов и аргументами, что позволяет отклонять неизвестные инструменты и неподдерживаемые параметры на последующих этапах. Ограничения включают узкую специализацию на формате knaif и обученных навыках, а также отсутствие самостоятельного выполнения действий. Модели распространяются по лицензии Apache-2.0.

4.3K0июль 2026
textapache-2.0hugging-face
facebook
mms-tts-aoz

facebook/mms-tts-aoz — модель синтеза речи на языке Uab Meto (aoz), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на этом языке. Для каждого языка проекта используется отдельная контрольная точка. Модель построена на архитектуре VITS и содержит 3,5 млн параметров. VITS объединяет вариационный автоэнкодер, потоковый модуль и декодер, формирующий аудиоволну; стохастический предиктор длительности позволяет варьировать ритм произношения. Модель доступна через библиотеку Transformers версии 4.33 и новее. Генерация недетерминирована: для получения одинакового результата требуется фиксировать seed. Модель предназначена для языка Uab Meto, поэтому её не следует считать универсальной многоязычной моделью. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерчески.

950сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-bps

facebook/mms-tts-bps — модель синтеза речи на языке блаа, диалект Сарангани, разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую волну и предназначена для озвучивания текста и создания речевых технологий для языка, имеющего ограниченные цифровые ресурсы. Модель построена на архитектуре VITS: это сквозная система с вариационным автоэнкодером, Transformer-энкодером текста, потоковым модулем и декодером, подобным HiFi-GAN. Для каждого языка проекта обучается отдельный чекпойнт; эта модель содержит 3,5 млн параметров. Генерация речи стохастическая, поэтому для повторения результата требуется фиксированное начальное значение. Модель доступна в Transformers версии 4.33 и новее. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Модель рассчитана на текст на языке блаа, Сарангани; поддержка других языков не заявлена.

1000сент. 2023
textaudiocc-by-nc-4.0hugging-face

Задачи профессии

15 задач
139Классификация звуковых событий. — AI анализирует спектральные и временные признаки аудио и относит фрагменты к классам звуковых событий: речи, музыке, сигналам, ударам, шумам или другим заданным категориям. На выходе — метки с временными границами и уверенностью. Качество проверяют по размеченным записям, отдельно оценивая редкие классы, смешанные звуки и условия с сильным фоновым шумом.
140Обнаружение заданного звука в непрерывном аудиопотоке. — Механизм: AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение заданного звука в непрерывном аудиопотоке», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
141Определение источника и направления звука. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение источника и направления звука» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
142Разделение смеси на голос, музыку и отдельные инструменты. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: результат «Разделение смеси на голос, музыку и отдельные инструменты» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
143Удаление фонового шума и акустических артефактов. — Практическая реализация: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Входной контекст включает референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: преобразованный материал по задаче «Удаление фонового шума и акустических артефактов» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
144Восстановление повреждённой или неполной аудиозаписи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: преобразованный материал по задаче «Восстановление повреждённой или неполной аудиозаписи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
145Автоматическое выравнивание громкости и динамического диапазона. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. К исходным данным относятся аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Автоматическое выравнивание громкости и динамического диапазона» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
146Генерация музыки по жанру, настроению, структуре и ограничениям. — Для этой задачи система генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: редактируемый артефакт по задаче «Генерация музыки по жанру, настроению, структуре и ограничениям», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
147Генерация звуковых эффектов по текстовому описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Генерация звуковых эффектов по текстовому описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
148Создание аранжировки для заданной мелодии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: редактируемый артефакт по задаче «Создание аранжировки для заданной мелодии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
149Продолжение музыкального фрагмента в согласованном стиле. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: редактируемый артефакт по задаче «Продолжение музыкального фрагмента в согласованном стиле», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
150Транскрибирование музыки в ноты или MIDI. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Транскрибирование музыки в ноты или MIDI» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
151Определение темпа, тональности, аккордов и структуры композиции. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение темпа, тональности, аккордов и структуры композиции» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
152Сведение и предварительный мастеринг аудиоматериала. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: преобразованный материал по задаче «Сведение и предварительный мастеринг аудиоматериала» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
153Адаптация длительности музыки под видео без резкого обрыва. — AI строит профиль текущих потребностей и адаптирует содержание, порядок или параметры взаимодействия под конкретного человека. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: адаптированный вариант для «Адаптация длительности музыки под видео без резкого обрыва» с указанием контекста и факторов, определивших персонализацию. Надёжность оценивают по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче. <a id="section-i-10"></a>

0 моделей