/ Профессии
Универсальные способности и операции

I.9Аудио и музыка

В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
15
в этой профессии
Подходящих моделей
4 835
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

4 835 моделей
Загрузки
Лайки
Дата выхода
1 141–1 170 из 4 835
aoi-ot
VibeVoice-Large

VibeVoice-Large — модель преобразования текста в речь семейства VibeVoice, разработанная Microsoft; этот репозиторий содержит копию весов, полученных с ModelScope. Модель предназначена для генерации выразительной длинной разговорной речи, например подкастов и диалогов с несколькими участниками. Она использует плотную архитектуру VibeVoice с LLM для понимания текста и хода диалога, непрерывными акустическими и семантическими токенизаторами с частотой 7,5 Гц и diffusion-head для синтеза акустических деталей. Контекст составляет 32 тыс. токенов; заявлена генерация аудио длительностью примерно до 45 минут с несколькими голосами. Модель рассчитана на английский и китайский языки, поддерживает до четырёх голосов и ориентирована на исследование генерации длинной разговорной речи. Она синтезирует речь, а не музыку, фоновые звуки или эффекты; перекрывающиеся реплики явно не моделируются. Речь на других языках может быть невнятной, а выходы могут содержать ошибки или смещения. README предупреждает о рисках имитации голоса и дезинформации, не рекомендует коммерческое или реальное применение без дополнительной проверки и указывает, что в аудио автоматически добавляются слышимое уведомление об ИИ и водяной знак. Указанная лицензия — MIT.

1.5K238сент. 2025
textaudiomithugging-face
Lwasinam
voicera

Voicera — модель синтеза речи из текста, разработанная Lwasinam Dilli. Она использует трансформерную архитектуру GPT-2 и представляет аудио в виде дискретных токенов, полученных с помощью кодека Multi-Scale Neural Audio Codec (SNAC). Модель обучалась примерно на 1000 часах речевых данных; в обучающую выборку входили чистые подмножества HiFi-TTS, LibriSpeech, Libri-TTS и GLOBE с ограничением длительности аудиофрагментов до 10 секунд. Модель предназначена для преобразования написанного текста в речь. Автор также описывает варианты, дообученные на наборах Jenny и Expresso, и отмечает, что на момент карточки лучший результат давал вариант Jenny. Контекст модели составляет 1024 токена. Автор предупреждает, что Voicera не является моделью уровня state of the art и пока недостаточно точна для производственного применения; оценка качества в карточке ограничена наблюдениями за снижением loss и улучшением выходной речи. Указана лицензия «Free and Open to use I guess», поэтому точные условия повторного использования из карточки неясны.

28524июль 2024ctx1K
textaudiohugging-face
m-a-p
ChatMusician

ChatMusician — открытая языковая модель для понимания и генерации музыки, разработанная авторами проекта ChatMusician. Это плотная модель семейства LLaMA с 6,6 млрд параметров, основанная на LLaMA 2 и обученная продолжением предобучения и дообучением на музыкальном представлении ABC, которое токенизируется как текст. Модель принимает текстовые запросы и музыкальные записи в ABC, а музыку выдаёт в текстовом формате ABC; внешние мультимодальные структуры и токенизаторы не используются. Контекст составляет 2048 токенов. Модель предназначена для сочинения полноформатных музыкальных произведений по текстовому описанию, последовательности аккордов, мелодии, мотиву или музыкальной форме, а также для ответов на вопросы о музыке и музыкальной теории. README сообщает о результатах на MusicTheoryBench и сохранении общих языковых способностей, однако качество прямой генерации может быть ниже результатов в режиме perplexity. Для музыкальных задач модель лучше работает со строгими форматами и закрытыми инструкциями. Она склонна к галлюцинациям и не рекомендуется авторами для музыкального образования; значительная часть обучающих данных представляет ирландскую музыку, а способности к обучению по контексту и пошаговому рассуждению ограничены. Репозиторий распространяется по лицензии MIT.

409159нояб. 2023ctx2K
textmithugging-face
onecxi
mms-english-female-indic

onecxi/mms-english-female-indic — модель синтеза речи, созданная на основе facebook/mms-tts и обученная на наборе данных IndicTTS. Она преобразует английский текст в аудио женским голосом, связанным с хинди. Модель построена на архитектуре VITS, содержит 3,5 млн параметров и распространяется в формате safetensors для использования через Transformers. Модель подходит для озвучивания английских фраз женским голосом с индийским акцентом, например для учебных демонстраций и экспериментов с синтезом речи. В карточке указана лицензия CC BY-NC 4.0, которая запрещает коммерческое использование. Авторы также предостерегают от имитации реальных людей без их согласия и от создания вводящего в заблуждение или вредоносного контента.

350июль 2025
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-apb

facebook/mms-tts-apb — модель синтеза речи на языке Sa’a (код apb), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на Sa’a. Модель построена на архитектуре VITS и содержит 3,5 млн параметров. Это отдельный языковой чекпойнт семейства MMS-TTS; для синтеза одной и той же фразы могут получаться варианты с разным ритмом, поэтому для повторяемого результата нужен фиксированный seed. Модель доступна через библиотеку Transformers. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

1020сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-dbq

facebook/mms-tts-dbq — модель синтеза речи на языке даба (Daba, код dbq), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS и обучена отдельно для языка даба. В описании VITS указаны текстовый энкодер на основе Transformer, вариационный автоэнкодер, модуль нормализующих потоков, стохастический предиктор длительности и декодер на основе HiFi-GAN. Размер модели — 3,5 млн параметров; доступны веса PyTorch и Safetensors. Для работы с моделью предусмотрена библиотека Transformers версии 4.33 и новее. Предиктор длительности стохастический, поэтому одинаковый текст может звучать по-разному; фиксированный seed позволяет воспроизводить результат. Лицензия CC BY-NC 4.0 запрещает коммерческое использование.

1120сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-dnj-dialect_gweetaawueast

Модель Dan (dnj-dialect_gweetaawueast) — система синтеза речи Facebook в рамках проекта Massively Multilingual Speech (MMS). Это отдельный чекпойнт для языка Dan, диалект gweetaawueast. Модель принимает текст и генерирует речевую аудиоволну; она построена на архитектуре VITS и содержит около 3,5 млн параметров. VITS синтезирует речь сквозным образом: текстовый энкодер и flow-модуль формируют акустическое представление, а декодер на основе свёрточных слоёв создаёт аудиосигнал. Стохастический предиктор длительности позволяет варьировать ритм произношения; из-за этого результат недетерминирован, и для повторяемого синтеза нужен фиксированный seed. Модель доступна через Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

1090сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-dop

facebook/mms-tts-dop — модель синтеза речи на языке лукпа (Lukpa, код dop) из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на лукпа. Модель построена на архитектуре VITS и обучена как отдельный языковой чекпойнт MMS-TTS. VITS объединяет текстовый энкодер на основе Transformer, вероятностные компоненты и декодер формы сигнала; стохастический предиктор длительности позволяет варьировать ритм речи. Размер модели — 3,5 млн параметров. Для использования подходит библиотека Transformers версии 4.33 и новее. Генерация недетерминирована: для повторения того же результата нужен фиксированный seed. Модель предназначена для одного языка и не заявляет поддержку других языков. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

1110сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-enb

facebook/mms-tts-enb — модель синтеза речи на языке Markweeta, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на Markweeta в речевую аудиоволну. Модель построена на архитектуре VITS и обучена как отдельный языковой чекпойнт; в метаданных указано 3,5 млн параметров. Она поддерживается библиотекой Transformers версии 4.33 и новее. VITS объединяет вариационный автоэнкодер, flow-модуль с текстовым энкодером на основе Transformer, стохастический предсказатель длительности и декодер, связанный с HiFi-GAN. Стохастический предсказатель позволяет варьировать ритм речи для одного и того же текста, поэтому результат генерации недетерминирован: для повторения той же аудиоволны нужен фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

4920сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-gbo

facebook/mms-tts-gbo — модель синтеза речи на северном гребо (Grebo, Northern; gbo), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на этом языке в речевую аудиоволну и предназначена для создания озвучки и речевых интерфейсов на гребо. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль и декодер, построенный по принципу HiFi-GAN. Для одного текста возможны варианты ритма и произношения; генерация стохастическая, поэтому для повторяемого результата требуется фиксированный seed. В метаданных указаны 3,5 млн параметров и форматы PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

1090сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-glk

facebook/mms-tts-glk — модель синтеза речи на гилаки, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст на гилаки в речевой аудиосигнал и предназначена для озвучивания текстов на этом языке. Модель использует архитектуру VITS: генерация речи выполняется сквозным образом, а стохастический предиктор длительности позволяет варьировать ритм произнесения. Веса представлены в форматах PyTorch и Safetensors; размер модели — 3,5 млн параметров. Для воспроизводимого результата требуется фиксировать seed, поскольку генерация недетерминирована. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

5042сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-gri

facebook/mms-tts-gri — модель синтеза речи на языке гхари (Ghari, gri), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текстов на гхари. Для каждого языка проекта обучается отдельный чекпойнт; модель построена на архитектуре VITS, которая объединяет вариационный автоэнкодер, потоковый модуль и декодер, подобный HiFi-GAN. Предсказатель длительности позволяет получать варианты ритма речи, поэтому при одинаковом тексте результат может различаться; для повторяемой генерации нужен фиксированный seed. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; использовать его можно через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

1090сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-iou

facebook/mms-tts-iou — модель синтеза речи на языке тума-ируму, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания фраз и создания голосового вывода на этом языке. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль и декодер, формирующий аудиоволну. Размер модели — 3,5 млн параметров. Для каждого языка MMS-TTS обучается отдельный чекпойнт; синтез может быть недетерминированным, поэтому для повторяемого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

1050сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-jav

facebook/mms-tts-jav — модель синтеза речи на яванском языке из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует текст на яванском языке в речевую аудиоволну и подходит для озвучивания текстов и создания речевых интерфейсов на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза речи с вероятностным предсказателем длительности, поэтому один и тот же текст может звучать с разным ритмом; для воспроизводимого результата нужно зафиксировать seed. Чекпойнт предназначен для яванского языка и доступен в библиотеке Transformers версии 4.33 и выше. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка не приводит оценок качества или подробностей о голосе и обучающих данных.

4251сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-kvw

facebook/mms-tts-kvw — модель синтеза речи на языке Wersing (код kvw), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для генерации речи на Wersing. Модель использует архитектуру VITS: условный вариационный автоэнкодер с Transformer-энкодером текста, flow-модулем, стохастическим предсказателем длительности и декодером, построенным по принципу HiFi-GAN. Веса содержат около 3,5 млн параметров; для языков проекта MMS обучаются отдельные контрольные точки. Модель доступна через библиотеку Transformers. Предсказатель длительности стохастический, поэтому при одинаковом тексте результат может различаться; для воспроизводимого аудио требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

1050сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-lac

facebook/mms-tts-lac — модель синтеза речи на языке лакандон, разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт VITS, обученный для преобразования текста на лакандон в речевую аудиоволну; модель доступна через библиотеку Transformers версии 4.33 и новее. Архитектура VITS объединяет текстовый энкодер на основе Transformer, вариационный автоэнкодер, flow-модуль, предсказатель длительности и декодер, построенный по принципу HiFi-GAN. Размер модели — 3,5 млн параметров. Модель подходит для озвучивания текста на лакандон, например для синтеза коротких фраз и речевого сопровождения материалов на этом языке. Предсказатель длительности стохастический, поэтому при одинаковом тексте возможны разные варианты ритма и звучания; для повторяемого результата нужен фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

1030сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-nfa

facebook/mms-tts-nfa — модель синтеза речи на языке дао (Dhao, nfa), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текстов на дао. Модель использует архитектуру VITS и обучена как отдельный чекпойнт для этого языка; размер составляет 3,5 млн параметров. Она доступна через библиотеку Transformers версии 4.33 и новее. Стохастический предиктор длительности позволяет получать варианты ритма речи для одного текста, поэтому результат может меняться между запусками; для повторяемой генерации нужен фиксированный seed. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

1040сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-vid

facebook/mms-tts-vid — модель синтеза речи на видунда, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на языке видунда в речевую аудиоволну и предназначена для озвучивания текста и создания речевых данных для этого языка. Модель построена на архитектуре VITS: она объединяет вариационный автоэнкодер, потоковый модуль с текстовым энкодером на базе Transformer, стохастический предсказатель длительности и декодер HiFi-GAN-подобного типа. В репозитории указано 3,5 млн параметров; чекпойнт доступен в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers начиная с версии 4.33. Модель обучена отдельно для видунда и не заявлена как многоязычная. Предсказатель длительности стохастический, поэтому генерация недетерминирована; для повторения той же аудиоволны требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

1070сент. 2023
textaudiocc-by-nc-4.0hugging-face
NAMAA-Space
NAMAA-Saudi-TTS-V2

NAMAA-Saudi-TTS-V2 — модель синтеза речи с клонированием голоса для саудовского арабского, в частности найди. Она создана NAMAA-Space полным дообучением SWivid/Habibi-TTS на специализированных данных саудовской речи. Модель принимает арабский текст и аудиозапись длительностью 5–8 секунд с голосом-образцом, затем генерирует речь с тем же голосом, найдийской интонацией и произношением. В основе лежит F5-TTS с архитектурой Diffusion Transformer (DiT) и методом flow matching; по README, модель содержит около 335 млн обучаемых параметров. Для генерации используется денойзинг мел-спектрограммы за 32 шага ODE. Обучение проводилось на примерно 18,4 часах саудовской и найдийской речи; аудио приведено к 24 кГц, моно. Лицензия CC-BY-NC-SA-4.0 запрещает коммерческое использование без отдельного разрешения правообладателя. Модель рассчитана на создание найдийской арабской речи по тексту с аудиообразцом голоса. Она не предназначена для других арабских диалектов: на их входе может сохранять найдийские особенности. Без эталонной аудиозаписи синтез невозможен. Формальная оценка качества не приводится; в результате могут проявляться особенности исходных подкастных записей, например шум помещения или фоновая музыка.

85610апр. 2026
textaudiocc-by-nc-sa-4.0hugging-face
k2-fsa
OmniVoice-Emilia

OmniVoice-Emilia — вариант модели OmniVoice от k2-fsa, обученный исключительно на китайской и английской частях набора данных Emilia. Это плотная модель архитектуры OmniVoice для синтеза речи по тексту; в метаданных указаны мультиязычная поддержка, zero-shot и клонирование голоса. Чекпойнт предназначен прежде всего для воспроизведения экспериментальных результатов, описанных в статье. При использовании следует отключить очистку шума в промпте (`denoise = False`) и не задавать идентификатор языка (`lang_id = None`), поскольку модель обучалась без этих условий. Авторы рекомендуют обычным пользователям полнообученный на всём наборе данных вариант OmniVoice для более высокого качества. Лицензия и размер модели в предоставленных данных не указаны.

305март 2026ctx131.1K
textaudiohugging-face
DataCraftsmanAustralia
piper-en_AU-librivox-medium

enAU-librivox-medium — модель синтеза речи для Piper, разработанная автором репозитория DataCraftsmanAustralia. Она объединяет десять голосов австралийского английского в одной модели VITS и предназначена для озвучивания текста с выбором диктора. Модель содержит около 70 млн параметров, выдаёт монофонический звук с частотой 22,05 кГц и работает на CPU; опубликована в формате ONNX. Обучение проведено на записях LibriVox из общественного достояния. Речь звучит как формальное литературное чтение с австралийским акцентом, а не как современная разговорная речь. Исходные тексты относятся к литературе XIX — начала XX века, поэтому модель слабее справляется с числами, сокращениями, техническими терминами, URL, электронными письмами и временными метками. Качество записей голосов неоднородно, а автоматические транскрипции не исправлялись. Лицензия модели — CC BY 4.0.

1.2K1сент. 2026
textaudiocc-by-4.0hugging-face
loom-ai-org
encodec-32khz-loom

Это экспорт декодера аудиокодека EnCodec Meta AI с частотой дискретизации 32 кГц, используемого в MusicGen. Репозиторий содержит неизменённые веса модели facebook/encodec_32khz, упакованные в формат GGUF для запуска через loom.cpp и библиотеку loom-py-rt. Модель принимает кодовые последовательности аудио и восстанавливает из них звуковую волну; это декодирующая половина кодека, а не языковая модель. Декодер рассчитан на 4 потока кодов на кадр при 50 кадрах в секунду, что соответствует полосе 2,2 кбит/с; один кадр даёт 640 аудиосэмплов. В архитектуре есть LSTM с обработкой по кадрам, поэтому скорость в описанном окружении составляет около 0,44× реального времени. Лицензия репозитория — CC BY-NC 4.0. Для работы нужны выровненные коды нужной ширины: декодер не выполняет обратное выравнивание задержек и не принимает коды с другой конфигурацией полосы.

370сент. 2026
textaudiocc-by-nc-4.0hugging-face
dare43321
hindi-tts-model-5

Модель dare43321/hindi-tts-model-5 — дообученная dare43321 версия kenpath/svara-tts-v1. Это плотная LlamaForCausalLM на 3,3 млрд параметров, представленная в формате safetensors; в метаданных также указана поддержка чата. Базовая модель предназначена для преобразования текста в выразительную речь на 18 индийских языках и индийском английском, однако README не уточняет, какие возможности этой базовой модели сохранены после дообучения и как именно следует задавать текст для синтеза. В метаданных указаны тег text-generation, контекстное окно 131 072 токена и английский язык. Данных о речевых выходах, поддерживаемых языках самой производной модели или качестве синтеза нет, поэтому назначение TTS можно считать вероятным по базовой модели, но не подтверждённым для этого чекпойнта. Лицензия — Apache-2.0.

4010авг. 2026ctx131.1K
textapache-2.0hugging-face
khmerttsopensource
khmer-tts

Khmer TTS — экспериментальная модель синтеза речи, созданная дообучением VITS-модели Facebook facebook/mms-tts-khm. Она преобразует текст на кхмерском языке в аудио и распространяется в формате Hugging Face Transformers с весами safetensors; размер модели — 3,6 млн параметров. Модель рассчитана на одноголосую генерацию речи на кхмерском языке. Её можно применять для озвучивания коротких текстов и создания речевых примеров на кхмерском языке. В тестовом наборе из 50 примеров генерация завершилась без сбоев, однако эта проверка не оценивает всесторонне качество речи. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

1.7K2май 2026
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-agn

facebook/mms-tts-agn — модель синтеза речи на языке агутайнен, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на агутайнен в речевой сигнал и подходит для озвучивания фраз и создания голосовых сообщений на этом языке. Модель использует архитектуру VITS — сквозную систему синтеза речи с вариационным автоэнкодером, потоковым модулем и декодером, похожим на HiFi-GAN. Размер чекпойнта составляет 3,5 млн параметров. Для каждого языка MMS обучается отдельный чекпойнт; модель предназначена для агутайнен и не заявлена как многоязычная. Генерация речи стохастическая, поэтому для воспроизводимого результата требуется фиксировать seed. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

1070сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-asg

facebook/mms-tts-asg — модель синтеза речи для языка Cishingini (asg), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну; для каждого языка MMS-TTS обучается отдельная модель. Архитектура VITS объединяет вариационный автоэнкодер, Transformer-энкодер текста, потоковые слои, стохастический предиктор длительности и декодер на основе свёрточных слоёв. Модель содержит около 3,5 млн параметров и доступна для использования через Transformers версии 4.33 и выше. Стохастический предиктор длительности позволяет получать разные варианты ритма для одного текста, поэтому для воспроизводимого результата требуется фиксированное случайное зерно. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

1050сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-cab

facebook/mms-tts-cab — модель синтеза речи на языке гарифуна (код cab), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на гарифуна. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт семейства MMS-TTS; библиотека Transformers поддерживает его начиная с версии 4.33. Стохастический предсказатель длительности позволяет получать варианты ритма произношения, поэтому результаты могут меняться между запусками; фиксированный seed нужен для воспроизводимого аудио. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. Модель ориентирована на синтез речи именно на гарифуна.

1040сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-gng

facebook/mms-tts-gng — модель синтеза речи на языке нгангам (Ngangam, gng), разработанная Facebook в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт VITS для одного языка: модель принимает текст и генерирует речевую аудиоволну. Архитектура VITS объединяет вариационный автоэнкодер, Transformer-энкодер текста, потоковый модуль, декодер в стиле HiFi-GAN и стохастический предсказатель длительности, благодаря которому текст может звучать с разным ритмом. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors. Модель предназначена для озвучивания текста на нгангам. Генерация недетерминирована: для воспроизводимого результата требуется фиксировать seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

1040сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-jvn

facebook/mms-tts-jvn — модель синтеза речи на яванском языке (код jvn), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на яванском в речевую аудиоволну и предназначена для озвучивания текста и создания речевых интерфейсов для этого языка. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. VITS синтезирует речь сквозным образом, сочетая вариационный автоэнкодер, потоковый модуль, декодер, похожий на HiFi-GAN, и стохастический предиктор длительности. Для одинакового текста возможны разные ритм и звучание; чтобы получать воспроизводимый результат, нужно зафиксировать seed. Модель доступна через Transformers версии 4.33 и новее, веса представлены в форматах PyTorch и safetensors. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Модель предназначена для синтеза яванской речи; сведений о поддержке других языков или дополнительных задач в карточке нет.

1030сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-kma

facebook/mms-tts-kma — модель синтеза речи на языке конни (kma), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на конни в речевую аудиоволну и предназначена для озвучивания текста и создания речевых данных на этом языке. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это отдельный чекпойнт для конни из семейства MMS-TTS; для работы с ним подходит библиотека Transformers версии 4.33 и новее. Стохастический предиктор длительности позволяет варьировать ритм речи, поэтому для повторяемого результата требуется фиксированное случайное зерно. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка не приводит оценок качества или подробностей о голосе и наборе данных.

1210сент. 2023
textaudiocc-by-nc-4.0hugging-face

Задачи профессии

15 задач
139Классификация звуковых событий. — AI анализирует спектральные и временные признаки аудио и относит фрагменты к классам звуковых событий: речи, музыке, сигналам, ударам, шумам или другим заданным категориям. На выходе — метки с временными границами и уверенностью. Качество проверяют по размеченным записям, отдельно оценивая редкие классы, смешанные звуки и условия с сильным фоновым шумом.
140Обнаружение заданного звука в непрерывном аудиопотоке. — Механизм: AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение заданного звука в непрерывном аудиопотоке», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
141Определение источника и направления звука. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение источника и направления звука» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
142Разделение смеси на голос, музыку и отдельные инструменты. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: результат «Разделение смеси на голос, музыку и отдельные инструменты» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
143Удаление фонового шума и акустических артефактов. — Практическая реализация: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Входной контекст включает референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: преобразованный материал по задаче «Удаление фонового шума и акустических артефактов» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
144Восстановление повреждённой или неполной аудиозаписи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: преобразованный материал по задаче «Восстановление повреждённой или неполной аудиозаписи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
145Автоматическое выравнивание громкости и динамического диапазона. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. К исходным данным относятся аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Автоматическое выравнивание громкости и динамического диапазона» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
146Генерация музыки по жанру, настроению, структуре и ограничениям. — Для этой задачи система генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: редактируемый артефакт по задаче «Генерация музыки по жанру, настроению, структуре и ограничениям», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
147Генерация звуковых эффектов по текстовому описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Генерация звуковых эффектов по текстовому описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
148Создание аранжировки для заданной мелодии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: редактируемый артефакт по задаче «Создание аранжировки для заданной мелодии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
149Продолжение музыкального фрагмента в согласованном стиле. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: редактируемый артефакт по задаче «Продолжение музыкального фрагмента в согласованном стиле», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
150Транскрибирование музыки в ноты или MIDI. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Транскрибирование музыки в ноты или MIDI» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
151Определение темпа, тональности, аккордов и структуры композиции. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение темпа, тональности, аккордов и структуры композиции» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
152Сведение и предварительный мастеринг аудиоматериала. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: преобразованный материал по задаче «Сведение и предварительный мастеринг аудиоматериала» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
153Адаптация длительности музыки под видео без резкого обрыва. — AI строит профиль текущих потребностей и адаптирует содержание, порядок или параметры взаимодействия под конкретного человека. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: адаптированный вариант для «Адаптация длительности музыки под видео без резкого обрыва» с указанием контекста и факторов, определивших персонализацию. Надёжность оценивают по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче. <a id="section-i-10"></a>

0 моделей