/ Профессии
Универсальные способности и операции

I.9Аудио и музыка

В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
15
в этой профессии
Подходящих моделей
4 835
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

4 835 моделей
Загрузки
Лайки
Дата выхода
1 111–1 140 из 4 835
facebook
mms-tts-isl

facebook/mms-tts-isl — модель синтеза речи на исландском языке из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на исландском языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS, доступный через библиотеку Transformers. Стохастический предиктор длительности позволяет варьировать ритм речи; для повторяемого результата при генерации нужно фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

4071сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-kue

facebook/mms-tts-kue — модель синтеза речи на куманском языке из проекта Massively Multilingual Speech компании Facebook. Она принимает текст на куманском языке и генерирует речевую аудиоволну; отдельный чекпойнт VITS обучен для этого языка. Модель имеет архитектуру VITS и содержит 3,5 млн параметров, доступна для использования через библиотеку Transformers версии 4.33 и новее. VITS объединяет вариационный автоэнкодер, потоковый модуль и декодер, построенный по принципу HiFi-GAN. Стохастический предсказатель длительности позволяет получать разные ритмические варианты речи для одного текста, поэтому результаты генерации недетерминированы; чтобы воспроизводить один и тот же вариант, требуется фиксировать seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но некоммерческое.

1000сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-kyo

facebook/mms-tts-kyo — модель синтеза речи для языка Klon (kyo), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на Klon в речевую аудиоволну; для каждого языка в MMS обучается отдельный чекпойнт. Модель построена на архитектуре VITS: она объединяет вариационный автоэнкодер, Transformer-энкодер текста, нормализующие потоки, стохастический предиктор длительности и декодер волновой формы в стиле HiFi-GAN. Веса содержат около 3,5 млн параметров и доступны в форматах PyTorch и Safetensors. Модель поддерживается библиотекой Transformers начиная с версии 4.33. Стохастический предиктор длительности позволяет получать варианты ритма для одного текста, поэтому генерация недетерминирована; для повторяемого результата нужен фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

1000сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-mhy

facebook/mms-tts-mhy — модель синтеза речи на языке мааньян (mhy), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует текст на мааньян в речевую аудиоволну и подходит для озвучивания текстов на этом языке. Модель использует архитектуру VITS: текстовый энкодер, потоковый модуль и декодер HiFi-GAN обучаются совместно для генерации речи. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; его можно использовать через Transformers версии 4.33 и новее. Из-за стохастического предсказания длительности результат может меняться между запусками; фиксированный seed позволяет воспроизводить одну и ту же аудиоволну. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерчески.

1020сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-tnp

facebook/mms-tts-tnp — модель синтеза речи на основе VITS, разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на языке Whitesands в речевую аудиоволну; для каждой языковой версии MMS-TTS обучается отдельный чекпойнт. Модель содержит около 3,5 млн параметров и доступна в форматах PyTorch и Safetensors, в том числе через Transformers версии 4.33 и новее. Архитектура VITS объединяет текстовый энкодер на основе Transformer, потоковый модуль, стохастический предиктор длительности и HiFi-GAN-подобный декодер. Предиктор позволяет получать разные ритмические варианты одной и той же фразы, поэтому результат может меняться между генерациями; фиксированный seed позволяет воспроизвести тот же аудиосигнал. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

1020сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-trc

facebook/mms-tts-trc — модель синтеза речи на языке трики, диалект Копала, разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, поточный модуль и декодер, формирующий аудиоволну; предсказатель длительности позволяет варьировать ритм речи. В репозитории указаны 3,5 млн параметров, веса представлены в форматах PyTorch и safetensors. Для повторяемой генерации одного и того же аудио требуется фиксированный seed, поскольку предсказатель длительности стохастический. Лицензия CC-BY-NC-4.0 допускает использование с указанием авторства, но запрещает коммерческое применение.

1050сент. 2023
textaudiocc-by-nc-4.0hugging-face
AXERA-TECH
moss-tts-nano

AXERA-TECH/moss-tts-nano — пакет для запуска MOSS-TTS-Nano-100M от команды OpenMOSS на устройстве AX650 с NPU3. Он предназначен для синтеза речи из текста; в README описан сценарий клонирования голоса по встроенному китайскому образцу zh_1.wav. Модель содержит около 100 млн параметров: авторегрессионная языковая модель работает на CPU, а декодер аудиокодека MOSS-Audio-Tokenizer-Nano и опциональные компоненты ускорения используют NPU3. Выход — китайская речь в WAV, 48 кГц, стерео, 16-бит PCM; заявлена поддержка 20 языков исходной модели, включая китайский и английский. Пакет предварительно скомпилирован для AX650 и требует axengine; он не предназначен для прямого запуска на обычной x86-машине. README указывает скорость LLM около 10–13 кадров в секунду и сходство формы сигнала AXMODEL с эталонным FP32-вариантом 0,952±0,019; для более точного результата доступен ONNX Runtime, примерно в 2,6 раза медленнее на CPU платы. Репозиторий содержит PyTorch формат и AXMODEL-компоненты. Лицензия — Apache-2.0; авторство базовой модели указано за OpenMOSS-Team.

170авг. 2026
textaudioapache-2.0hugging-face
ngoctham
neutts-2e

Карточка модели ngoctham/neutts-2e на Hugging Face совпадает с карточкой neuphonic/neutts-2e, поэтому описание составлено по ней. NeuTTS-2E — модель синтеза речи, разработанная Neuphonic для локального запуска на устройствах с ограниченными ресурсами. Она преобразует текст на английском языке в речь и позволяет выбирать одну из четырёх фиксированных голосовых персон и одну из шести эмоций либо нейтральную подачу. Модель использует компактную языковую модель для генерации токенов речи и аудиокодек NeuCodec. В README указано около 125 млн активных параметров базовой части и около 236 млн параметров всего; доступны квантованные версии GGUF. Модель оптимизирована для генерации в реальном времени на CPU и для встраиваемых устройств. Все создаваемые аудиофайлы по умолчанию содержат водяной знак Perth. Это ранняя альфа-версия, рассчитанная только на английский язык и фиксированный набор голосов; клонирование голоса не заявлено. Лицензия указана как other, поэтому условия использования следует сверять с файлами лицензии репозитория.

640июль 2026ctx32.8K
textotherhugging-face
teckedd
serendepify-gsl-asr-ak-waxal-gnlpclean-whisper-small-replay-fullft-v0.6

Экспериментальная модель автоматического распознавания речи из проекта Ghanaian Speech Lab. Это дообученная версия Whisper Small с замороженным энкодером, адаптированная на очищенных обучающих примерах GhanaNLP и обучавшаяся с повторным включением данных Waxal. В репозитории указано 15 171 обучающее наблюдение, 1 024 примера проверки Waxal, 326 примеров проверки GhanaNLP и 512 строк регрессионных тестов Waxal; обучение ограничено 1 200 шагами. Модель предназначена для транскрибирования речи на аканском языке и связанных вариантов, включая твийский; карточка также указывает связь с данными GhanaNLP и Waxal. Контроль регрессии на Waxal включён в обучение. Артефакт помечен как экспериментальный и не рекомендован для промышленного применения до прохождения проверок на отложенных данных и прослушивания носителями ганского английского/языка. Архитектура — Whisper Small, около 153,1 млн параметров; модель принимает аудио и выдаёт текст. Лицензия — CC BY-SA 4.0.

60июль 2026ctx1K
textaudiocc-by-sa-4.0hugging-face
samuel-vitorino
sopro

Sopro — компактная англоязычная модель преобразования текста в речь, созданная Сэмюэлом Виторину как сайд-проект. Версия в этом репозитории устарела: автор рекомендует перейти на Sopro V2. Архитектура сочетает дилатированные свёртки в стиле WaveNet с лёгкими слоями перекрёстного внимания вместо стандартного Transformer; модель содержит 135 млн параметров. Модель предназначена для синтеза английской речи, в том числе в потоковом режиме, и клонирования голоса по референсной аудиозаписи длительностью 3–12 секунд. В README заявлены скорость около 0,05 RTF на процессоре M3 и потоковая задержка до первого аудио около 250 мс для более новой версии v1.5; эти показатели не следует напрямую считать характеристиками данной старой версии. Доступна по лицензии Apache-2.0. Качество может быть нестабильным; сходство клонированного голоса зависит от качества записи и может ухудшаться для голосов, отличающихся от обучающих данных. Потоковая генерация не полностью совпадает по звучанию с непотоковой. Длительность генерации ограничена примерно 32 секундами, а при превышении модель может галлюцинировать.

11239янв. 2026ctx131.1K
textaudioapache-2.0hugging-face
kevinzhow
style-bert-vits2-gguf

Набор файлов GGUF, подготовленных kevinzhow для локального синтеза речи с помощью Style-Bert-VITS2 в связке с myoland.tts и серверами TTS.cpp. Это артефакты конвертации исходных акустических моделей голосов и японской модели JP-BERT в формат GGUF, а не новые обученные модели. Репозиторий включает модели голосов и компонент JP-BERT для японского пути обработки текста; перечисленные примеры голосов основаны на моделях litagin/style_bert_vits2_jvnv, а JP-BERT — на ku-nlp/deberta-v2-large-japanese-char-wwm. Модель предназначена для локального преобразования текста в речь через совместимый GGML frontend и декодер TTS.cpp. Метаданные указывают задачу text-to-speech и японский язык. GGUF упрощает запуск в соответствующей локальной среде, однако для работы требуются совместимый сервер, frontend и подходящие файлы голосов. Лицензия указана как other; README требует соблюдать исходные условия использования моделей и голосов, включая требования атрибуции на страницах источников.

1663июнь 2026
textaudiootherhugging-face
ad019el
tamasheq-99-2

ad019el/tamasheq-99-2 — модель распознавания речи на базе архитектуры wav2vec2 с CTC-декодированием, дообученная разработчиком ad019el. Она принимает аудио и предназначена для преобразования речи в текст. В карточке приведены результаты оценки: loss 1,1325 и WER 0,8412; сведений о наборе данных и подробных сценариях обучения нет. Модель опубликована в формате PyTorch и насчитывает около 402,7 млн параметров. Лицензия и ограничения использования в предоставленных материалах не описаны.

330авг. 2023
textaudiohugging-face
vibevoice
VibeVoice-1.5B-hf

VibeVoice-1.5B-hf — совместимая с Transformers версия модели VibeVoice, разработанной Microsoft; карточку этой версии внес Eric Bezzam. Модель предназначена для синтеза выразительной длинной разговорной речи из текста, например подкастов и диалогов с несколькими участниками. Она использует непрерывные акустические и семантические токенизаторы с частотой 7,5 Гц, языковую модель для понимания текста и хода диалога и diffusion-компонент для генерации акустических деталей. Базовая модель — Qwen2.5 1.5B. Модель может генерировать речь длительностью до 90 минут с участием до четырёх разных голосов, а также поддерживает клонирование голоса по предоставленному аудиообразцу. Она рассчитана на английский и китайский языки. В каждом сгенерированном аудиофайле предусмотрены слышимый дисклеймер и невидимый водяной знак. Лицензия — MIT. Авторы предназначают релиз для исследований и разработки и не рекомендуют применять его в коммерческих или реальных сценариях без дополнительной проверки. Модель синтезирует только речь: она не рассчитана на музыку, фоновые звуки или перекрывающиеся реплики; языки помимо английского и китайского не поддерживаются. Возможны неожиданные, предвзятые или неточные результаты, а клонирование голоса требует явного согласия его владельца.

35K4авг. 2026ctx131.1K
textaudiomithugging-face
BricksDisplay
vits-cmn

BricksDisplay/vits-cmn — модель синтеза речи семейства VITS, разработанная на основе архитектуры условного вариационного автокодировщика с состязательным обучением. Она преобразует входной текст в речевую аудиоволну и предназначена для синтеза китайской речи. В карточке указаны обучение на наборе THCHS-30, 44 диктора и 48 часов обучающих аудиозаписей; размер модели — 3,5 млн параметров. Репозиторий содержит форматы ONNX и safetensors и поддерживает запуск через Transformers.js. Лицензия — Apache-2.0. Модель подходит для озвучивания китайского текста и прототипов приложений синтеза речи. Данные карточки описывают один язык и ограниченный объём обучения, поэтому качество для иных языков и сценариев не подтверждено.

2127янв. 2024
textaudioapache-2.0hugging-face
litert-community
DAC-16kHz-LiteRT

Это версия аудиокодека Descript Audio Codec (DAC), подготовленная для запуска на устройстве через LiteRT CompiledModel с использованием GPU. Модель кодирует аудио с частотой 16 кГц в дискретные коды остаточного векторного квантования (RVQ), а декодер восстанавливает аудио из латентного представления; заявлено сжатие 43:1 — 1 секунда аудио превращается в 12 последовательностей по 50 кодов. Репозиторий содержит FP16-модели энкодера и декодера в формате TFLite, а также веса RVQ. Сверточные части выполняются на GPU, квантование и деквантование RVQ — на CPU. По карточке, на Pixel 8a скорость обработки составляет около 0,82 от реального времени, а корреляция реконструкции с PyTorch DAC равна 1,0. Модель предназначена для кодирования и восстановления аудио на устройстве; сведений о поддержке конкретных языков или речи как отдельной задачи нет. Лицензия — MIT.

880сент. 2026
audiomithugging-face
lucadellalib
focalcodec_50hz

FocalCodec 50 Hz — речевой аудиокодек с низким битрейтом на основе сетей с фокальной модуляцией. Репозиторий содержит чекпойнт, обученный на LibriTTS 960; модель предназначена для кодирования и восстановления речи, включая сценарии передачи аудио с ограниченной пропускной способностью. Кодек использует одну кодовую книгу и поддерживает частоты дискретизации 16 и 24 кГц. В метаданных указаны PyTorch и формат весов safetensors, а базовой моделью названа microsoft/wavlm-large; лицензия — Apache-2.0. README ссылается на предварительные публикации о FocalCodec и потоковой версии FocalCodec-Stream.

1.0K2февр. 2025
audioapache-2.0hugging-face
dare43321
hindi-tts-model-7

Карточка модели dare43321/hindi-tts-model-7 на Hugging Face совпадает с карточкой dare43321/hindi-tts-model-5, поэтому описание составлено по ней. Модель dare43321/hindi-tts-model-5 — дообученная dare43321 версия kenpath/svara-tts-v1. Это плотная LlamaForCausalLM на 3,3 млрд параметров, представленная в формате safetensors; в метаданных также указана поддержка чата. Базовая модель предназначена для преобразования текста в выразительную речь на 18 индийских языках и индийском английском, однако README не уточняет, какие возможности этой базовой модели сохранены после дообучения и как именно следует задавать текст для синтеза. В метаданных указаны тег text-generation, контекстное окно 131 072 токена и английский язык. Данных о речевых выходах, поддерживаемых языках самой производной модели или качестве синтеза нет, поэтому назначение TTS можно считать вероятным по базовой модели, но не подтверждённым для этого чекпойнта. Лицензия — Apache-2.0.

260сент. 2026ctx131.1K
textapache-2.0hugging-face
dare43321
hindi-tts-model-8

Карточка модели dare43321/hindi-tts-model-8 на Hugging Face совпадает с карточкой dare43321/hindi-tts-model-5, поэтому описание составлено по ней. Модель dare43321/hindi-tts-model-5 — дообученная dare43321 версия kenpath/svara-tts-v1. Это плотная LlamaForCausalLM на 3,3 млрд параметров, представленная в формате safetensors; в метаданных также указана поддержка чата. Базовая модель предназначена для преобразования текста в выразительную речь на 18 индийских языках и индийском английском, однако README не уточняет, какие возможности этой базовой модели сохранены после дообучения и как именно следует задавать текст для синтеза. В метаданных указаны тег text-generation, контекстное окно 131 072 токена и английский язык. Данных о речевых выходах, поддерживаемых языках самой производной модели или качестве синтеза нет, поэтому назначение TTS можно считать вероятным по базовой модели, но не подтверждённым для этого чекпойнта. Лицензия — Apache-2.0.

1370авг. 2026ctx131.1K
textapache-2.0hugging-face
facebook
mms-tts-bcc-script_arabic

facebook/mms-tts-bcc-script_arabic — модель синтеза речи для белуджского языка, южного диалекта, с текстом на арабском письме. Она разработана Meta в рамках проекта Massively Multilingual Speech (MMS), который расширяет речевые технологии на языки с ограниченными ресурсами. Модель предназначена для преобразования текста в речевую волну; отдельный чекпойнт MMS-TTS обучен для каждого языка. В основе лежит компактная архитектура VITS с 3,5 млн параметров: модель объединяет вариационный автоэнкодер, flow-модуль, Transformer-энкодер текста, стохастический предсказатель длительности и декодер волновой формы. Разные варианты длительности могут давать разный ритм речи для одного и того же текста; для воспроизводимого результата требуется фиксированное случайное зерно. Модель доступна через Transformers версии 4.33 и новее, веса представлены в форматах PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Модель специализирована на белуджском южном диалекте в арабской письменности; качество для других языков или вариантов письма не заявлено.

5302сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-bor

facebook/mms-tts-bor — модель синтеза речи на языке бороро из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст на бороро в речевую аудиоволну и подходит для озвучивания текстов на этом языке. Модель построена на архитектуре VITS: она объединяет вариационный автоэнкодер, потоковый модуль и декодер, похожий на HiFi-GAN; предиктор длительности позволяет варьировать ритм речи. Размер модели — 3,5 млн параметров. Чекпойнт доступен для использования через Transformers версии 4.33 и выше. Модель обучена специально для одного языка, поэтому её следует применять для синтеза речи на бороро. Генерация недетерминирована: для повторяемого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

1210сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-bsc

facebook/mms-tts-bsc — модель синтеза речи на языке ониан, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на ониан в речевую аудиоволну и предназначена для создания озвучки и речевых интерфейсов на этом языке. Модель использует архитектуру VITS и обучена отдельно для ониан в составе линейки MMS-TTS. VITS объединяет кодирование текста, предсказание длительности и декодирование аудио в сквозной системе; стохастический предиктор длительности позволяет получать варианты ритма, поэтому генерация недетерминирована и для повторения результата нужен фиксированный seed. В репозитории указаны 3,5 млн параметров и форматы PyTorch и Safetensors; модель доступна через Transformers версии 4.33 и выше. Модель рассчитана на синтез речи на ониан и не является универсальной многоязычной моделью: для других языков нужны соответствующие контрольные точки MMS-TTS. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

1090сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-cax

facebook/mms-tts-cax — модель синтеза речи на языке чикитано (cax), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на чикитано в речевую аудиоволну и предназначена для озвучивания текстов на этом языке. Модель использует архитектуру VITS и обучена как отдельный языковой чекпойнт MMS-TTS. Это компактная модель с 3,5 млн параметров; для работы с ней подходит библиотека Transformers версии 4.33 и новее. Из-за стохастического предсказания длительности генерация недетерминирована: для повторения результата требуется фиксированное случайное зерно. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

710сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-gof-script_latin

Модель facebook/mms-tts-gof-script_latin — система синтеза речи на языке гофа, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на гофа, записанный латиницей, в речевую аудиоволну и подходит для озвучивания текстов и создания голосовых материалов на этом языке. Модель использует архитектуру VITS и обучена отдельно для гофа. В карточке указано 3,5 млн параметров; модель доступна в Transformers начиная с версии 4.33 и хранится в форматах PyTorch и Safetensors. Лицензия CC-BY-NC-4.0 разрешает использование на условиях Creative Commons «С указанием авторства — Некоммерческое использование». Длительность и ритм синтезированной речи могут меняться между запусками из-за стохастического предиктора длительности; фиксированный seed позволяет повторить результат. Модель предназначена для гофа в латинской письменности, поэтому её не следует считать универсальным синтезатором для других языков.

1070сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-heh

facebook/mms-tts-heh — модель синтеза речи на языке хехе (Hehe, heh), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на Hehe в речевую аудиоволну и предназначена для синтеза речи на этом языке. Модель построена на архитектуре VITS и содержит 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; для одного и того же текста стохастический предиктор длительности может создавать варианты с разным ритмом, поэтому результат воспроизводится при фиксированном seed. Модель доступна через библиотеку Transformers версии 4.33 и новее. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка описывает поддержку Hehe; качество и ограничения синтеза за пределами представленных сведений не оцениваются.

1150сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-min

facebook/mms-tts-min — модель синтеза речи на минангкабау от Facebook, часть проекта Massively Multilingual Speech (MMS). Это отдельный чекпойнт для одного языка на архитектуре VITS: модель преобразует входной текст в речевую аудиоволну. Вариативный предсказатель длительности позволяет синтезировать разные ритмы речи для одного текста; поэтому результат может меняться между запусками, а для воспроизводимого аудио требуется фиксированное начальное значение генератора случайных чисел. Модель содержит около 3,5 млн параметров и распространяется в форматах PyTorch и Safetensors. Для работы с ней подходит библиотека Transformers версии 4.33 или новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

1160сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-ncu

facebook/mms-tts-ncu — модель синтеза речи на языке чумбурунг (Chumburung, код ncu) из проекта Massively Multilingual Speech (MMS). Модель разработана командой MMS и использует архитектуру VITS: она преобразует последовательность текста непосредственно в речевую аудиоволну. В репозитории опубликован чекпойнт размером 3,5 млн параметров в форматах PyTorch и Safetensors. Модель предназначена для озвучивания текста на чумбурунге. VITS объединяет вариационный автоэнкодер, поточные преобразования, Transformer-энкодер текста и декодер, построенный по принципу HiFi-GAN; стохастический предиктор длительности позволяет получать варианты с разным ритмом. Для повторения того же результата требуется фиксировать seed, поскольку генерация недетерминирована. Модель доступна через библиотеку Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 требует указания авторства и не допускает коммерческого использования.

1100сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-quc-dialect_east

facebook/mms-tts-quc-dialect_east — модель синтеза речи для восточного диалекта языка киче, разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст на киче в речевую аудиоволну. Модель построена на архитектуре VITS: текстовый энкодер и потоковый модуль формируют акустическое представление, а декодер на основе свёрточных слоёв генерирует звук; стохастический предсказатель длительности позволяет варьировать ритм речи. Размер модели — 3,5 млн параметров; она доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers начиная с версии 4.33. Чекпойнт предназначен для озвучивания текста на киче восточного диалекта. Из-за стохастического предсказателя одинаковый текст может звучать по-разному; для повторяемого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

1070сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-upv

facebook/mms-tts-upv — модель синтеза речи на языке Uripiv-Wala-Rano-Atchin, разработанная в рамках проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания фраз и создания голосового вывода на этом языке. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль и декодер, построенный по принципу HiFi-GAN, работают совместно для генерации речи. Для каждой поддерживаемой языковой разновидности MMS-TTS обучается отдельный чекпойнт; этот чекпойнт предназначен для Uripiv-Wala-Rano-Atchin. Размер модели — 3,5 млн параметров; она доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers версии 4.33 и выше. Предсказатель длительности работает стохастически, поэтому одна и та же фраза может звучать по-разному; для воспроизводимого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерчески.

1160сент. 2023
textaudiocc-by-nc-4.0hugging-face
suryatmodulus
neutts-2e

Карточка модели suryatmodulus/neutts-2e на Hugging Face совпадает с карточкой neuphonic/neutts-2e, поэтому описание составлено по ней. NeuTTS-2E — модель синтеза речи, разработанная Neuphonic для локального запуска на устройствах с ограниченными ресурсами. Она преобразует текст на английском языке в речь и позволяет выбирать одну из четырёх фиксированных голосовых персон и одну из шести эмоций либо нейтральную подачу. Модель использует компактную языковую модель для генерации токенов речи и аудиокодек NeuCodec. В README указано около 125 млн активных параметров базовой части и около 236 млн параметров всего; доступны квантованные версии GGUF. Модель оптимизирована для генерации в реальном времени на CPU и для встраиваемых устройств. Все создаваемые аудиофайлы по умолчанию содержат водяной знак Perth. Это ранняя альфа-версия, рассчитанная только на английский язык и фиксированный набор голосов; клонирование голоса не заявлено. Лицензия указана как other, поэтому условия использования следует сверять с файлами лицензии репозитория.

960июль 2026ctx32.8K
textotherhugging-face
formospeech
omnivoice-hakka-community-1

OmniVoice Hakka Community 1 — контрольная точка OmniVoice, дообученная FormoSpeech на тайваньских диалектах языка хакка. Модель преобразует текст в речь и поддерживает клонирование голоса по образцу аудио с его текстовой расшифровкой, а также настройку голоса по текстовой инструкции. В карточке указано обучение в течение 16 000 шагов и поддержка шести диалектных меток: Sixian, Hailu, Dapu, Raoping, Zhao'an и Southern Sixian. Модель предназначена для синтеза речи на тайваньском хакка, включая озвучивание текста и генерацию речи с заданным голосом. В оценке на диалектах Sixian и Hailu она показала CER 2,03% и 2,44% соответственно; результаты относятся к описанным в карточке тестовым наборам и метрикам. Для использования нужен доступ к закрытому репозиторию Hugging Face. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но не коммерческое применение.

1502апр. 2026
textaudiocc-by-nc-4.0hugging-face

Задачи профессии

15 задач
139Классификация звуковых событий. — AI анализирует спектральные и временные признаки аудио и относит фрагменты к классам звуковых событий: речи, музыке, сигналам, ударам, шумам или другим заданным категориям. На выходе — метки с временными границами и уверенностью. Качество проверяют по размеченным записям, отдельно оценивая редкие классы, смешанные звуки и условия с сильным фоновым шумом.
140Обнаружение заданного звука в непрерывном аудиопотоке. — Механизм: AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение заданного звука в непрерывном аудиопотоке», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
141Определение источника и направления звука. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение источника и направления звука» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
142Разделение смеси на голос, музыку и отдельные инструменты. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: результат «Разделение смеси на голос, музыку и отдельные инструменты» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
143Удаление фонового шума и акустических артефактов. — Практическая реализация: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Входной контекст включает референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: преобразованный материал по задаче «Удаление фонового шума и акустических артефактов» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
144Восстановление повреждённой или неполной аудиозаписи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: преобразованный материал по задаче «Восстановление повреждённой или неполной аудиозаписи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
145Автоматическое выравнивание громкости и динамического диапазона. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. К исходным данным относятся аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Автоматическое выравнивание громкости и динамического диапазона» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
146Генерация музыки по жанру, настроению, структуре и ограничениям. — Для этой задачи система генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: редактируемый артефакт по задаче «Генерация музыки по жанру, настроению, структуре и ограничениям», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
147Генерация звуковых эффектов по текстовому описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Генерация звуковых эффектов по текстовому описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
148Создание аранжировки для заданной мелодии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: редактируемый артефакт по задаче «Создание аранжировки для заданной мелодии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
149Продолжение музыкального фрагмента в согласованном стиле. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: редактируемый артефакт по задаче «Продолжение музыкального фрагмента в согласованном стиле», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
150Транскрибирование музыки в ноты или MIDI. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Транскрибирование музыки в ноты или MIDI» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
151Определение темпа, тональности, аккордов и структуры композиции. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение темпа, тональности, аккордов и структуры композиции» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
152Сведение и предварительный мастеринг аудиоматериала. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: преобразованный материал по задаче «Сведение и предварительный мастеринг аудиоматериала» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
153Адаптация длительности музыки под видео без резкого обрыва. — AI строит профиль текущих потребностей и адаптирует содержание, порядок или параметры взаимодействия под конкретного человека. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: адаптированный вариант для «Адаптация длительности музыки под видео без резкого обрыва» с указанием контекста и факторов, определивших персонализацию. Надёжность оценивают по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче. <a id="section-i-10"></a>

0 моделей