/ Профессии
Универсальные способности и операции

I.9Аудио и музыка

В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
15
в этой профессии
Подходящих моделей
4 835
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

4 835 моделей
Загрузки
Лайки
Дата выхода
1 021–1 050 из 4 835
freyavoice
Freya-TTS

FreyaTTS-small — компактная модель синтеза речи на турецком языке от Freya Voice. Модель содержит 183,2 млн параметров и формирует речь из текста на уровне символов, используя 92 символа без фонемизатора и G2P. Архитектура — безавторегрессионный diffusion transformer с conditional flow matching: генерация выполняется в замороженном латентном пространстве AudioVAE2 за 32 шага интегрирования. На выходе получается монофоническое аудио с частотой 48 кГц. Модель предназначена для озвучивания турецких текстов, в том числе коротких реплик для голосовых интерфейсов. В оценке Freya-TR-Eval она показала WER 8,0% и CER 3,0%, заняв третье место среди семи открытых турецких TTS-моделей с числом параметров менее миллиарда. По заявленным измерениям, на RTX 4090 RTF составляет 0,10–0,11 при использовании около 1,5 ГБ VRAM. Модель обучена с нуля на турецкой речи, затем прошла этапы предварительного обучения и SFT. Она рассчитана на одного целевого диктора и не поддерживает клонирование голоса. Лицензия Apache-2.0 разрешает открытое использование и самостоятельный запуск; опубликованы веса, код инференса и обучающий конвейер.

6.7K52июль 2026
textaudioapache-2.0hugging-face
ghananlpcommunity
ghana-tts-36k

Ghana TTS – 36k — чекпойнт синтеза речи, дообученный сообществом GhanaNLP на базе VoxCPM. Он зафиксирован на 36 000 шагов обучения и обучался на более чем 1 400 часах речи на 44 языках Ганы. Репозиторий содержит веса safetensors, компоненты аудиокодека VAE, конфигурацию планировщика шума и токенизатор; для синтеза предусмотрена возможность голосового промптинга с использованием образцов референсного аудио. Модель предназначена для преобразования текста в речь на поддерживаемых ганских языках. Она обучалась с bf16 и TF32 на одном NVIDIA H200; для запуска README отсылает к демонстрационному пространству Ghana TTS. В метаданных указан pipeline text-to-speech, библиотека VoxCPM, лицензия MIT и языковые теги, включающие английский и ганские языки. Качество и охват могут различаться между языками; README не приводит отдельные оценки качества или подробные требования к инференсу. В репозитории также присутствует состояние оптимизатора, а чекпойнт на 36 000 шагов может отражать промежуточную стадию обучения.

190июнь 2026
textaudiomithugging-face
facebook
mms-tts-bem

facebook/mms-tts-bem — модель синтеза речи на языке бемба из проекта Massively Multilingual Speech компании Meta. Она преобразует входной текст в речевую аудиоволну и предназначена для создания озвучки на бемба. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; синтез стохастический, поэтому для повторяемого результата требуется фиксированное начальное значение генератора случайных чисел. Модель доступна через библиотеку Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

4262сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-kca

facebook/mms-tts-kca — модель синтеза речи на хантыйском языке из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на хантыйском языке. Модель использует архитектуру VITS — сквозной вариационный автоэнкодер с текстовым энкодером на основе Transformer, flow-модулем и декодером, построенным по принципу HiFi-GAN. Отдельный стохастический предиктор длительности позволяет варьировать ритм речи; из-за стохастической генерации для повторяемого результата требуется фиксированный seed. Модель содержит 3,5 млн параметров и доступна в форматах PyTorch и Safetensors. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но некоммерческое. Модель предназначена для синтеза хантыйской речи; качество произношения и пригодность для конкретных вариантов языка в карточке не охарактеризованы.

4950сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-krl

facebook/mms-tts-krl — модель синтеза речи на карельском языке из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текстов на карельском языке. Модель использует архитектуру VITS — сквозную вариационную модель с Transformer-энкодером текста, нормализующими потоками, стохастическим предсказателем длительности и декодером на основе HiFi-GAN. В репозитории указано 3,5 млн параметров; модель доступна через Transformers версии 4.33 и новее. Из-за стохастического предсказания длительности результат может меняться между запусками; фиксированный seed позволяет воспроизводить генерацию. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.

1040сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-mnk

facebook/mms-tts-mnk — модель синтеза речи на языке мандинка (mnk), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует текст на мандинка в речевую аудиоволну и предназначена для озвучивания текстов и создания речевого вывода на этом языке. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль, стохастический предиктор длительности и декодер, формирующий аудиоволну. Это отдельный языковой чекпойнт проекта MMS-TTS с 3,5 млн параметров; он доступен через Transformers версии 4.33 и выше. Предиктор длительности стохастический, поэтому одинаковый текст может синтезироваться с разным ритмом, а для воспроизводимого результата требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

1130сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-nan

facebook/mms-tts-nan — модель синтеза речи на миньнаньском китайском языке из проекта Massively Multilingual Speech компании Facebook. Это отдельный чекпойнт VITS для языка nan; модель принимает текст и генерирует речевую аудиоволну. Архитектура VITS объединяет вариационный автоэнкодер, Transformer-энкодер текста, flow-модуль, стохастический предсказатель длительности и декодер в стиле HiFi-GAN; размер модели — 3,5 млн параметров. Модель предназначена для преобразования текста на миньнаньском в речь. Стохастический предсказатель длительности позволяет получать разные ритмические варианты произнесения одного текста, поэтому результат не детерминирован и для воспроизводимой генерации нужен фиксированный seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

86114сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-pis

facebook/mms-tts-pis — модель синтеза речи на пиджинском языке из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну; для каждого языка проекта обучается отдельный чекпойнт. Модель основана на архитектуре VITS и содержит около 3,5 млн параметров. Она поддерживается библиотекой Transformers версии 4.33 и выше. VITS объединяет вариационный автоэнкодер, flow-модуль с текстовым энкодером на базе Transformer и декодер, построенный по принципу HiFi-GAN. Стохастический предсказатель длительности позволяет получать разные ритмические варианты одной и той же фразы. Генерация недетерминирована: для воспроизводимого результата нужен фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

1110сент. 2023
textaudiocc-by-nc-4.0hugging-face
VIZINTZOR
MMS-TTS-THAI-MALEV2

VIZINTZOR/MMS-TTS-THAI-MALEV2 — модель синтеза речи на архитектуре VITS, дообученная разработчиком на аудиозаписях Play.ht. Она преобразует текст на тайском языке в речь мужским голосом и предназначена для локального запуска; в карточке также упомянуто обучение через Google Colab. Модель содержит 3,6 млн параметров, распространяется в формате safetensors и использует библиотеку Transformers. Лицензия в предоставленных данных не указана.

4591янв. 2025
textaudiohugging-face
facebook
mms-tts-tng

facebook/mms-tts-tng — модель синтеза речи на языке тобанга, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на тобанга. Для каждого языка MMS-TTS обучается отдельная модель. Модель основана на архитектуре VITS и содержит текстовый энкодер на базе Transformer, flow-модуль, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Размер модели — 3,5 млн параметров. Из-за стохастического предиктора результаты могут различаться при одинаковом вводе; для воспроизводимой генерации нужен фиксированный seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 запрещает коммерческое использование.

1080сент. 2023
textaudiocc-by-nc-4.0hugging-face
tsukemono
neuTTS-JP-150m

neuTTS-JP-150m — японская модель синтеза речи, разработанная tsukemono и дообученная на базе llm-jp/llm-jp-3-150m. Она принимает японский текст и закодированную референсную аудиозапись, а затем генерирует аудиотокены, которые декодируются в речь с помощью NeuCodec. Модель содержит 101,1 млн параметров, построена на плотной архитектуре Llama и использует контекст до 4096 токенов. Модель предназначена для японского TTS, включая эксперименты с клонированием голоса на небольшой модели и потоковое воспроизведение. В README отмечено, что токенизатор изменён для японского языка: добавлены аудиотокены и обработка чтения японского текста, а некоторые иностранные языки и символы удалены. Для потокового сценария предусмотрены специальные токены заполнения, которые при выводе нужно игнорировать или использовать как границы фрагментов. Модель не предназначена для синтеза речи на других языках. Для работы с аудио требуется отдельный NeuCodec; README также содержит повреждённую строку обработки сгенерированных токенов, поэтому приведённый пример может потребовать исправления. Лицензия — Apache 2.0.

1916февр. 2026ctx4.1K
textapache-2.0hugging-face
OuteAI
OuteTTS-0.1-350M

OuteTTS-0.1-350M — экспериментальная модель синтеза речи от OuteAI на основе архитектуры LLaMA и базовой модели Oute3-350M-DEV. Она преобразует текст в речь с помощью языкового моделирования и аудиотокенов; также поддерживает клонирование голоса. Для обработки аудио используются токенизатор WavTokenizer, выравнивание CTC и структурированные подсказки. Модель содержит 301,4 млн параметров, поддерживает английский язык и имеет контекст длиной 4096 токенов. Репозиторий содержит веса в формате safetensors; проект также заявляет совместимость с llama.cpp и форматом GGUF. Лицензия — CC BY 4.0. Версия 0.1 чувствительна к температуре генерации и лучше работает с короткими предложениями. Ограничения словаря и небольшой размер могут приводить к замене, пропуску или добавлению слов, а качество может снижаться на длинных фразах. Для входа поддерживается только текст.

42304нояб. 2024ctx4.1K
textcc-by-4.0hugging-face
beyoru
Qwen3-TTS-12Hz-1.7B-Vi

beyoru/Qwen3-TTS-12Hz-1.7B-Vi — плотная модель синтеза речи на базе Qwen3-TTS-12Hz-1.7B-Base, дообученная для более точного произношения вьетнамского языка. Она генерирует речь по тексту и поддерживает клонирование голоса по короткому аудиофрагменту — как с текстовой расшифровкой образца, так и в режиме только по голосовым признакам. В README указано, что модель снижает CER для вьетнамской речи с 0,253 до 0,065 на проверенных примерах; качество английской речи в этом сравнении не изменилось. Модель предназначена для озвучивания вьетнамского текста голосом из аудиопримера, например для виртуальных помощников, сообщений и голосового контента. В проверке использовались северные вьетнамские голоса, поэтому модель не представляет нейтральный или южный акцент. Оценка в основном охватывает два голоса из обучающей выборки; клонирование ранее не встречавшегося голоса с текстовой расшифровкой отдельно не проверялось. Имена и заимствованные слова могут произноситься непоследовательно; автор рекомендует задавать произношение через написание с пробелом или дефисом. Для работы нужен аудиопример голоса; в описанном сценарии рекомендуется передавать язык как Auto. Модель распространяется по лицензии Apache-2.0.

3051июль 2026ctx131.1K
textaudioapache-2.0hugging-face
abliter8-ai
Roo-Voice_MOSS_TTS_LT_bf16

Roo-Voice — это дообученная командой Roo модель синтеза речи на базе OpenMOSS-Team/MOSS-TTS-Local-Transformer. Полное supervised fine-tuning на записях одного диктора закрепляет баритон и эстуарный акцент Roo; для синтеза также требуется reference.wav, поставляемый вместе с моделью и задающий подачу. Это модель для генерации речи из текста, а не универсальный клонировщик голосов. Чекпойнт использует архитектуру MossTTSLocal и представлен в формате PyTorch safetensors с точностью bfloat16; размер указан примерно как 5,8 ГБ. Речь генерируется монофонической с частотой 24 кГц. Модель ориентирована на английский язык. Лицензия — Apache-2.0. Модель предназначена для синтеза текста голосом Roo с характерным баритоном и акцентом. Ограничения: требуется reference.wav, поддерживается один голос, а для запуска в формате BF16 нужна совместимая NVIDIA GPU; для Apple Silicon автор предлагает отдельную сборку MLX.

80июль 2026ctx131.1K
textaudioapache-2.0hugging-face
rodrigomt
s2-pro-gguf

rodrigomt/s2-pro-gguf — это GGUF-квантизированная версия модели Fish Audio S2 Pro, подготовленная сообществом rodrigomt для локального запуска через ранний экспериментальный движок s2.cpp. Модель предназначена для многоязычного синтеза речи по тексту и клонирования голоса по короткой записи-образцу. Она подходит для исследовательских и некоммерческих сценариев локального TTS, когда требуется работа без зависимости от Python. S2 Pro использует архитектуру Dual-AR примерно на 4,56 млрд параметров: 36-слойный Slow-AR на базе Qwen3 с GQA, RoPE и постоянным KV-кэшем, а также 4-слойный Fast-AR, генерирующий 10 акустических токенов на каждый семантический шаг. В состав также входит аудиокодек с 10 кодовыми книгами по 4096 элементов. Репозиторий содержит варианты с разной степенью квантования — от F16 размером 9,3 ГБ до Q2_K размером 2,4 ГБ; все GGUF-файлы включают веса трансформера и аудиокодек. Поддерживаются GPU с Vulkan и запуск на CPU при наличии достаточного объёма оперативной памяти, однако более сильное квантование снижает качество, а CPU-режим работает медленно. Для клонирования голоса рекомендуется чистая запись длительностью 5–30 секунд в формате WAV или MP3 вместе с её расшифровкой. Основные ограничения связаны с экспериментальным статусом s2.cpp: движок находится на ранней стадии, возможны несовместимые изменения, и он не рекомендован для промышленной эксплуатации. Веса распространяются по Fish Audio Research License: бесплатное использование разрешено для исследований и некоммерческих целей, а коммерческое применение требует отдельной лицензии Fish Audio.

42K75март 2026
textaudiootherhugging-face
namu102
style-bert-vits2-gguf

Карточка модели namu102/style-bert-vits2-gguf на Hugging Face совпадает с карточкой kevinzhow/style-bert-vits2-gguf, поэтому описание составлено по ней. Набор файлов GGUF, подготовленных kevinzhow для локального синтеза речи с помощью Style-Bert-VITS2 в связке с myoland.tts и серверами TTS.cpp. Это артефакты конвертации исходных акустических моделей голосов и японской модели JP-BERT в формат GGUF, а не новые обученные модели. Репозиторий включает модели голосов и компонент JP-BERT для японского пути обработки текста; перечисленные примеры голосов основаны на моделях litagin/style_bert_vits2_jvnv, а JP-BERT — на ku-nlp/deberta-v2-large-japanese-char-wwm. Модель предназначена для локального преобразования текста в речь через совместимый GGML frontend и декодер TTS.cpp. Метаданные указывают задачу text-to-speech и японский язык. GGUF упрощает запуск в соответствующей локальной среде, однако для работы требуются совместимый сервер, frontend и подходящие файлы голосов. Лицензия указана как other; README требует соблюдать исходные условия использования моделей и голосов, включая требования атрибуции на страницах источников.

580июль 2026
textaudiootherhugging-face
loom-ai-org
styletts2-ljspeech-loom

Это экспорт контрольной точки StyleTTS2 для набора LJSpeech, подготовленный loom-ai-org для запуска через loom.cpp и библиотеку loom-py-rt. Репозиторий упаковывает исходные веса yl4579/StyleTTS2-LJSpeech в один файл GGUF; README указывает, что параметры не изменены. Модель предназначена для синтеза речи на английском языке. Она принимает идентификаторы фонем, а не обычный текст, поэтому перед запуском текст нужно преобразовать в фонемы подходящим инструментом. Лицензия — MIT, указанная по лицензии исходного проекта StyleTTS2.

810авг. 2026
textaudiomithugging-face
proxectonos
whisper-large-v3-turbo-gl-v1.0

Модель proxectonos/whisper-large-v3-turbo-gl-v1.0 разработана на основе openai/whisper-large-v3-turbo и дообучена для автоматического распознавания галисийской речи. Это плотная модель семейства Whisper с архитектурой WhisperForConditionalGeneration и 905,2 млн параметров; аудиофайлы для обучения приводились к частоте 16 кГц. Обучение использовало объединённые корпуса Common Voice v23, OpenSLR, FLEURS, FalAI и Transcrispeech. Модель предназначена для транскрибации аудио на галисийском языке, включая чистую дикторскую речь и полу spontaneous речь. В тестировании автор сообщает метрики WER и CER на отдельных корпусах и объединённой выборке; нормализация текста при оценке улучшила итоговые показатели. Модель специализируется на галисийском и не предназначена для многоязычного распознавания или перевода речи. Качество может снижаться на очень спонтанной речи и сильно зашумлённом аудио; на фрагментах с низким уровнем сигнала возможны галлюцинации. Репозиторий использует формат safetensors и распространяется по лицензии Apache 2.0.

790апр. 2026
textaudioapache-2.0hugging-face
yuriyvnv
whisper-tiny-mixed-pt

yuriyvnv выпустил дообученную на португальской речи модель Whisper-Tiny для автоматического распознавания речи. В обучении использованы данные Common Voice 17.0 и синтетические речевые данные, отфильтрованные по порогу качества q ≥ 0,5. Модель содержит 29,4 млн параметров и представлена в формате safetensors; лицензия — Apache-2.0. Модель предназначена для транскрибации аудио на португальском языке. На тесте Common Voice указана WER 30,11%; на тесте MLS — 47,25%, что хуже результата базовой Whisper-Tiny на этом наборе. Эксперимент показывает, что добавление синтетических примеров среднего и высокого качества дало лишь небольшой выигрыш на Common Voice и снизило качество переноса на другой корпус. Результаты стоит проверять на целевых аудио и домене перед практическим применением.

460июль 2025ctx1K
textaudioapache-2.0hugging-face
souba67
whisper-tiny-sundanese

souba67/whisper-tiny-sundanese — дообученная модель OpenAI Whisper tiny для распознавания сунданской речи. Она основана на openai/whisper-tiny, содержит 29,4 млн параметров и предназначена для транскрибации аудио; репозиторий включает ONNX-варианты для запуска в браузере через transformers.js. В метаданных указана лицензия Apache-2.0. На тестовой выборке чтения вслух из корпуса OpenSLR SLR44 авторы сообщают WER 10,6%, а на повторном прогоне — 10,44%. На отдельных записях с микрофона ноутбука WER составил 69,68%, что показывает сильную зависимость качества от условий записи и словаря. Опубликованный int8 ONNX-вариант уменьшает размер декодера примерно в четыре раза, но на проверенных клипах показал WER 11,61% и совпал с PyTorch-версией посимвольно в 76,7% случаев.

80авг. 2026ctx1K
textaudioapache-2.0hugging-face
atlithor
EmotiveIcelandic

EmotiveIcelandic — модель синтеза речи на базе Parler-TTS, разработанная и дообученная на эмоциональном исландском речевом корпусе talromur3_with_prompts. Она преобразует текст в речь, позволяя задавать естественным языком характеристики голоса и высказывания: высоту тона, монотонность, темп, качество звучания, реверберацию, эмоцию и её интенсивность. В корпусе представлены семь голосов, а данные размечены шестью эмоциональными классами: нейтральным, радостным, грустным, сердитым, удивлённым и доброжелательным детским обращением. Модель предназначена для управляемого синтеза исландской речи, например для озвучивания реплик с заданной эмоциональной окраской и темпом. Это дообученная мультиязычная архитектура Parler-TTS, но карточка описывает обучение исландской речи. Модель распространяется по лицензии CC BY 4.0. Качество синтеза за пределами исландского языка и размеченных голосов и эмоций карточкой не подтверждается.

860апр. 2025
textaudiocc-by-4.0hugging-face
lucadellalib
focalcodec_50hz_4k_causal

FocalCodec — причинный речевой кодек с частотой кодирования 50 Гц и одним кодбуком из 4096 кодов, разработанный Luca Della Libera. Модель основана на focal modulation и предназначена для низкобитрейтного кодирования речи с возможностью потоковой обработки. Чекпойнт обучен на Libri-Light и работает с речевым аудио с частотой 16 или 24 кГц. Модель принимает аудио и выдаёт аудио, закодированное и восстановленное кодеком; в репозитории опубликованы веса safetensors для PyTorch. Это дообученная версия microsoft/wavlm-large. Лицензия — Apache-2.0. README не сообщает о качестве восстановления, поддерживаемых языках речи или ограничениях по длительности входа.

6511сент. 2025
audioapache-2.0hugging-face
telecomadm1145
Kiseki-TTS

Kiseki-TTS — японская модель синтеза речи, разработанная telecomadm1145. Это encoder-decoder архитектура: Transformer-энкодер сочетает двунаправленное внимание и RoPE, а декодер использует Mamba2 с cross-attention. Модель предсказывает дискретные аудиокодовые токены с частотой 12,5 кадров в секунду; для преобразования их в waveform используется кодек Qwen3 TTS Tokenizer 12Hz. Модель предназначена прежде всего для синтеза японской речи из текста. Она также выполняет распознавание японской речи в текст: обе задачи обучались совместно. Декодирование Mamba2 имеет линейную сложность по длине последовательности и не требует KV-кэша. Модель дообучена на telecomadm1145/Kiseki-1.1-0.3B и распространяется по лицензии MIT. Обучение проводилось на японской ASMR-речи, поэтому голос и манера звучания смещены в сторону этой области; управления диктором и клонирования голоса нет. Качество генерации для фрагментов длиннее примерно 40 секунд не проверено. Распознавание речи является вспомогательной задачей и может уступать специализированным ASR-моделям; при синтезе возможны повторы или преждевременное завершение.

520авг. 2026ctx262.1K
textmithugging-face
facebook
mms-tts-chv

facebook/mms-tts-chv — модель синтеза речи на чувашском языке из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания чувашских текстов и приложений с синтезом речи. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; модель работает сквозным образом, а стохастический предиктор длительности позволяет варьировать ритм речи. При фиксированном seed можно повторно получить тот же речевой сигнал. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. README указывает, что для работы подходит библиотека Transformers версии 4.33 и новее.

640сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-dah

facebook/mms-tts-dah — модель синтеза речи на языке Gwahatike (dah), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на этом языке. Модель построена на архитектуре VITS: она объединяет текстовый энкодер на основе Transformer, потоковые слои и декодер, похожий на HiFi-GAN. Для вариативности ритма используется стохастический предиктор длительности; модель содержит около 3,5 млн параметров и доступна в форматах PyTorch и Safetensors. Для одинакового результата при повторной генерации требуется фиксированный seed, поскольку предиктор длительности работает стохастически. Модель выпущена под лицензией CC BY-NC 4.0, которая ограничивает использование некоммерческими условиями.

1200сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-ind

facebook/mms-tts-ind — модель синтеза индонезийской речи из текста, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она предназначена для озвучивания индонезийских текстов и доступна через библиотеку Transformers версии 4.33 и выше. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза речи: она преобразует текст в речевую аудиоволну, а стохастический предиктор длительности позволяет варьировать ритм произношения. Генерация недетерминирована; для повторения результата требуется фиксировать seed. Модель подходит для приложений озвучивания текста на индонезийском языке. Репозиторий содержит веса PyTorch и Safetensors. Лицензия CC BY-NC 4.0 требует указания авторства и не допускает коммерческое использование.

3.5K25сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-ipi

facebook/mms-tts-ipi — модель синтеза речи на языке ипили, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на ипили. Для каждого языка проекта MMS обучается отдельная модель VITS; эта версия содержит около 3,5 млн параметров и доступна через библиотеку Transformers версии 4.33 и выше. VITS объединяет вариационный автоэнкодер, потоковый модуль с текстовым энкодером на основе Transformer и декодер, построенный по типу HiFi-GAN. Стохастический предиктор длительности позволяет получать разные ритмические варианты произношения одного текста, поэтому генерация недетерминирована; для повторяемого результата требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

1030сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-kxf

facebook/mms-tts-kxf — модель синтеза речи на языке Kawyaw (kxf), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую волну и предназначена для озвучивания текста на этом языке. Это отдельный чекпойнт для одного языка из семейства MMS-TTS. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Вариативный предиктор длительности позволяет синтезировать речь с разным ритмом, поэтому при одинаковом тексте результаты могут отличаться; для повторяемой генерации требуется фиксировать seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

960сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-mbb

facebook/mms-tts-mbb — модель синтеза речи на западном букиднонском манобо, разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для создания озвучки на этом языке. Для каждого языка MMS-TTS обучается отдельный чекпойнт. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. В метаданных указано 3,5 млн параметров; модель доступна в форматах PyTorch и safetensors и поддерживается библиотекой Transformers версии 4.33 и выше. Предсказатель длительности стохастический, поэтому для повторения того же результата требуется фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

1060сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-pui

facebook/mms-tts-pui — модель синтеза речи на языке пуинаве (Puinave, код pui) из проекта Massively Multilingual Speech компании Meta. Она преобразует текст на пуинаве в речевую аудиоволну и предназначена для создания озвучивания на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров; для каждого языка проекта MMS обучается отдельный чекпойнт. Модель доступна через библиотеку Transformers версии 4.33 и новее. VITS объединяет вариационный автоэнкодер, потоковый модуль и декодер, формирующий аудиоволну; стохастический предиктор длительности позволяет получать варианты с разным ритмом. Генерация недетерминирована, поэтому для повторения результата нужно зафиксировать seed. Веса опубликованы в форматах PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

1060сент. 2023
textaudiocc-by-nc-4.0hugging-face

Задачи профессии

15 задач
139Классификация звуковых событий. — AI анализирует спектральные и временные признаки аудио и относит фрагменты к классам звуковых событий: речи, музыке, сигналам, ударам, шумам или другим заданным категориям. На выходе — метки с временными границами и уверенностью. Качество проверяют по размеченным записям, отдельно оценивая редкие классы, смешанные звуки и условия с сильным фоновым шумом.
140Обнаружение заданного звука в непрерывном аудиопотоке. — Механизм: AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение заданного звука в непрерывном аудиопотоке», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
141Определение источника и направления звука. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение источника и направления звука» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
142Разделение смеси на голос, музыку и отдельные инструменты. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: результат «Разделение смеси на голос, музыку и отдельные инструменты» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
143Удаление фонового шума и акустических артефактов. — Практическая реализация: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Входной контекст включает референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: преобразованный материал по задаче «Удаление фонового шума и акустических артефактов» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
144Восстановление повреждённой или неполной аудиозаписи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: преобразованный материал по задаче «Восстановление повреждённой или неполной аудиозаписи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
145Автоматическое выравнивание громкости и динамического диапазона. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. К исходным данным относятся аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Автоматическое выравнивание громкости и динамического диапазона» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
146Генерация музыки по жанру, настроению, структуре и ограничениям. — Для этой задачи система генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: редактируемый артефакт по задаче «Генерация музыки по жанру, настроению, структуре и ограничениям», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
147Генерация звуковых эффектов по текстовому описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Генерация звуковых эффектов по текстовому описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
148Создание аранжировки для заданной мелодии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: редактируемый артефакт по задаче «Создание аранжировки для заданной мелодии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
149Продолжение музыкального фрагмента в согласованном стиле. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: редактируемый артефакт по задаче «Продолжение музыкального фрагмента в согласованном стиле», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
150Транскрибирование музыки в ноты или MIDI. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Транскрибирование музыки в ноты или MIDI» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
151Определение темпа, тональности, аккордов и структуры композиции. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение темпа, тональности, аккордов и структуры композиции» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
152Сведение и предварительный мастеринг аудиоматериала. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: преобразованный материал по задаче «Сведение и предварительный мастеринг аудиоматериала» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
153Адаптация длительности музыки под видео без резкого обрыва. — AI строит профиль текущих потребностей и адаптирует содержание, порядок или параметры взаимодействия под конкретного человека. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: адаптированный вариант для «Адаптация длительности музыки под видео без резкого обрыва» с указанием контекста и факторов, определивших персонализацию. Надёжность оценивают по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче. <a id="section-i-10"></a>

0 моделей