/ Профессии
Универсальные способности и операции

I.9Аудио и музыка

В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
15
в этой профессии
Подходящих моделей
4 835
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

4 835 моделей
Загрузки
Лайки
Дата выхода
451–480 из 4 835
onnx-community
Supertonic-TTS-ONNX

Supertonic-TTS-ONNX — модель синтеза речи, представленная сообществом onnx-community на основе Supertone/supertonic. Она предназначена для преобразования английского текста в аудио и может использоваться в приложениях на JavaScript через Transformers.js или напрямую через ONNX Runtime, в том числе для пакетной генерации нескольких аудиофайлов. Модель состоит из ONNX-компонентов для кодирования текста, итеративного устранения шума в латентном представлении и декодирования голоса. В конфигурации указана частота дискретизации 44,1 кГц, латентная размерность 24, размерность стиля 128 и коэффициент сжатия фрагментов 6. Для выбора голоса используются предварительно сохранённые векторы стиля; доступны параметры скорости речи и числа шагов инференса. Увеличение числа шагов обычно повышает качество, но может замедлять генерацию. README указывает английский язык и не сообщает о поддержке других языков, точном числе параметров или размере модели. К сильным сторонам относятся формат ONNX, возможность локального запуска через ONNX Runtime, интеграция с Transformers.js и настройка голоса, скорости и качества синтеза. Ограничения включают заявленную поддержку только английского языка, зависимость от доступных голосовых эмбеддингов и компромисс между скоростью и качеством при выборе числа шагов инференса. Модель распространяется по лицензии OpenRAIL.

1.3K15нояб. 2025ctx1K
textaudioopenrailhugging-face
pnnbao-ump
VieNeu-TTS-v2

VieNeu-TTS-v2 — модель синтеза речи, разработанная Phạm Nguyễn Ngọc Bảo и представленная проектом VieNeu-TTS. Она предназначена для генерации естественной речи на вьетнамском и английском языках, включая двуязычное переключение языков внутри одной фразы, создание подкастов, длинных аудиоматериалов, диалогов с несколькими говорящими, голосовых интерфейсов и чат-ботов в реальном времени. Основная версия VieNeu-TTS-v2 имеет размер 0,3 млрд параметров и ориентирована на высококачественную двуязычную речь и длинные тексты. Модель поддерживает эмоциональные режимы natural и storytelling, пресетные голоса и zero-shot voice cloning по аудиозаписи длительностью 3–5 секунд. В экосистему также входит VieNeu-TTS-v2-Turbo, оптимизированная для минимальной задержки и работы на CPU с использованием GGUF. Для удалённого запуска предусмотрена интеграция с LMDeploy; локальная работа ориентирована преимущественно на GPU. К сильным сторонам относятся естественное звучание, поддержка code-switching между английским и вьетнамским, многоголосые сценарии и быстрое клонирование голоса. README не содержит подробных сведений о внутренней архитектуре, максимальной длине контекста, точных требованиях к оборудованию или ограничениях качества клонирования. Модель распространяется по лицензии Apache-2.0; в описании также указан обучающий набор VieNeu-TTS-10k-ENVI.

44K30май 2026ctx4.1K
textapache-2.0hugging-face
frappuccino
vits2_ru_natasha

Это русскоязычная модель синтеза речи на архитектуре VITS2, разработанной Jungil Kong, Jihoon Park, Beomjeong Kim, Jeongmin Kim, Dohee Kong и Sangjin Kim и опубликованной LangSwap.app. Модель обучена на наборе Natasha и преобразует русский текст в речь; для работы предназначена вместе с реализацией VITS2 PyTorch. Репозиторий также содержит формат ONNX. VITS2 — одноэтапная система синтеза речи с состязательным обучением; в описании архитектуры упомянуты текстовый энкодер с условием на диктора, энкодер мел-спектрограмм и блоки Transformer в нормализующем потоке. Модель подходит для голосовых помощников, аудиокниг и озвучивания видео и анимации. Указанная лицензия — MIT.

4811авг. 2023
textaudiomithugging-face
kjanh
ViVoxCPM-1.5

ViVoxCPM-1.5 — модель синтеза речи из текста, созданная дообучением VoxCPM-1.5. Она предназначена для генерации речи на вьетнамском и английском языках, поддерживает клонирование голоса по короткому образцу и ввод фонем или IPA. Автор сообщает об обучении на примерно 1200 часах вьетнамской и английской аудиозаписи с полным дообучением базовой модели. Модель подходит для озвучивания текста и создания речи с заданным голосом. Базовая VoxCPM-1.5 ориентирована на выразительный синтез и клонирование голоса; карточка ViVoxCPM-1.5 отдельно заявляет о естественном произношении на двух языках и стабильном клонировании по короткому образцу. Модель опубликована в формате safetensors под лицензией Apache-2.0. Автор предупреждает, что модель предназначена для исследований, испытаний и разработки, и не рекомендует коммерческое или производственное применение без тщательной проверки. Клонирование голоса может создавать риск имитации личности; для использования чужого голоса необходимо согласие, а сгенерированное аудио следует обозначать как созданное ИИ.

115янв. 2026
textaudioapache-2.0hugging-face
DennisHuang648
VoxCPM2-GGUF

VoxCPM2-GGUF — набор весов модели VoxCPM2, разработанной openbmb и преобразованной в формат GGUF для проекта llama.cpp-omni. Модель предназначена для синтеза речи из текста (TTS) и zero-shot клонирования голоса по эталонной аудиозаписи, включая режим с транскрипцией эталона. Поддерживаются китайский и английский языки, а результатом является монофонический звук с частотой дискретизации 48 кГц. Набор состоит из BaseLM и акустического компонента. BaseLM имеет 28 слоёв и размерность эмбеддингов 2048; доступны версия F16 размером около 3 ГБ и квантованная Q8_0 размером около 1,6 ГБ. Акустический стек F16 занимает около 1,7 ГБ и включает ResidualLM, FSQ, LocEnc/LocDiT CFM и AudioVAE. Запуск возможен нативно на CPU, Metal, CUDA и Vulkan без PyTorch, через llama.cpp-omni; для работы требуются один файл BaseLM и акустический файл. Версия Q8_0 рекомендована как более компактная и обеспечивающая сопоставимое качество с небольшим приростом скорости. Сильными сторонами являются переносимый GGUF-формат, поддержка CPU и различных GPU-бэкендов, синтез речи, клонирование голоса и управление характеристиками голоса через текстовые инструкции. Ограничения включают необходимость использовать специализированный движок llama.cpp-omni и одновременно загружать два компонента; сведения о размере контекста, производительности и полном наборе поддерживаемых языков в README не указаны. Указана лицензия Apache-2.0, однако для производных весов также действуют исходные условия openbmb/VoxCPM2.

12K15июнь 2026
textaudioapache-2.0hugging-face
canopylabs
3b-ko-ft-research_release

Canopy Labs выпустила Orpheus 3B Ko Finetuned — корейскую версию модели синтеза речи Orpheus TTS на базе Llama. Она преобразует текст в речь и рассчитана на естественную интонацию, выразительную подачу и потоковую генерацию с низкой задержкой. В README также заявлены клонирование голоса без предварительного дообучения и управление эмоциями и интонацией с помощью тегов. Модель опубликована в формате safetensors для Transformers и распространяется по лицензии Apache-2.0. В метаданных указаны базовые модели canopylabs/orpheus-3b-0.1-pretrained и meta-llama/Llama-3.2-3B-Instruct, а происхождение отмечено как merge. Параметры модели и длина контекста в предоставленных данных не указаны.

7320апр. 2025
textaudioapache-2.0hugging-face
roman220220
ACE-Step1.5-sft-MLX-8bit

ACE-Step 1.5 SFT for MLX 8-bit — музыкальная генеративная модель команды ACE-Step, преобразованная для запуска на компьютерах Apple Silicon. Она создаёт стереомузыку с вокалом и разборчивым пением по текстовому описанию стиля; базовая модель также поддерживает управление стилем и редактирование аудио. Архитектура ACE-Step — плотная модель с 1,3 млрд параметров, контекст составляет 32 768 токенов. Репозиторий содержит 8-битные веса DiT и кодировщиков условий; README указывает размер загрузки около 5,6 ГБ вместе с текстовым кодировщиком Qwen3-Embedding и VAE, а также генерацию аудио с частотой 48 кГц в стерео. В описанном автором сравнении 8-битная версия близка к bf16 по разборчивости текста песен и требует меньше пиковой памяти, но медленнее 4-битного варианта. README предупреждает, что стандартные настройки mlx-audio могут приводить к неудовлетворительному звучанию; заявленные результаты относятся к собственному процессу генерации автора и ограниченной проверке на 12 треках. Лицензия — MIT.

4140сент. 2026ctx32.8K
textaudiomithugging-face
roman220220
ACE-Step1.5-sft-MLX-bf16

ACE-Step1.5-sft-MLX-bf16 — версия модели ACE-Step v1.5 SFT, опубликованная roman220220 и предназначенная для генерации музыки по текстовому описанию на устройствах Apple Silicon. Это плотная модель семейства ACE-Step с 1,3 млрд параметров; репозиторий содержит веса safetensors в формате MLX и основан на ACE-Step/acestep-v15-sft. Модель принимает текстовый запрос и генерирует аудио, в том числе песни с вокалом и заданными словами. Автор README сравнивает её с turbo-версией на небольшом наборе поп-, рок-композиций и баллад: SFT лучше передаёт запрошенные слова, тогда как turbo звучит более полно и завершённо. Замеры также показывают различия качества и потребления памяти между точностями вычислений. README предупреждает, что стандартные настройки mlx-audio для указанной ветки могут давать неудовлетворительный звук. Лицензия модели — MIT.

4030сент. 2026ctx32.8K
textaudiomithugging-face
Yue-Wang
BatonTTS-1.7B

BatonTTS — модель синтеза речи от авторов проекта BatonVoice, созданная для генерации речи с управлением акустическими характеристиками на уровне слов и сегментов. Это плотная авторегрессионная модель на 1,7 млрд параметров с архитектурой Qwen3 и речевым токенизатором CosyVoice2; модель представлена в формате safetensors и рассчитана на использование через Transformers. Контекст составляет 40 960 токенов. Модель принимает текстовый план признаков, задающий, например, высоту и изменение тона, громкость и темп, и генерирует аудио. Для выразительной речи авторы рекомендуют сначала поручить более мощной инструкционной LLM составить такой план, затем при необходимости отредактировать его и передать BatonTTS. Доступен и режим только с текстом, но авторы предупреждают, что небольшая модель может создавать маловыразительные планы и монотонную речь. Модель разработана как специализированный компонент фреймворка управляемого синтеза BatonVoice. Репозиторий использует лицензию Apache-2.0. В доступной карточке не описаны поддерживаемые языки речи и детальные требования к входному плану.

4413сент. 2025ctx41K
textapache-2.0hugging-face
mlx-community
Chatterbox-TTS-4bit

mlx-community/Chatterbox-TTS-4bit — преобразованная в формат MLX версия модели ResembleAI/chatterbox, опубликованная сообществом mlx-community. Она предназначена для синтеза речи из текста и рассчитана на запуск через библиотеку mlx-audio-plus; для работы также нужны веса S3TokenizerV2, которые загружаются отдельно. Базовая Chatterbox — многоязычная модель Resemble AI для выразительного синтеза речи и клонирования голоса по аудиообразцу. В доступных сведениях не описаны отдельные языки, размер модели, контекст или характеристики именно этой сборки. В репозитории указаны веса safetensors и преобразование для MLX; обозначение 4bit относится к варианту модели. Лицензия в предоставленных данных не указана. Для запуска требуется mlx-audio-plus, а также S3TokenizerV2; применимость клонирования голоса к этой сборке отдельно не подтверждена.

7613дек. 2025
textaudiohugging-face
mlx-community
Chatterbox-TTS-fp16

mlx-community/Chatterbox-TTS-fp16 — версия модели Chatterbox от Resemble AI, подготовленная сообществом mlx-community в формате MLX с помощью mlx-audio-plus 0.1.0. Модель предназначена для синтеза речи из текста; базовая модель также поддерживает клонирование голоса по аудиообразцу и многоязычную выразительную речь. Репозиторий содержит веса safetensors и требует веса S3TokenizerV2 из mlx-community/S3TokenizerV2, которые загружаются автоматически. Лицензия в предоставленных данных не указана.

8880дек. 2025
textaudiohugging-face
mlx-community
chatterbox-turbo-fp16

mlx-community/chatterbox-turbo-fp16 — версия модели синтеза речи Chatterbox Turbo, преобразованная из ResembleAI/chatterbox-turbo в формат MLX сообществом mlx-community с помощью mlx-audio 0.2.8. Модель принимает текст и генерирует речь; карточка также описывает клонирование голоса и управление выразительностью с помощью событийных тегов в тексте, например [sigh] и [clear throat]. Репозиторий предназначен для запуска через библиотеку mlx-audio и содержит веса в формате safetensors. Модель ориентирована на англоязычный синтез речи и клонирование голоса. Лицензия — Apache-2.0. В доступной карточке не приведены сведения о размере модели, длине контекста или качестве синтеза.

1.9K23дек. 2025ctx1K
textaudioapache-2.0hugging-face
unsloth
csm-1b

unsloth/csm-1b — версия модели генерации речи CSM 1B от Sesame, подготовленная Unsloth как дообученный вариант базовой sesame/csm-1b. Она преобразует текст и аудиоконтекст в аудиокоды RVQ: архитектура сочетает Llama-backbone с компактным аудиодекодером Mimi. Модель содержит 977,3 млн параметров, использует формат safetensors и имеет контекст длиной 2048 токенов. Модель предназначена для синтеза речи из текста и может генерировать разные голоса; конкретный голос отдельно не настраивался. Основной язык — английский. Авторы отмечают некоторую способность работать с другими языками, но ожидают низкое качество. Это генератор аудио, а не универсальная разговорная модель: она не генерирует текст, поэтому для ведения диалога нужен отдельный LLM. Лицензия — Apache-2.0.

7.1K23май 2025ctx2K
textaudioapache-2.0hugging-face
dots-studio
dots.tts-mf-2steps-stts

dots.tts-mf-2steps — самостоятельный артефакт dots.tts для синтеза речи, разработанный dots.studio. Он предназначен для инференса с фиксированным двухшаговым режимом double-streaming: речь генерируется по тексту с потоковой выдачей аудио. Модель относится к семейству dots_tts и использует плотную архитектуру DotsTTSForConditionalGeneration. Репозиторий содержит веса в формате safetensors; для работы предусмотрена библиотека dots_tts. Лицензия — Apache-2.0. Карточка описывает только фиксированный двухшаговый режим double-streaming и не заявляет поддержку других настроек сэмплирования или потоковой выдачи. Высокоточное клонирование голоса допускается только с разрешения и согласия владельца голоса; запрещено использовать его для имитации личности, мошенничества или дезинформации.

1224авг. 2026ctx131.1K
textaudioapache-2.0hugging-face
aufklarer
Fish-Audio-S2-Pro-MLX-fp16

Fish-Audio-S2-Pro-MLX-fp16 — экспорт модели fishaudio/s2-pro в формате MLX fp16 safetensors для оценки и реализации запуска на Apple Silicon. Экспорт сохраняет исходные имена ключей; карточка не обещает совместимость с готовыми средами запуска и отмечает, что это не готовый чекпойнт для Transformers. Модель предназначена для синтеза речи по тексту. В ней поддержаны встроенные текстовые маркеры управления просодией и эмоциями, включая паузы, ударение, смех, шёпот, крик, радость, гнев, удивление и грусть. В метаданных перечислены хинди, английский, китайский, японский, корейский, испанский, португальский, арабский, русский, французский и немецкий; базовая модель описана как многоязычная. Это экспорт базовой модели fishaudio/s2-pro, а не независимая архитектурная разработка. Публичные веса предназначены для исследований и некоммерческого использования; для коммерческого применения нужна отдельная лицензия. Запуск требует подходящего порта MLX, а совместимость с конкретной средой из карточки не следует.

751июнь 2026ctx131.1K
textaudiootherhugging-face
g-group-ai-lab
gwen-tts-0.6B

Gwen-TTS 0.6B — дообученная модель синтеза речи от g-group-ai-lab на базе Qwen/Qwen3-TTS-12Hz-0.6B-Base. Она преобразует текст в речь и поддерживает клонирование голоса по нескольким секундам аудиопримера. Модель построена на архитектуре Qwen3-TTS и распространяется в формате safetensors; для работы указана библиотека Transformers. Модель в первую очередь предназначена для естественного и выразительного синтеза вьетнамской речи. В README указано, что она дообучена на примерно 1 000 часах вьетнамских аудиоданных, собранных с TikTok. Также заявлена поддержка китайского, английского, японского, корейского, французского, немецкого, итальянского, португальского, русского и испанского языков. Для других языков качество может отличаться от базовой Qwen3-TTS; перед синтезом рекомендуется нормализовать числа, символы и сокращения, а длинный текст разбивать на фрагменты. Лицензия модели — MIT.

4.9K28апр. 2026ctx131.1K
textaudiomithugging-face
algerian-nlp
Hadra-TTS-f5

Hadra-TTS-f5 — синтезатор речи для преобразования текста на алжирской дарже в речь, созданный коллективом algerian-nlp. Это дообучение IbrahimSalah/Arabic-F5-TTS-v2 на трёх коллекциях алжирской речи OddAdmix: разговорных подкастах, выразительных рассказах и фольклорных повествованиях. Для синтеза используется F5-TTS с архитектурой Flow-Matching DiT; модель работает через библиотеку f5-tts и принимает текст вместе с референсным аудио и его расшифровкой. Модель предназначена для озвучивания рассказов, дубляжа, голосовых помощников и чтения текста для доступности. Обучающий материал включает около 69 тысяч отфильтрованных высказываний общей длительностью примерно 399 часов. Модель рассчитана на алжирскую даржу; качество французских вставок лучше при использовании латинского письма. Качество синтеза не оценивалось на тестовом наборе: нет опубликованных показателей разборчивости, сходства голоса или оценок слушателей. Данные охватывают ограниченное число голосов и три речевых домена, поэтому результат может отражать характеристики записанных дикторов и быть менее надёжным для иных региональных вариантов и условий. Лицензия — Apache-2.0.

4620сент. 2026
textaudioapache-2.0hugging-face
onnx-community
Kokoro-82M-v1.0-ONNX

Kokoro-82M-v1.0-ONNX — компактная модель синтеза речи, опубликованная сообществом onnx-community на основе Kokoro-82M от hexgrad. Она преобразует текст в аудио и предназначена для озвучивания приложений, голосовых интерфейсов, чтения текстов и других сценариев text-to-speech. В карточке указана поддержка английского языка. Модель содержит около 82 миллионов параметров и распространяется в формате ONNX, что позволяет использовать различные варианты точности и квантования, включая FP32, FP16, Q8 и Q4. Доступно несколько голосов с американским английским произношением, включая женские и мужские варианты. Максимальная длина входа составляет 512 токенов с учетом специальных токенов; пример вывода использует частоту дискретизации 24 кГц. Скорость речи можно настраивать, а стиль задается выбранным голосом. К сильным сторонам относятся небольшой размер, наличие нескольких голосов и возможность запуска через ONNX Runtime или JavaScript-библиотеку kokoro-js. Ограничения включают заявленную поддержку только английского языка, необходимость преобразования текста в фонемы при низкоуровневом использовании и ограничение длины контекста. Модель распространяется по лицензии Apache 2.0.

692K273февр. 2025ctx512
textaudioapache-2.0hugging-face
simonfxr
kokoro.cpp-GGUF

simonfxr/kokoro.cpp-GGUF — это набор конвертированных GGUF-моделей Kokoro-82M v1.0, разработанный для standalone C/C++ runtime kokoro.cpp на базе GGML. Исходная модель создана Hexgrad и предназначена для синтеза речи из текста. Для генерации требуются файл модели и отдельный файл голоса; в набор входят эталонная версия F16, валидированная версия Q8_0 и все 54 официальных голосовых пакета. Модель поддерживает американский и британский английский, испанский, французский, хинди, итальянский, японский, бразильский португальский и китайский мандаринский язык. Доступны CPU- и GPU-сценарии, включая backend’ы Vulkan, Metal и CUDA при соответствующей сборке kokoro.cpp. Синтез выполняется с частотой 24 кГц в моно, а максимальный вход ограничен 510 фонемными токенами. Размер F16-файла составляет около 156,14 MiB, Q8_0 — около 134,78 MiB; голосовые файлы используют F32 и занимают примерно 510 KiB каждый. Сильными сторонами являются компактность, воспроизводимая конвертация, широкий выбор официальных голосов, поддержка нескольких языков и подтверждённая близость Q8_0 к F16. F16 рекомендуется для максимальной точности. Ограничения связаны с различиями фонемизации через espeak-ng по сравнению с официальным Python-пакетом, неполным покрытием японских кандзи, отсутствием тоновых номеров мандаринского языка в словаре и неодинаковым качеством голосов между языками. Модель распространяется по лицензии Apache-2.0.

2.3K1июль 2026
textaudioapache-2.0hugging-face
mmwillet2
Kokoro_GGUF

Kokoro_GGUF — набор GGUF-файлов модели синтеза речи Kokoro, разработанной командой hexgrad; репозиторий mmwillet2 предназначен для хранения вариантов, совместимых с TTS.cpp. Модель преобразует текст в аудио и ориентирована на локальное использование в приложениях и системах text-to-speech. Доступны два варианта обработки текста: с использованием espeak для фонемизации и с нативной фонемизацией TTS. Файлы представлены в форматах с 32-битной плавающей точкой, а также с квантованием Q4_0, Q5_0 и Q8_0 и с 16-битной плавающей точкой. Базовая модель — hexgrad/Kokoro-82M; её размер составляет около 82 миллионов параметров. README не указывает поддерживаемые языки, набор голосов, максимальный контекст или дополнительные модальности. Сильные стороны модели — наличие нескольких вариантов точности и квантования, позволяющих выбирать между качеством, требованиями к памяти и производительностью, а также совместимость с TTS.cpp. Ограничения и требования к аппаратному обеспечению в README не описаны. Модель распространяется по лицензии MIT.

2.0K29апр. 2025
textaudiomithugging-face
HKUSTAudio
Llasa-1B-Multilingual

Llasa-1B-Multilingual — многоязычная модель синтеза речи, разработанная HKUST Audio на основе дообученной Meta Llama 3.2 1B Instruct. Она преобразует текст в речь и использует токенизатор Llama с BPE, чтобы обрабатывать разные языки без отдельных систем преобразования графем в фонемы. Для синтеза требуется XCodec2. Модель обучалась на данных MLS для английского, французского, немецкого, нидерландского, испанского, итальянского, португальского и польского языков, а также Emilia для английского, китайского, немецкого, французского, японского и корейского. В сумме в карточке заявлена поддержка 11 языков; ограниченность обучающих данных может снижать качество для некоторых из них. Авторы также рассматривают модель как основу для дообучения под отдельный язык. Архитектура — плотная LlamaForCausalLM, около 1,4 млрд параметров; нативная длина контекста — 131 072 токена. Лицензия CC BY-NC 4.0 запрещает бесплатное коммерческое использование.

2.0K44февр. 2025ctx131.1K
textcc-by-nc-4.0hugging-face
google
lyria-3-pro-preview

Google Lyria 3 Pro Preview — модель генерации музыки из семейства Lyria 3, доступная через Gemini API. Она предназначена для создания музыкальных композиций, включая полноформатные песни. В README заявлено высокое качество аудио и частота дискретизации 48 кГц; стоимость полноформатной песни указана как 0,08 доллара США. В доступных данных не описаны принимаемые моделью входы, поддерживаемые языки и условия лицензии. Метаданные каталога относят модель к задаче image-text-to-text, однако README указывает на генерацию музыки; поэтому задача каталога не подтверждает основное назначение модели.

00март 2026ctx1M
textimageaudioopenrouter
ASLP-lab
MeanVC

MeanVC — система преобразования голоса, разработанная исследовательской группой ASLP-lab. Она переносит тембр целевого говорящего на речь исходного говорящего, сохраняя произносимое содержание. Модель поддерживает потоковую обработку с чанками для конвертации в реальном времени и пакетную обработку аудиофайлов; для выбора целевого голоса используется аудиообразец, переобучение под нового говорящего не требуется. В основе лежит диффузионный трансформер (DiT) с авторегрессионным пошаговым по чанкам денойзингом и mean flows, что позволяет выполнять генерацию за один шаг. Репозиторий содержит веса PyTorch в формате safetensors; для запуска системы также нужны отдельные предобученные компоненты, включая вокодер, ASR и модель верификации говорящего. Поддерживаемые языки по карточке — английский и китайский. Модель распространяется по лицензии Apache-2.0.

6526нояб. 2025
audioapache-2.0hugging-face
eugenehp
metavoice

Это конвертированная раскладка чекпойнта MetaVoice-1B, опубликованная eugenehp для загрузки через RLX. Репозиторий содержит компоненты модели синтеза речи, включая стадии модели, энкодер говорящего, токенизатор и пример аудиофайла; доступны веса Safetensors и GGUF F16. Модель предназначена для преобразования текста в речь с использованием рантайма RLX. Репозиторий описывает конвертацию исходного чекпойнта, а не новое дообучение. Лицензия — Apache-2.0. README не сообщает языки синтеза или длину контекста, поэтому эти характеристики не указаны.

280июль 2026
textaudioapache-2.0hugging-face
ChrisColeTech
minimax-music3-GGUF

MiniMax Music 3 GGUF — конвертированная в формат GGUF версия модели MiniMax Music 3, опубликованная ChrisColeTech на основе MiniMaxAI/MiniMax-Music3. Модель предназначена для генерации полноценных музыкальных композиций с вокалом по текстовому описанию музыки и тексту песни. В состав входят авторегрессионный текстовый энкодер, flow-matching DiT-трансформер и Audio VAE. Указаны квантованные компоненты GGUF: текстовый энкодер размером около 8,88 ГБ и трансформер около 2,70 ГБ; Audio VAE занимает около 217 МБ. Модель генерирует стерео-аудио с частотой 44,1 кГц и длительностью до примерно пяти минут. Поддерживаются описания жанра, темпа, тональности, настроения, вокала и аранжировки, а также структурные теги вроде intro, verse и chorus. Языки и точный размер исходной модели не указаны. Модель подходит для создания песен в различных жанрах, включая synth-pop и pop-punk, с заданными характеристиками вокала, инструментовки и продакшна. К сильным сторонам относятся генерация вокальных композиций, управление музыкальными параметрами и возможность локального запуска через ComfyUI с обновлённым GGUF Loader. Ограничения включают необходимость явного описания вокала, поддержку только перечисленных структурных тегов и заметное время генерации даже на RTX 5090; рекомендуемая длительность ограничена 300 секундами. Лицензия указана как other, без дополнительных условий в README.

1.3K13авг. 2026
textaudiootherhugging-face
Mungert
MiraTTS-GGUF

MiraTTS-GGUF — это GGUF-версия модели синтеза речи MiraTTS, подготовленная пользователем или организацией Mungert с использованием llama.cpp. Исходная модель разработана для проекта MiraTTS, связанного с репозиторием Yatharth Sharma (ysharma3501). Модель предназначена для преобразования текста в речь и ориентирована на создание естественного и разборчивого аудио на английском языке. Заявленные характеристики MiraTTS включают генерацию аудио с частотой дискретизации 48 кГц, скорость до 100× реального времени при использовании Lmdeploy и пакетной обработки, задержку от 100 мс и работу примерно в пределах 6 ГБ видеопамяти. Карточка не указывает точную архитектуру, количество параметров, размер контекстного окна, поддерживаемые варианты голосов или дополнительные модальности. GGUF-файлы были созданы с помощью llama.cpp; для некоторых слоёв применялось повышение точности квантования, что может улучшать качество при низкой разрядности, но увеличивает размер файлов. Сильными сторонами модели являются высокая скорость, низкая задержка, заявленное качество 48-кГц аудио и относительно умеренные требования к памяти. Ограничения включают отсутствие подробных данных о качестве на разных типах текста, голосах и языках, а также возможную зависимость производительности от выбранного варианта квантования и используемого программного обеспечения. Модель распространяется по лицензии CC BY-NC-SA 4.0, которая предусматривает указание авторства, запрещает коммерческое использование и требует распространения производных материалов на тех же условиях.

1.5K0дек. 2025
textaudiocc-by-nc-sa-4.0hugging-face
VIZINTZOR
MMS-TTS-THAI-FEMALEV1

VIZINTZOR/MMS-TTS-THAI-FEMALEV1 — модель синтеза речи VITS, разработанная автором репозитория на основе дообучения с использованием записей голоса из Play.ht. Она преобразует текст на тайском языке в речь женским голосом. В метаданных указано 3,6 млн параметров; веса представлены в формате safetensors. Модель предназначена для генерации тайской речи на локальном компьютере. README также упоминает возможность самостоятельно обучать голосовую модель через Google Colab. Лицензия в предоставленных данных не указана.

602янв. 2025
textaudiohugging-face
ilintar
moss-tts-local-gguf

MOSS-TTS-Local-Transformer-v1.5 — GGUF — это локальная модель синтеза речи и клонирования голоса, разработанная на основе моделей OpenMOSS-Team и преобразованная в формат GGUF для работы с автономным runtime openmoss на C++/GGML. Модель предназначена для генерации речи по тексту и озвучивания текста голосом, заданным через аудиореференс. Модель использует backbone на базе Qwen3-4B со скрытым размером 2560 и локальный однослойный transformer для обработки аудиокодов. Она работает совместно с MOSS-Audio-Tokenizer-v2, поддерживает 12 кодбуков с частотой кадров 12,5 Гц и генерирует стереозвук с частотой дискретизации 48 кГц. Заявлены китайский и английский языки. Квантованный вариант Q8_0 занимает около 4,65 ГБ, а дополнительный файл с аудиоэмбеддингами и компонентами кодека — около 4,46 ГБ; оба файла необходимы для работы. К сильным сторонам относятся локальный запуск с поддержкой CPU, CUDA и Vulkan, высокая частота дискретизации, клонирование голоса и проверенная соответствующая исходному тексту разборчивость, включая длинные аудиофрагменты. При этом сходство с голосом при клонировании проверялось лишь выборочно и не подтверждено строгими измерениями. Для использования требуется совместимый runtime openmoss и наличие обоих GGUF-файлов. Модель распространяется по лицензии Apache-2.0.

1.1K1июль 2026
textaudioapache-2.0hugging-face
christopherthompson81
MOSS-TTS-v1.5-GGUF

MOSS-TTS-v1.5-GGUF — это набор самодостаточных моделей в формате GGUF для библиотеки audio.cpp, основанный на MOSS-TTS-v1.5 и аудиокодеке MOSS-Audio-Tokenizer от OpenMOSS-Team. Пакеты подготовлены пользователем christopherthompson81 и включают 8B backbone с delay-pattern, кодек с encoder и decoder, токенизатор и спецификацию модели. Поддерживаются английский и китайский языки. Модель предназначена для синтеза речи из текста и клонирования голоса по короткой эталонной записи. Эталон автоматически преобразуется в монофонический сигнал с частотой 24 кГц. Доступны варианты bf16 размером 20,5 ГБ, q8_0 размером 13,2 ГБ и q4_k размером 9,3 ГБ; кодек во всех вариантах сохраняется в f16. Клонирование голоса работает хорошо, поддерживаются длинные тексты и управление длительностью через бюджет токенов. Для практического использования рекомендуется GPU с CUDA: на RTX 3090 варианты q4_k и q8_0 показывают RTF около 0,69–0,84, а пиковое потребление видеопамяти при клонировании составляет примерно 14,1 и 17,9 ГиБ соответственно. На CPU выполнение примерно в 25 раз медленнее реального времени. Вариант q4_k экономичнее по памяти, но может допускать ошибки в словах; q8_0 точнее. Вариант bf16 не помещается в 24 ГиБ при клонировании. Инструкции с описанием голоса соблюдаются ненадёжно, поэтому для важного результата лучше использовать эталонную запись. Лицензия Apache-2.0.

50K0сент. 2026
textaudioapache-2.0hugging-face
OpenMOSS-Team
MOSS-VoiceGenerator

MOSS-VoiceGenerator — открытая модель генерации речи из семейства MOSS-TTS, разработанного MOSI.AI и командой OpenMOSS. Она создаёт речь с заданным тембром по свободному текстовому описанию голоса и не требует образца аудио. Текст для синтеза и инструкция о голосе, стиле или эмоции совместно подаются на вход модели архитектуры MossTTSDelay. Модель предназначена для озвучивания аудиокниг, дубляжа игровых персонажей, ролевых агентов и разговорных помощников. Она позволяет задавать индивидуальные голоса и управлять выразительностью речи; заявлена поддержка китайского и английского языков. Может использоваться самостоятельно или как слой разработки голоса для других систем синтеза речи. В карточке модели размер не указан. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. Заявления о естественности и выразительности приведены разработчиком и не сопровождаются в доступных данных независимыми оценками качества.

27K51февр. 2026ctx131.1K
textaudioapache-2.0hugging-face

Задачи профессии

15 задач
139Классификация звуковых событий. — AI анализирует спектральные и временные признаки аудио и относит фрагменты к классам звуковых событий: речи, музыке, сигналам, ударам, шумам или другим заданным категориям. На выходе — метки с временными границами и уверенностью. Качество проверяют по размеченным записям, отдельно оценивая редкие классы, смешанные звуки и условия с сильным фоновым шумом.
140Обнаружение заданного звука в непрерывном аудиопотоке. — Механизм: AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение заданного звука в непрерывном аудиопотоке», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
141Определение источника и направления звука. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение источника и направления звука» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
142Разделение смеси на голос, музыку и отдельные инструменты. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: результат «Разделение смеси на голос, музыку и отдельные инструменты» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
143Удаление фонового шума и акустических артефактов. — Практическая реализация: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Входной контекст включает референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: преобразованный материал по задаче «Удаление фонового шума и акустических артефактов» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
144Восстановление повреждённой или неполной аудиозаписи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: преобразованный материал по задаче «Восстановление повреждённой или неполной аудиозаписи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
145Автоматическое выравнивание громкости и динамического диапазона. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. К исходным данным относятся аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Автоматическое выравнивание громкости и динамического диапазона» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
146Генерация музыки по жанру, настроению, структуре и ограничениям. — Для этой задачи система генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: редактируемый артефакт по задаче «Генерация музыки по жанру, настроению, структуре и ограничениям», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
147Генерация звуковых эффектов по текстовому описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Генерация звуковых эффектов по текстовому описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
148Создание аранжировки для заданной мелодии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: редактируемый артефакт по задаче «Создание аранжировки для заданной мелодии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
149Продолжение музыкального фрагмента в согласованном стиле. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: редактируемый артефакт по задаче «Продолжение музыкального фрагмента в согласованном стиле», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
150Транскрибирование музыки в ноты или MIDI. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Транскрибирование музыки в ноты или MIDI» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
151Определение темпа, тональности, аккордов и структуры композиции. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение темпа, тональности, аккордов и структуры композиции» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
152Сведение и предварительный мастеринг аудиоматериала. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: преобразованный материал по задаче «Сведение и предварительный мастеринг аудиоматериала» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
153Адаптация длительности музыки под видео без резкого обрыва. — AI строит профиль текущих потребностей и адаптирует содержание, порядок или параметры взаимодействия под конкретного человека. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: адаптированный вариант для «Адаптация длительности музыки под видео без резкого обрыва» с указанием контекста и факторов, определивших персонализацию. Надёжность оценивают по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче. <a id="section-i-10"></a>

0 моделей