/ Профессии
Универсальные способности и операции

I.9Аудио и музыка

В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
15
в этой профессии
Подходящих моделей
4 835
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

4 835 моделей
Загрузки
Лайки
Дата выхода
1–30 из 4 835
mispeech
dasheng-denoiser

Dasheng Denoiser — модель для улучшения речи, связанная с работой Efficient Speech Enhancement via Embeddings from Pre-trained Generative Audioencoders, представленной на Interspeech 2025. Репозиторий предоставляет официальный код инференса PyTorch; модель также доступна через Transformers. Модель принимает аудио и предназначена для подавления шума и повышения разборчивости речи в аудиозаписях. В README не приведены сведения о размере, контекстном окне и поддерживаемых языках. Репозиторий распространяется по лицензии Apache-2.0.

5815март 2026
audioapache-2.0hugging-face
mlx-community
sam-audio-large-fp16

sam-audio-large-fp16 — версия модели facebook/sam-audio-large, преобразованная в формат MLX сообществом mlx-community с помощью mlx-audio 0.2.10. Она предназначена для обработки аудио и выделения голоса из звуковой записи. Модель принимает аудио и выдаёт обработанное аудио; карточка показывает сценарий voice isolation. Репозиторий содержит веса safetensors и использует библиотеку mlx-audio. Лицензия указана как other; условия исходной модели следует уточнять в её карточке.

1276дек. 2025
audiootherhugging-face
Quran-Lab
sawt-v4

SAWT V4 — модель восстановления речи, разработанная Quran-Lab при Университете Копенгагена. Она очищает аудиозаписи от реверберации, шума, гула, ограниченной полосы частот и повреждений кодека, сохраняя исходные слова и голос. Модель предназначена для реставрации архивных записей, телефонной речи и записей из помещений с сильным эхом. Архитектура сочетает латентный генератор на основе flow matching с замороженным аудиокодеком DAC-VAE и детерминированным покадровым якорем, который задаёт содержание, высоту тона, характеристики говорящего и начальную оценку чистого сигнала. Выходное аудио имеет частоту 48 кГц. В README заявлена поддержка обучения на речи и пении примерно на 35 языках; метаданные указывают многоязычность и перечисляют ряд языковых тегов. Проверки на выходе отслеживают сохранность содержания и голоса, однако приведённые оценки относятся к описанным авторами наборам и протоколам. Модель распространяется с весами и якорем по лицензии с ограничениями: README запрещает продажу модели и функций на её основе и требует атрибуции. Перед использованием следует проверить полный текст лицензии и условия распространения.

5010сент. 2026
audiootherhugging-face
cocktailpeanut
stable-audio-3-medium

Stable Audio 3 Medium — модель семейства Stable Audio 3, разработанная Stability AI для генерации и редактирования аудио по текстовым описаниям. Это модель латентной диффузии на основе трансформера, использующая семантико-акустический автоэнкодер и текстовое кондиционирование с помощью предварительно обученной T5Gemma. Модель поддерживает генерацию аудио переменной длительности, продолжение коротких записей и локальное редактирование аудио методом inpainting. Модель предназначена для создания музыки и звуковых эффектов; веса Medium рассчитаны в том числе на запуск на потребительском оборудовании. Разработчик сообщает о генерации за секунды на H200 и MacBook Pro M4. В обучении использованы лицензированные записи AudioSparx и материалы Freesound с лицензиями CC-0, CC-BY и CC-Sampling+. Модель ориентирована на английские текстовые запросы. Для использования действуют Stability AI Community License и условия Gemma Terms of Use для T5Gemma; коммерческое применение требует обращения к Stability AI за коммерческой лицензией.

2.3K2май 2026
textaudiootherhugging-face
dots-studio
dots.tts.edit

dots.tts.edit — авторегрессионная модель непрерывной генерации от dots.tts, предназначенная для точного редактирования речи по инструкциям и синтеза речи с нуля. Она принимает исходное аудио и инструкцию для редактирования: заменяет, добавляет или удаляет фрагменты текста, управляет эмоцией, высотой тона, темпом и паузами, улучшает речь и выполняет операции с фоновым звуком. При редактировании модель стремится сохранить голос диктора и акустический контекст вне изменяемых участков. Модель поддерживает английскую и мандаринскую речь, а результат синтеза выдаёт в формате 48 кГц. Основные веса имеют точность BF16, веса энкодера диктора и вокодера — FP32. Тот же чекпойнт поддерживает zero-shot синтез речи. В README отмечены возможные ошибки произношения, тайминга, сходства голоса и следования инструкциям. Лицензия указана как other; условия её использования следует уточнять у разработчика. Модель нельзя использовать для имитации людей без согласия, введения слушателей в заблуждение или незаконного контента.

2427июль 2026ctx131.1K
textaudiootherhugging-face
speechbrain
metricgan-plus-voicebank

MetricGAN+ VoiceBank — модель SpeechBrain для улучшения речи в аудиозаписях с шумом. Она принимает зашумлённое аудио и выдаёт очищенное; обучена на данных Voicebank и DEMAND и предназначена для запуска через библиотеку SpeechBrain. В карточке приведены результаты на тестовом наборе: PESQ 3,15 и STOI 93,0. Модель подходит для очистки речи перед прослушиванием или дальнейшей обработкой. Для других наборов данных качество не гарантируется. Репозиторий распространяется по лицензии Apache-2.0.

15K72март 2022
audioapache-2.0hugging-face
stabilityai
stable-audio-3-medium

Stable Audio 3 Medium — модель Stability AI для генерации и редактирования аудио по текстовому описанию. Она предназначена для создания музыки и звуковых эффектов, в том числе аудио переменной длительности, продолжения коротких записей и локального редактирования с помощью inpainting. Модель использует латентную диффузию на базе трансформера и семантико-акустический автоэнкодер для компактного представления аудио. По заявлению разработчиков, adversarial post-training сокращает число шагов инференса и повышает точность следования запросу. Модель рассчитана на английские текстовые описания; карточка указывает, что веса обучались на лицензированных и Creative Commons аудиозаписях. Для использования доступны библиотека stable-audio-3 и исследовательская библиотека stable-audio-tools. Репозиторий содержит safetensors и является дообучением stabilityai/stable-audio-3-medium-base. Указана Stability AI Community License; для коммерческого использования разработчики предлагают обратиться к отдельным условиям коммерческой лицензии. Модель принимает текст, а при редактировании также использует аудио; основной заявленный сценарий генерации — текст в аудио.

63K393май 2026
textaudiootherhugging-face
AlayaLab
AudioSep-hive

AudioSep-hive — модель универсального разделения звуков по запросу, разработанная Shanda AI Research Tokyo и обученная на наборе данных ShandaAI/Hive. Она отделяет заданный звук от сложной аудиосмеси по текстовому описанию или аудиозапросу; текстовые запросы поддерживаются на английском языке. Модель представлена в исследовательской работе о семантически согласованном наборе данных для разделения звука с эффективным использованием данных. По заявлению разработчиков, обучение использовало 2 442 часа исходного аудио и 19,6 млн смесей — около 0,2% объёма данных, применяемого в сопоставимых подходах. Модель нацелена на конкурентное качество разделения и восприятия звука; в репозитории представлены веса PyTorch. Лицензия — Apache 2.0.

1965март 2026
audioapache-2.0hugging-face
studio409
Resemble-Enhance-GGUF

Resemble-Enhance-GGUF — неофициальная конверсия модели Resemble Enhance от Resemble AI в формат GGUF F16 для локального инференса в совместимых с GGML/GGUF средах. Это не новая обученная модель: в репозитории размещён файл с полной версией модели улучшения речи, а исходные проект и веса опубликованы Resemble AI. Модель предназначена для улучшения речи и подавления шума в аудиозаписях. Поддержка функций зависит от используемого рантайма. Репозиторий указывает лицензию MIT для исходного проекта и конверсии; распространение неофициальное.

170июль 2026
audiomithugging-face
AEmotionStudio
sam-audio-models

AEmotionStudio распространяет веса Meta AI SAM-Audio в формате BF16 Safetensors. В репозитории представлены варианты Large-TV и Base-TV: в README указано около 3,72 млрд и 1,93 млрд параметров соответственно. Это модели разделения аудио, предназначенные для выделения заданных звуков из сложных аудиосмесей. Для задания цели можно описать звук текстом, указать объект на видео или задать временной интервал; варианты TV оптимизированы для точности выделения цели и визуальных подсказок. Модель принимает аудио и возвращает отделённое аудио. Лицензия указана как SAM License, а метаданные обозначают её как other; перед использованием следует свериться с условиями SAM License. Репозиторий описывает преобразование весов в BF16 Safetensors для упрощения доступа и распространения.

227март 2026
audiootherhugging-face
speechbrain
sepformer-dns4-16k-enhancement

SepFormer-DNS4-16k — модель SpeechBrain для подавления шума и улучшения разборчивости речи в аудио. SepFormer основана на архитектуре Transformer и обучена на 1300 часах данных Microsoft DNS-4 с частотой дискретизации 16 кГц. Модель принимает зашумлённую речь и выдаёт очищенное аудио. В README приведены результаты оценки DNSMOS на dev-наборе DNS4 2022: SIG 2,999, BAK 3,076 и OVRL 2,437 по шкале от 1 до 5. В метаданных указана поддержка английского, немецкого, русского, французского, итальянского и испанского языков. Модель подходит для очистки записей речи и шумоподавления в аудиосистемах. SpeechBrain предупреждает, что качество на других наборах данных не гарантируется. Лицензия — Apache-2.0.

1.2K27авг. 2023
audioapache-2.0hugging-face
mlx-community
silero-vad

Silero VAD MLX — модель обнаружения речевой активности, преобразованная сообществом mlx-community из onnx-community/silero-vad в формат MLX. Она принимает аудиофайл и возвращает временные отметки речевых фрагментов, в том числе в секундах. Модель предназначена для выделения речи в аудиозаписях и может использоваться как этап предварительной обработки аудио.

8562апр. 2026
audiohugging-face
vokra
silero-vad-v6.2.1

Это конвертированная в формат Vokra GGUF версия модели Silero VAD v6.2.1 от upstream-разработчика snakers4. Она предназначена для определения участков речи в аудиозаписи и запускается в среде инференса Vokra, которая поддерживает отображение весов в память. Для работы модели требуется монофонический WAV с частотой дискретизации 16 кГц; результатом являются обнаруженные речевые сегменты. Файл весит 2,1 МБ, архитектура обозначена как silero-vad. Конверсия сохраняет исходные веса и не является новым дообучением. Лицензия — MIT.

340июль 2026
audiomithugging-face
desert-ant-labs
clear

Clear — модель для локального улучшения речи от desert-ant-labs. Она подавляет шум, уменьшает реверберацию и нормализует громкость, чтобы очистить записи с микрофонов телефона, гарнитуры или ноутбука, в том числе сделанные в кафе, офисе или необработанной комнате. Модель предназначена для подкастов, видео, голосовых приложений, интервью и записей встреч. В репозитории представлены варианты clear-studio и clear-natural в форматах Core ML, ONNX и TFLite. Вариант studio стремится к тихому, чистому звучанию, а natural сохраняет часть комнатного фона, дыхания и артикуляционных деталей. Обработка выполняется на устройстве; для Core ML заявлена оптимизация под Apple Neural Engine. Модель принимает моно- или стереозвук с частотой 48 кГц и выдаёт очищенный звук. Clear ориентирована именно на речь: музыка, эффекты и другие невокальные сигналы могут подавляться как шум, а перекрывающиеся голоса не разделяются. Это не модель распознавания речи, синтеза или изменения голоса. В README приведены условия совместимости SDK для платформ Apple и варианты для Android; лицензия указана в метаданных как other, без дополнительных условий в предоставленных данных.

1.6K36май 2026
audiootherhugging-face
mpariente
ConvTasNet_WHAM_sepclean

Это модель разделения аудио ConvTasNet, обученная Мануэлем Париенте по рецепту Asteroid для задачи sep_clean на наборе WHAM!. Она предназначена для разделения смеси речи на отдельные речевые источники и обработки аудиозаписей с несколькими говорящими. Модель принимает аудио и выдаёт аудио. В README приведены результаты оценки на WHAM!, включая SI-SDR 16,21 и STOI 0,962. Весовой файл опубликован в формате PyTorch; лицензия — CC BY-SA 4.0.

2620март 2022
audiocc-by-sa-4.0hugging-face
speechbrain
sepformer-wham-enhancement

SepFormer для подавления шума в речи разработан командой SpeechBrain и обучен на датасете WHAM! с частотой дискретизации 8 кГц. WHAM! добавляет к смесям WSJ0-Mix окружающий шум и реверберацию. Модель принимает аудио и выдаёт очищенное аудио, помогая улучшить разборчивость речи в шумных записях. В репозитории указаны результаты на тестовом наборе WHAM!: SI-SNR 14,35 дБ и PESQ 3,07. Модель реализована на PyTorch и предназначена для применения через SpeechBrain. Разработчики не гарантируют аналогичное качество на других наборах данных. Лицензия — Apache-2.0.

14134март 2022
audioapache-2.0hugging-face
cocktailpeanut
stable-audio-3-small-music

Stable Audio 3 Small Music — небольшая модель семейства Stable Audio 3, разработанная Stability AI для генерации и редактирования музыки и звуков по текстовому описанию. Это латентная диффузионная модель на основе трансформера: она использует семантико-акустический автоэнкодер для сжатого представления аудио и текстовое кондиционирование на основе предварительно обученной T5Gemma. Поддерживаются генерация аудио переменной длительности, продолжение коротких записей и локальное редактирование аудио с помощью inpainting. Модель обучалась на лицензированных и Creative Commons записях. Семейство Stable Audio 3 оптимизировано для быстрой генерации; разработчики сообщают о времени менее двух секунд на H200 для семейства в целом. Версия Small предназначена для запуска на потребительском оборудовании. Основной язык текстовых описаний — английский. Для использования доступны библиотеки stable-audio-3 и stable-audio-tools. Модель является дообучением stabilityai/stable-audio-3-small-music-base. В карточке указана Stability AI Community License, а текстовое кондиционирование опирается на T5Gemma, распространяемую по условиям Gemma Terms of Use; коммерческое применение требует проверки применимых условий лицензий.

2.7K0май 2026
textaudiootherhugging-face
jac22
UNISON

UNISON — разработанная авторами проекта единая модель для генерации и редактирования аудио и речи. Она поддерживает создание звуков по текстовому описанию, синтез речи, клонирование голоса по образцу, генерацию сцен с речью и фоновыми звуками, а также редактирование аудио и речи в сцене. Задача задаётся в текстовом промпте, а исходное аудио при необходимости подаётся как условие. Модель использует латентное сопоставление потоков, архитектуру MM-DiT и общий VAE-кодировщик и декодировщик для разных задач. Текстовые признаки поступают от замороженного Qwen2.5-Omni-7B через послойное объединение с блоками MM-DiT. В репозитории представлены варианты с VAE на 44 и 16 кГц; оба используют текстовый энкодер Qwen2.5-Omni-7B. Карточка указывает поддержку английского и китайского языков. Лицензия — Apache-2.0.

288июнь 2026
textaudioapache-2.0hugging-face
amandabenson
acestep-transcriber-fork

Карточка модели amandabenson/acestep-transcriber-fork на Hugging Face совпадает с карточкой ACE-Step/acestep-transcriber, поэтому описание составлено по ней. ACE-Step Transcriber — мультиязычная модель транскрибации, используемая ACE-Step v1.5 для разметки обучающих данных. В карточке указана архитектура Qwen2.5-Omni; модель принимает аудио и формирует структурированный текст с распознанной речью или текстом песен, а также пометками частей композиции, например куплетов, припева и инструментальных фрагментов. Модель предназначена для распознавания речи и пения, извлечения текста песен, создания субтитров и анализа музыкальной структуры. Она поддерживает более 50 языков, включая китайский, японский, корейский, вьетнамский, тайский, индонезийский, малайский, филиппинский, хинди, бенгальский, тамильский и урду. Репозиторий содержит веса в формате Safetensors, используется библиотека Transformers. Лицензия — MIT.

230июль 2026ctx32.8K
textaudiomithugging-face
tencent
AuK-Flash

AuK-Flash — официальная дистиллированная версия модели AuK от Tencent для генерации и редактирования речи. Это диффузионная модель, которая использует единый интерфейс инструкций на естественном языке; для обработки текста и речи задействуется отдельный мультимодальный энкодер Qwen2.5-Omni-3B. Вариант Flash выполняет синтез за 4 шага инференса, что ускоряет генерацию по сравнению с базовой версией. Модель предназначена для синтеза речи по тексту, в том числе zero-shot TTS и генерации с инструкциями. Семейство AuK также поддерживает редактирование содержимого и акустических характеристик речи, изменение паралингвистических свойств, улучшение речи и разделение источников. Карточка AuK-Flash описывает её как дистиллированный вариант для быстрого инференса; подробности о качестве именно этой версии в предоставленных данных не приводятся. Для работы требуются веса энкодера и VAE, загружаемые отдельно. Модель распространяется по лицензии MIT.

2.8K105авг. 2026
textaudiomithugging-face
JorisCos
DCCRNet_Libri1Mix_enhsingle_16k

DCCRNet_Libri1Mix_enhsingle_16k — модель для улучшения речи, обученная Joris Cosentino с помощью рецепта LibriMix в библиотеке Asteroid. Она принимает аудио и предназначена для выделения чистой речи из одноисточниковой смеси с шумом или помехами. Модель использует архитектуру DCCRN-CL и рассчитана на аудио с частотой дискретизации 16 кГц; обучение проводилось на задаче enh_single с данными Libri1Mix. Модель подходит для предварительной очистки записей речи перед прослушиванием или дальнейшей обработкой. Языковая привязка определяется обучающими данными LibriSpeech, однако README не заявляет ограничение только английским языком. Модель распространяется по лицензии CC BY-SA 4.0. README также указывает, что в обучающих данных использовался датасет WSJ0 Hipster Ambient Mixtures с лицензией CC BY-NC 4.0, ограничивающей его исследовательским использованием.

1.4K19март 2022
audiocc-by-sa-4.0hugging-face
jadechoghari
VoiceRestore

VoiceRestore — модель для восстановления качества записей речи, опубликованная jadechoghari. Она использует трансформер с flow matching и содержит около 301 млн параметров; модель принимает повреждённую аудиозапись и выдаёт восстановленную речь. Заявленные виды искажений включают фоновый шум, реверберацию, дисторсию и потерю сигнала. Модель предназначена для очистки и улучшения речевых записей. В README указано, что веса предварительно обучены, но обучение модели ещё продолжается и чекпойнты могут обновляться. Репозиторий распространяется по лицензии MIT. Модель оптимизирована для речи и может работать хуже на музыке и других типах аудио. Качество восстановления при сильных повреждениях остаётся предметом дальнейшей работы; обработка в реальном времени не заявлена.

10053сент. 2024
audiomithugging-face
ACE-Step
Ace-Step1.5

ACE-Step 1.5 — открытая модель генерации музыки, разработанная командой ACE-Step. Она предназначена для создания песен и музыкальных фрагментов по текстовому запросу, с управлением стилем и поддержкой сценариев редактирования аудио: создания каверов, перерисовки фрагментов и преобразования вокала в фоновую музыку. В README заявлена гибридная архитектура: языковая модель планирует композицию и формирует метаданные, текст и подписи, а Diffusion Transformer синтезирует аудио. Модель содержит 1,3 млрд параметров; метаданные указывают контекст в 32 768 токенов и формат Safetensors. README заявляет поддержку более 50 языков, генерацию композиций длительностью до 10 минут и работу менее чем с 4 ГБ видеопамяти. Модель ориентирована на музыкантов, продюсеров и создателей контента; README также заявляет возможность коммерческого использования сгенерированной музыки. Лицензия репозитория — MIT. Заявления о скорости генерации, требованиях к памяти и юридической чистоте обучающих данных приведены в карточке проекта и не являются независимой оценкой качества или правового статуса конкретной генерации.

71K899янв. 2026ctx32.8K
textaudiomithugging-face
Chaitu515
Ace-Step1.5

Карточка модели Chaitu515/Ace-Step1.5 на Hugging Face совпадает с карточкой ACE-Step/Ace-Step1.5, поэтому описание составлено по ней. ACE-Step 1.5 — открытая модель генерации музыки, разработанная командой ACE-Step. Она предназначена для создания песен и музыкальных фрагментов по текстовому запросу, с управлением стилем и поддержкой сценариев редактирования аудио: создания каверов, перерисовки фрагментов и преобразования вокала в фоновую музыку. В README заявлена гибридная архитектура: языковая модель планирует композицию и формирует метаданные, текст и подписи, а Diffusion Transformer синтезирует аудио. Модель содержит 1,3 млрд параметров; метаданные указывают контекст в 32 768 токенов и формат Safetensors. README заявляет поддержку более 50 языков, генерацию композиций длительностью до 10 минут и работу менее чем с 4 ГБ видеопамяти. Модель ориентирована на музыкантов, продюсеров и создателей контента; README также заявляет возможность коммерческого использования сгенерированной музыки. Лицензия репозитория — MIT. Заявления о скорости генерации, требованиях к памяти и юридической чистоте обучающих данных приведены в карточке проекта и не являются независимой оценкой качества или правового статуса конкретной генерации.

90сент. 2026ctx32.8K
textaudiomithugging-face
SYNAPSEai1
Ace-Step1.5

Карточка модели SYNAPSEai1/Ace-Step1.5 на Hugging Face совпадает с карточкой ACE-Step/Ace-Step1.5, поэтому описание составлено по ней. ACE-Step 1.5 — открытая модель генерации музыки, разработанная командой ACE-Step. Она предназначена для создания песен и музыкальных фрагментов по текстовому запросу, с управлением стилем и поддержкой сценариев редактирования аудио: создания каверов, перерисовки фрагментов и преобразования вокала в фоновую музыку. В README заявлена гибридная архитектура: языковая модель планирует композицию и формирует метаданные, текст и подписи, а Diffusion Transformer синтезирует аудио. Модель содержит 1,3 млрд параметров; метаданные указывают контекст в 32 768 токенов и формат Safetensors. README заявляет поддержку более 50 языков, генерацию композиций длительностью до 10 минут и работу менее чем с 4 ГБ видеопамяти. Модель ориентирована на музыкантов, продюсеров и создателей контента; README также заявляет возможность коммерческого использования сгенерированной музыки. Лицензия репозитория — MIT. Заявления о скорости генерации, требованиях к памяти и юридической чистоте обучающих данных приведены в карточке проекта и не являются независимой оценкой качества или правового статуса конкретной генерации.

01сент. 2026
textaudiomithugging-face
ACE-Step
acestep-v15-base

ACE-Step v1.5 Base — базовая модель для генерации музыки по текстовому описанию, разработанная командой ACE-STEP. Это плотная модель семейства ACE-Step с архитектурой AceStepConditionGenerationModel и 1,3 млрд параметров; репозиторий содержит веса в формате safetensors и рассчитан на работу через Transformers. Модель предназначена для создания музыкальных композиций и коротких фрагментов по текстовым запросам, с управлением стилем и поддержкой сценариев вроде генерации кавера, перерисовки аудио и преобразования вокала в инструментальный фон. Карточка проекта описывает гибридный конвейер: языковая модель формирует план композиции, метаданные и текстовые условия для Diffusion Transformer. Заявлена работа с запросами более чем на 50 языках и создание композиций длительностью до 10 минут. README приводит скорость менее двух секунд на A100 и менее десяти секунд на RTX 3090, а также заявляет возможность локального запуска при менее чем 4 ГБ видеопамяти; фактическая производительность зависит от оборудования и настроек. Лицензия репозитория — MIT; README также заявляет возможность коммерческого использования сгенерированной музыки.

4.4K68янв. 2026ctx32.8K
textaudiomithugging-face
ACE-Step
acestep-v15-sft

ACE-Step v1.5 SFT — модель генерации музыки из текста, разработанная командой ACE-STEP. По текстовому описанию она создаёт музыкальные композиции и поддерживает управление стилем, создание каверов, перерисовку аудио и преобразование вокала в фоновую музыку. Модель использует гибридную архитектуру: языковая модель планирует структуру песни и подготавливает метаданные, текст и подписи, а Diffusion Transformer синтезирует аудио. Размер модели — 1,3 млрд параметров; в карточке указано контекстное окно 32 768 токенов и поддержка более 50 языков. В README заявлены генерация композиций длительностью до 10 минут, работа локально менее чем с 4 ГБ видеопамяти и скорость генерации менее 2 секунд на A100 или 10 секунд на RTX 3090. Для версии SFT таблица указывает 50 шагов, высокое качество и среднее разнообразие; извлечение, режим Lego и завершение аудио для этой версии не отмечены. Репозиторий содержит веса safetensors и распространяется по лицензии MIT; README заявляет возможность коммерческого использования созданной музыки.

3.5K54янв. 2026ctx32.8K
textaudiomithugging-face
ACE-Step
acestep-v15-xl-base

ACE-Step 1.5 XL Base — базовая модель генерации музыки на основе декодера DiT с примерно 4 млрд параметров. Разработана проектом ACE-Step и служит основой для задач генерации музыки по текстовому описанию, создания каверов, перерисовки фрагментов, извлечения, сборки композиций из частей и дополнения аудио. Версия XL рассчитана на более высокое качество звука по сравнению с вариантами на 2 млрд параметров; модель использует 32 слоя, скрытый размер 2560 и 32 головы внимания. Модель предназначена для создания и редактирования музыкальных композиций. Для работы требуется значительный объём видеопамяти: от 12 ГБ с выгрузкой на CPU и INT8-квантизацией, от 16 ГБ с выгрузкой на CPU или от 20 ГБ без неё. README сообщает, что обучение использовало лицензированную, свободную от роялти или общественным достоянием музыку, а также синтетические данные, и заявляет возможность коммерческого использования сгенерированной музыки. Лицензия репозитория — MIT.

1.9K107апр. 2026ctx32.8K
textaudiomithugging-face
Makaveliai
acestep-v15-xl-base-bf16

ACE-Step 1.5 XL Base BF16 — модель генерации музыки на основе ACE-Step/acestep-v15-xl-base. Это вариант архитектуры DiT с 3,1 млрд параметров в формате BF16; README указывает для исходной версии XL конфигурацию из 32 слоёв декодера и 32 голов внимания. Модель создаёт аудио по текстовому описанию и поддерживает задачи извлечения, комбинирования и дополнения музыки. Модель рассчитана на генерацию музыкальных фрагментов с высокой вариативностью и на сценарии редактирования или продолжения аудио. README заявляет генерацию за 50 шагов с CFG и совместимость с языковыми моделями ACE-Step размером 0,6B, 1,7B и 4B. Для работы требуется от 8 ГБ видеопамяти с выгрузкой на CPU и INT8-квантизацией; от 16 ГБ достаточно для запуска без выгрузки. В карточке заявлены обучающие данные из лицензированной, свободной от роялти или общественного достояния музыки, а также синтетических MIDI-аудиоданных, и возможность коммерческого использования сгенерированной музыки. Лицензия репозитория — MIT. README описывает BF16-вариант как конверсию с почти неизменным качеством; однако метаданные классифицируют его как дообучение базовой модели, поэтому происхождение отмечено как finetune.

160сент. 2026ctx32.8K
textaudiomithugging-face
amandabenson
acestep-v15-xl-base-fork

Карточка модели amandabenson/acestep-v15-xl-base-fork на Hugging Face совпадает с карточкой ACE-Step/acestep-v15-xl-base, поэтому описание составлено по ней. ACE-Step 1.5 XL Base — базовая модель генерации музыки на основе декодера DiT с примерно 4 млрд параметров. Разработана проектом ACE-Step и служит основой для задач генерации музыки по текстовому описанию, создания каверов, перерисовки фрагментов, извлечения, сборки композиций из частей и дополнения аудио. Версия XL рассчитана на более высокое качество звука по сравнению с вариантами на 2 млрд параметров; модель использует 32 слоя, скрытый размер 2560 и 32 головы внимания. Модель предназначена для создания и редактирования музыкальных композиций. Для работы требуется значительный объём видеопамяти: от 12 ГБ с выгрузкой на CPU и INT8-квантизацией, от 16 ГБ с выгрузкой на CPU или от 20 ГБ без неё. README сообщает, что обучение использовало лицензированную, свободную от роялти или общественным достоянием музыку, а также синтетические данные, и заявляет возможность коммерческого использования сгенерированной музыки. Лицензия репозитория — MIT.

60июль 2026ctx32.8K
textaudiomithugging-face

Задачи профессии

15 задач
139Классификация звуковых событий. — AI анализирует спектральные и временные признаки аудио и относит фрагменты к классам звуковых событий: речи, музыке, сигналам, ударам, шумам или другим заданным категориям. На выходе — метки с временными границами и уверенностью. Качество проверяют по размеченным записям, отдельно оценивая редкие классы, смешанные звуки и условия с сильным фоновым шумом.
140Обнаружение заданного звука в непрерывном аудиопотоке. — Механизм: AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение заданного звука в непрерывном аудиопотоке», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
141Определение источника и направления звука. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение источника и направления звука» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
142Разделение смеси на голос, музыку и отдельные инструменты. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: результат «Разделение смеси на голос, музыку и отдельные инструменты» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
143Удаление фонового шума и акустических артефактов. — Практическая реализация: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Входной контекст включает референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: преобразованный материал по задаче «Удаление фонового шума и акустических артефактов» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
144Восстановление повреждённой или неполной аудиозаписи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: преобразованный материал по задаче «Восстановление повреждённой или неполной аудиозаписи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
145Автоматическое выравнивание громкости и динамического диапазона. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. К исходным данным относятся аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Автоматическое выравнивание громкости и динамического диапазона» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
146Генерация музыки по жанру, настроению, структуре и ограничениям. — Для этой задачи система генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: редактируемый артефакт по задаче «Генерация музыки по жанру, настроению, структуре и ограничениям», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
147Генерация звуковых эффектов по текстовому описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Генерация звуковых эффектов по текстовому описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
148Создание аранжировки для заданной мелодии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: редактируемый артефакт по задаче «Создание аранжировки для заданной мелодии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
149Продолжение музыкального фрагмента в согласованном стиле. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: редактируемый артефакт по задаче «Продолжение музыкального фрагмента в согласованном стиле», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
150Транскрибирование музыки в ноты или MIDI. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Транскрибирование музыки в ноты или MIDI» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
151Определение темпа, тональности, аккордов и структуры композиции. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение темпа, тональности, аккордов и структуры композиции» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
152Сведение и предварительный мастеринг аудиоматериала. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: преобразованный материал по задаче «Сведение и предварительный мастеринг аудиоматериала» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
153Адаптация длительности музыки под видео без резкого обрыва. — AI строит профиль текущих потребностей и адаптирует содержание, порядок или параметры взаимодействия под конкретного человека. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: адаптированный вариант для «Адаптация длительности музыки под видео без резкого обрыва» с указанием контекста и факторов, определивших персонализацию. Надёжность оценивают по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче. <a id="section-i-10"></a>

0 моделей