Характеристики

Лицензия: Apache 2.0
Опубликована: 5 мар 2026

Ссылки

Hugging Face arXiv 2601.22599

AudioSep-hive

AlayaLab

Обработка аудиоАудио → аудио3 профессии

Модель разделяет сложную аудиосмесь и выделяет нужные звуки по текстовому описанию или аудиозапросу.

196скачиваний за 30 дней5лайковвеса обновлены5 мар 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

AudioSep-hive — модель универсального разделения звуков по запросу, разработанная Shanda AI Research Tokyo и обученная на наборе данных ShandaAI/Hive. Она отделяет заданный звук от сложной аудиосмеси по текстовому описанию или аудиозапросу; текстовые запросы поддерживаются на английском языке. Модель представлена в исследовательской работе о семантически согласованном наборе данных для разделения звука с эффективным использованием данных.

По заявлению разработчиков, обучение использовало 2 442 часа исходного аудио и 19,6 млн смесей — около 0,2% объёма данных, применяемого в сопоставимых подходах. Модель нацелена на конкурентное качество разделения и восприятия звука; в репозитории представлены веса PyTorch. Лицензия — Apache 2.0.

Сценарии применения

выделение речи или конкретного голоса из аудиосмеси
извлечение заданного звука из фоновой записи по текстовому запросу
разделение звуковых событий в сложной аудиозаписи
очистка аудиофрагмента от посторонних звуков по аудиозапросу

Ограничения

Текстовые запросы поддерживаются на английском языке. Заявление о конкурентном качестве приведено разработчиками; независимые результаты оценки в карточке не описаны.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.9Универсальные способностиАудио и музыкаAI помогает анализировать, очищать, преобразовывать и создавать звук и музыку.15 задач4 835моделей I.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953модели I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

AudioSep-hive

Model Description

AudioSep-hive is a data-efficient, query-based universal sound separation model trained on the Hive dataset. By leveraging the high-quality, semantically consistent Hive dataset, this model achieves competitive separation accuracy and perceptual quality comparable to state-of-the-art models (such as SAM-Audio) while utilizing only a fraction (~0.2%) of the training data volume.

This model is developed by Shanda AI Research Tokyo and is introduced in the paper: A Semantically Consistent Dataset for Data-Efficient Query-Based Universal Sound Separation.

Model Details

Model Type: Query-Based Universal Sound Separation
Language(s): English (for text queries)
License: Apache 2.0 (Please update if different)
Trained on: ShandaAI/Hive (2,442 hours of raw audio, 19.6M mixtures)
Paper: arXiv:2601.22599
Code Repository: GitHub - ShandaAI/Hive

Uses

The model is intended for universal sound separation tasks, allowing users to extract specific sounds from complex audio mixtures using multimodal prompts (e.g., text descriptions or audio queries).

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов: 113d2e4