See https://www.kaggle.com/code/dima806/musical-instrument-detection for details.
Характеристики
- Параметры
- 113 млн
- Лицензия
- Apache 2.0
- Архитектура
- wav2vec2 · dense
- Базовая модель
- wav2vec2-base-960h
- Опубликована
- 25 авг 2023
Ссылки
musical_instrument_detection
Дообученная wav2vec 2.0 модель для классификации аудио по музыкальным инструментам.
773скачиваний за 30 дней8лайковвеса обновлены19 окт 2024
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Модель dima806/musical_instrument_detection — дообученная модель на архитектуре wav2vec 2.0 для классификации аудио по музыкальным инструментам. Она принимает аудиосигнал и предсказывает класс, связанный с музыкальным инструментом. В основе лежит facebook/wav2vec2-base-960h; модель содержит 113,3 млн параметров и распространяется в форматах PyTorch и Safetensors.
Модель предназначена для распознавания музыкальных инструментов в аудиозаписях. Она опубликована на Hugging Face 25 августа 2023 года и распространяется по лицензии Apache 2.0. Базовая модель обучалась для транскрибирования английской речи, поэтому её пригодность для музыкального аудио зависит от дообучения; README не приводит подробностей о наборах классов и оценке качества.
Сценарии применения
- определение музыкального инструмента в аудиозаписи
- автоматическая разметка музыкальных фрагментов по инструментам
- классификация аудиоклипов для музыкального архива
Ограничения
В карточке нет сведений о поддерживаемых классах инструментов и метриках качества. Базовая модель ориентирована на английскую речь, поэтому качество на музыкальном аудио следует проверять отдельно.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделейII.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделейIV.5Отраслевые задачиОбразование и развитие навыковAI помогает персонализировать обучение и снижать административную нагрузку на преподавателей.34 задачи6 641модель
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · text-classification
Для архитектуры wav2vec2 нет загрузчика под задачу text-classification.
- Класс архитектуры
- Wav2Vec2ForSequenceClassification
- Ревизия весов
- 07ef2d1