Характеристики

Параметры: 113 млн
Лицензия: BSD 3-Clause
Архитектура: audio-spectrogram-transformer · dense
Опубликована: 14 ноя 2022

Ссылки

ast-finetuned-audioset-10-10-0.450

Классификация аудиоАудио → label3 профессии

Производная модели MIT/ast-finetuned-audioset-14-14-0.443. AST, дообученный на AudioSet, классифицирует аудио по категориям звуковых событий.

232скачиваний за 30 дней4лайкавеса обновлены20 ноя 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Карточка модели MIT/ast-finetuned-audioset-10-10-0.450 на Hugging Face совпадает с карточкой MIT/ast-finetuned-audioset-14-14-0.443, поэтому описание составлено по ней.

MIT/ast-finetuned-audioset-14-14-0.443 — модель Audio Spectrogram Transformer (AST), дообученная на AudioSet. Архитектура на основе Vision Transformer применяется к спектрограмме: аудио преобразуется в изображение, которое модель классифицирует по классам AudioSet. Модель содержит 113,2 млн параметров и распространяется в форматах PyTorch и Safetensors.

Модель предназначена для классификации звуковых событий и подходит для автоматической маркировки аудиозаписей и анализа звуковых сцен. В карточке указаны результаты уровня state of the art на нескольких тестах классификации аудио, но конкретные метрики для этого чекпойнта не приведены. Лицензия — BSD 3-Clause.

Сценарии применения

классификация звуковых событий в аудиозаписи
автоматическая разметка звуковых сцен
распознавание бытовых и окружающих звуков
категоризация аудиофайлов по классам AudioSet

Ограничения

Модель предназначена для классификации по классам AudioSet; результаты на других типах звуков и доменах могут отличаться. Карточка не приводит количественных метрик для этого чекпойнта.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Audio Spectrogram Transformer (fine-tuned on AudioSet)

Audio Spectrogram Transformer (AST) model fine-tuned on AudioSet. It was introduced in the paper AST: Audio Spectrogram Transformer by Gong et al. and first released in this repository.

Disclaimer: The team releasing Audio Spectrogram Transformer did not write a model card for this model so this model card has been written by the Hugging Face team.

Model description

The Audio Spectrogram Transformer is equivalent to ViT, but applied on audio. Audio is first turned into an image (as a spectrogram), after which a Vision Transformer is applied. The model gets state-of-the-art results on several audio classification benchmarks.

Usage

You can use the raw model for classifying audio into one of the AudioSet classes. See the documentation for more info.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · audio-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: ASTForAudioClassification
Ревизия весов: 6a64a62