Характеристики

Параметры: 113 млн
Лицензия: BSD 3-Clause
Архитектура: audio-spectrogram-transformer · dense
Базовая модель: ast-finetuned-audioset-10-10-0.4593
Опубликована: 28 мая 2025

Ссылки

Hugging Face arXiv 2104.01778

ast-esc50

bioamla

Классификация аудиоАудио → label3 профессии

AST, дообученная на ESC-50, классифицирует аудиозаписи по 50 категориям звуков окружающей среды.

71скачиваний за 30 дней2лайкавеса обновлены30 дек 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

bioamla/ast-esc50 — модель классификации звуков окружающей среды, разработанная на основе Audio Spectrogram Transformer (AST) и дообученная на наборе ESC-50. Она принимает аудио и относит его к одной из 50 категорий, включая звуки животных, природы, человека, бытовых приборов, городского транспорта и инструментов. Архитектура AST обрабатывает спектрограммы аудио с помощью механизма внимания, представляя их как последовательность патчей; размер модели — 113,2 млн параметров.

Модель подходит для распознавания отдельных звуковых событий в аудиозаписях, например сирены, дождя, лая собаки или звонка. Она унаследовала основу от MIT/ast-finetuned-audioset-10-10-0.4593 и распространяется под лицензией BSD-3-Clause. Классификация ограничена 50 метками ESC-50, поэтому модель не предназначена для распознавания речи или произвольных звуков вне этих категорий.

Сценарии применения

распознавание звуков животных в аудиозаписи
определение природных звуков, таких как дождь, гром и волны
обнаружение бытовых звуков, например будильника или пылесоса
классификация городских звуков, таких как сирена, поезд или автомобильный гудок
распознавание звуков инструментов и механических действий

Ограничения

Модель классифицирует аудио только по 50 категориям ESC-50 и может не распознать звуки, не представленные этими метками. Она предназначена для классификации звуков, а не для распознавания речи.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей IV.10Отраслевые задачиДом, личная жизнь, уход и повседневные задачиAI помогает помогать человеку планировать повседневные дела и безопасно управлять домашней средой.30 задач962модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

AST Fine-tuned on ESC-50

An Audio Spectrogram Transformer (AST) model fine-tuned on the ESC-50 dataset for environmental sound classification.

Model Description

This model is based on the Audio Spectrogram Transformer architecture, fine-tuned to classify 50 categories of environmental sounds. The AST applies a pure attention mechanism to audio spectrograms, treating them as sequences of patches similar to Vision Transformers (ViT).

Training

Base Model: MIT/ast-finetuned-audioset-10-10-0.4593
Dataset: ESC-50 (Environmental Sound Classification)

Labels

The model classifies audio into 50 environmental sound categories:

Animals: cat, chirping_birds, cow, crow, dog, frog, hen, insects, pig, rooster, sheep

Natural Sounds: crackling_fire, crickets, rain, sea_waves, thunderstorm, water_drops, wind

Human Sounds: breathing, brushing_teeth, clapping, coughing, crying_baby, drinking_sipping, footsteps, laughing, sneezing, snoring

Domestic Sounds: clock_alarm, clock_tick, door_wood_creaks, door_wood_knock, glass_breaking, keyboard_typing, mouse_click, toilet_flush, vacuum_cleaner, washing_machine

Urban Sounds: airplane, car_horn, church_bells, engine, fireworks, helicopter, siren, train

Mechanical/Tools: can_opening, chainsaw, hand_saw, pouring_water

License

BSD-3-Clause

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · audio-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: ASTForAudioClassification
Ревизия весов: 9f0ec05