Характеристики

Параметры: 113 млн
Лицензия: BSD 3-Clause
Архитектура: audio-spectrogram-transformer · dense
Опубликована: 14 ноя 2022

Ссылки

Hugging Face arXiv 2104.01778

ast-finetuned-speech-commands-v2

MIT

Классификация аудиоАудио → label3 профессии

Модель AST, дообученная на Speech Commands v2 для классификации аудио по классам речевых команд.

3 060скачиваний за 30 дней19лайковвеса обновлены10 сен 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MIT/ast-finetuned-speech-commands-v2 — модель классификации аудио на базе Audio Spectrogram Transformer (AST), разработанного командой AST и дообученного на наборе Speech Commands v2. Архитектура переносит подход Vision Transformer на аудио: сигнал преобразуется в спектрограмму, которую обрабатывает трансформер. Модель содержит 113,2 млн параметров и распространяется в форматах PyTorch и Safetensors.

Модель предназначена для отнесения аудиозаписей к классам Speech Commands v2, в частности для распознавания команд из этого набора. Она решает задачу классификации аудио, а не транскрибирования речи. Лицензия — BSD 3-Clause.

Сценарии применения

классификация коротких аудиозаписей по классам Speech Commands v2
распознавание голосовых команд из набора Speech Commands v2
эксперименты и прототипы классификации звуков

Ограничения

Обучена для классов Speech Commands v2, поэтому не предназначена для произвольной транскрибации речи или распознавания команд вне этих классов без дополнительной адаптации.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953модели I.9Универсальные способностиАудио и музыкаAI помогает анализировать, очищать, преобразовывать и создавать звук и музыку.15 задач4 835моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Audio Spectrogram Transformer (fine-tuned on Speech Commands v2)

Audio Spectrogram Transformer (AST) model fine-tuned on Speech Commands v2. It was introduced in the paper AST: Audio Spectrogram Transformer by Gong et al. and first released in this repository.

Disclaimer: The team releasing Audio Spectrogram Transformer did not write a model card for this model so this model card has been written by the Hugging Face team.

Model description

The Audio Spectrogram Transformer is equivalent to ViT, but applied on audio. Audio is first turned into an image (as a spectrogram), after which a Vision Transformer is applied. The model gets state-of-the-art results on several audio classification benchmarks.

Usage

You can use the raw model for classifying audio into one of the Speech Commands v2 classes. See the documentation for more info.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · audio-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: ASTForAudioClassification
Ревизия весов: 315b0b8