/ Модель

Характеристики

Параметры
113 млн
Размер весов
172 МБ
Архитектура
audio-spectrogram-transformer · dense
Опубликована
11 мар 2023

MIT-ast-finetuned-speech-commands-v2-ov

Классификация аудиоАудио → label3 профессии

Конвертированная в OpenVINO модель AST классифицирует аудио, включая речевые команды.

441скачиваний за 30 дней0лайковвеса обновлены11 мар 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель helenai/MIT-ast-finetuned-speech-commands-v2-ov — конвертированная в формат OpenVINO версия модели MIT/ast-finetuned-speech-commands-v2, предназначенная для ускоренного вывода. Она использует архитектуру Audio Spectrogram Transformer (AST) с 113,2 млн параметров и решает задачу классификации аудио, в частности распознавания речевых команд.

Модель принимает аудио и выдаёт метки классов. В метаданных указан английский язык. Формат OpenVINO предназначен для ускоренного инференса; лицензия в предоставленных данных не указана.

Сценарии применения

  • классификация аудиозаписей по звуковым классам
  • распознавание голосовых команд на английском языке
  • встраивание классификатора аудио в приложение с инференсом через OpenVINO

Ограничения

Данные подтверждают назначение для классификации аудио и речевых команд, но не описывают точность, набор классов или ограничения на входные аудиоформаты.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

MIT/ast-finetuned-speech-commands-v2

This is the MIT/ast-finetuned-speech-commands-v2 model converted to OpenVINO, for accellerated inference.

An example of how to do inference on this model:

from optimum.intel.openvino import OVModelForAudioClassification
from transformers import AutoFeatureExtractor, pipeline

# model_id should be set to either a local directory or a model available on the HuggingFace hub.
model_id = "helenai/MIT-ast-finetuned-speech-commands-v2-ov"
feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)
model = OVModelForAudioClassification.from_pretrained(model_id)
pipe = pipeline("audio-classification", model=model, feature_extractor=feature_extractor)
result = pipe("https://datasets-server.huggingface.co/assets/speech_commands/--/v0.01/test/38/audio/audio.mp3")
print(result)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · audio-classification

Нельзя запустить

В репозитории нет весов в формате PyTorch/safetensors.

Класс архитектуры
ASTForAudioClassification
Ревизия весов
820e8b7

0 моделей