Классификатор wav2vec2 для распознавания 16 видов невербальных вокализаций в аудио.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель padmalcom/wav2vec2-large-nonverbalvocalization-classification — классификатор аудио на базе архитектуры wav2vec2, разработанный для распознавания невербальных вокализаций. Она относит звуковой фрагмент к одному из 16 классов: стук зубами, скрежет зубами, щёлканье языком, сморкание, кашель, зевок, прочищение горла, вздох, хлопок или причмокивание губами, учащённое дыхание, плач, смех, чихание, стон или крик.
Модель принимает аудио и выдаёт класс вокализации. В карточке она обозначена как независимая от языка; метаданные также указывают мультиязычную поддержку. Размер модели — около 402,7 млн параметров. Она может применяться для автоматической разметки звуковых событий в аудиозаписях. Репозиторий распространяется по лицензии Apache-2.0.
Модель распознаёт только перечисленные в карточке классы невербальных вокализаций; результаты для других звуков не описаны. Метрики качества и требования к аудиоформату в предоставленных материалах не приведены.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This language indendent wav2vec2 classification model is based on this dataset.
Sound classes are:
inference.py shows, how the model can be used.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · audio-classification
Подбираем GPU…