/ Модель

Характеристики

Параметры
113 млн
Лицензия
MIT
Архитектура
vivit · dense
Опубликована
23 ноя 2022

vivit-b-16x2-kinetics400

Классификация видеоВидео → label3 профессии

ViViT — видеомодель с 113,2 млн параметров для классификации действий в роликах и дообучения на другие задачи видеоанализа.

51 355скачиваний за 30 дней43лайкавеса обновлены3 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

google/vivit-b-16x2-kinetics400 — видеоклассификатор на основе ViViT, расширения архитектуры Vision Transformer для обработки видео. Модель содержит 113,2 млн параметров и обучена для классификации действий на наборе Kinetics-400.

Она принимает видеокадры и предсказывает класс действия в ролике. Модель предназначена также для дообучения под другие задачи классификации видео. Разработана авторами ViViT; модельная карточка опубликована Hugging Face.

Модель распространяется в формате PyTorch по лицензии MIT. Для переноса на другие предметные области может потребоваться дообучение.

Сценарии применения

  • распознавание действий в видеороликах
  • классификация видео по категориям Kinetics-400
  • дообучение классификатора для пользовательских категорий видео

Ограничения

Карточка рекомендует дообучение для прикладных задач; модель ориентирована на классификацию видео и может не подходить для других задач без адаптации.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ViViT (Video Vision Transformer)

ViViT model as introduced in the paper ViViT: A Video Vision Transformer by Arnab et al. and first released in this repository.

Disclaimer: The team releasing ViViT did not write a model card for this model so this model card has been written by the Hugging Face team.

Model description

ViViT is an extension of the Vision Transformer (ViT) to video.

We refer to the paper for details.

Intended uses & limitations

The model is mostly meant to intended to be fine-tuned on a downstream task, like video classification. See the model hub to look for fine-tuned versions on a task that interests you.

How to use

For code examples, we refer to the documentation.

BibTeX entry and citation info

@misc{arnab2021vivit,
      title={ViViT: A Video Vision Transformer}, 
      author={Anurag Arnab and Mostafa Dehghani and Georg Heigold and Chen Sun and Mario Lučić and Cordelia Schmid},
      year={2021},
      eprint={2103.15691},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · video-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
ViViTForVideoClassification
Ревизия весов
8a7171a

0 моделей