/ Модель

Характеристики

Параметры
113 млн
Лицензия
MIT
Архитектура
vivit · dense
Опубликована
23 ноя 2022

vivit-b-16x2

Классификация видеоВидео → label3 профессии

ViViT-B/16x2 — видеотрансформер с 113,2 млн параметров для классификации видео и дообучения на прикладных наборах данных.

34 994скачиваний за 30 дней15лайковвеса обновлены3 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ViViT-B/16x2 — модель семейства Video Vision Transformer, представленная в работе ViViT авторами Arnab и соавторами. Это видеорасширение архитектуры Vision Transformer; модель содержит 113,2 млн параметров и доступна в формате PyTorch. Она предназначена прежде всего для дообучения под задачи классификации видео и подходит как основа для распознавания действий и других категорий видеосцен.

Модель принимает видео и выдаёт метки классов. Лицензия — MIT. В карточке указано, что для прикладной задачи модель обычно следует дообучить; подробности архитектуры приведены в научной статье.

Сценарии применения

  • классификация видеороликов по категориям
  • распознавание действий и событий в видео после дообучения
  • создание классификатора видеосцен для прикладного набора данных

Ограничения

Модель предназначена преимущественно для дообучения под целевую задачу, поэтому без настройки на подходящих данных её прикладное качество может быть ограничено. В README не приведены подробности о разрешении видео, длине клипа или наборе классов.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ViViT (Video Vision Transformer)

ViViT model as introduced in the paper ViViT: A Video Vision Transformer by Arnab et al. and first released in this repository.

Disclaimer: The team releasing ViViT did not write a model card for this model so this model card has been written by the Hugging Face team.

Model description

ViViT is an extension of the Vision Transformer (ViT) to video.

We refer to the paper for details.

Intended uses & limitations

The model is mostly meant to intended to be fine-tuned on a downstream task, like video classification. See the model hub to look for fine-tuned versions on a task that interests you.

How to use

For code examples, we refer to the documentation.

BibTeX entry and citation info

@misc{arnab2021vivit,
      title={ViViT: A Video Vision Transformer}, 
      author={Anurag Arnab and Mostafa Dehghani and Georg Heigold and Chen Sun and Mario Lučić and Cordelia Schmid},
      year={2021},
      eprint={2103.15691},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · video-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
VivitForVideoClassification
Ревизия весов
fc34105

0 моделей