/ Модель

Характеристики

Параметры
113 млн
Лицензия
MIT
Архитектура
vivit · dense
Базовая модель
vivit-b-16x2-kinetics400
Опубликована
22 сен 2023

vivit-b-16x2-kinetics400-UCF-Crime

Классификация видеоВидео → label3 профессии

Дообученная ViViT классифицирует видеоролики по категориям набора UCF-Crime.

12скачиваний за 30 дней1лайквеса обновлены5 ноя 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель prathameshdalal/vivit-b-16x2-kinetics400-UCF-Crime — дообученная на наборе UCF-Crime видеомодель ViViT от Google для классификации видео. Она принимает видеоролики и предсказывает класс, относящийся к набору UCF-Crime. Архитектура ViViT содержит 113,2 млн параметров; веса опубликованы в форматах PyTorch и safetensors.

На оценочном наборе указаны loss 1,9757 и accuracy 0,6149. Модель распространяется по лицензии MIT. Карточка не описывает точный список классов, методику подготовки видео и ограничения качества, поэтому пригодность для конкретных условий наблюдения следует проверять отдельно.

Сценарии применения

  • Классификация видеозаписей по категориям UCF-Crime
  • Анализ видеороликов наблюдения на предмет событий из обучающих категорий
  • Эксперименты по распознаванию событий в видео

Ограничения

На оценочном наборе accuracy составляет 0,6149; результат может не переноситься на другие видеоданные и условия съёмки. Карточка не приводит список классов и подробные ограничения.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

vivit-b-16x2-kinetics400-UCF-Crime

This model is a fine-tuned version of google/vivit-b-16x2-kinetics400 on UCF-Crime dataset. It achieves the following results on the evaluation set:

  • Loss: 1.9757
  • Accuracy: 0.6149

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 5e-05
  • train_batch_size: 8
  • eval_batch_size: 8
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_ratio: 0.1
  • training_steps: 3132

Training results

Training LossEpochStepValidation LossAccuracy
1.20720.061961.64000.5518
1.55131.063921.49880.5634
1.10382.065881.53280.5861
0.94623.067841.39320.6178
0.73874.069801.54490.6060
0.50855.0611761.30750.6287
0.44436.0613721.67430.6001
0.46957.0615681.52870.6172
0.44098.0617641.77490.6089
0.11589.0619601.90270.6076
0.118310.0621561.96220.6085
0.132211.0623522.08720.6152
0.188112.0625482.00950.6094
0.093213.0627441.93980.6232
0.030314.0629401.99940.6134
0.051315.0631321.97570.6149

Framework versions

  • Transformers 4.33.2
  • Pytorch 1.10.0+cu113
  • Datasets 2.14.5
  • Tokenizers 0.13.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · video-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
VivitForVideoClassification
Ревизия весов
486229b

0 моделей