Характеристики

Параметры: 113 млн
Лицензия: CC BY-NC 4.0
Архитектура: videomae · dense
Базовая модель: videomae-base
Опубликована: 13 окт 2023

Ссылки

Hugging Face

videomae-base-finetuned-ucf101-subset

abduldattijo

Классификация видеоВидео → label

Дообученный видеотрансформер VideoMAE для классификации действий или сцен в видеороликах.

10скачиваний за 30 дней0лайковвеса обновлены30 окт 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

abduldattijo/videomae-base-finetuned-ucf101-subset — видеомодель, дообученная на базе MCG-NJU/videomae-base. Она использует архитектуру VideoMAEForVideoClassification и предназначена для классификации видео по действиям или сценам. В README указаны результаты на оценочной выборке: accuracy 0,9149 и loss 0,2479.

Модель содержит 113,2 млн параметров и опубликована в формате PyTorch. Базовый VideoMAE — видеотрансформер, предварительно обученный без учителя для извлечения признаков и последующего дообучения. Датасет и конкретный набор классов этой версии в карточке не описаны, поэтому оценку качества нельзя переносить на другие данные.

Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.

Сценарии применения

классификация действий в коротких видеороликах
распознавание сцен по видеоклипу
автоматическая категоризация видеоматериалов

Ограничения

Датасет и набор классов не описаны; указанная accuracy 0,9149 относится только к оценочной выборке модели. Лицензия запрещает коммерческое использование.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

videomae-base-finetuned-ucf101-subset

This model is a fine-tuned version of MCG-NJU/videomae-base on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.2479
Accuracy: 0.9149

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_ratio: 0.1
training_steps: 72

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
0.7505	0.26	19	0.5155	0.7837
0.4436	1.26	38	0.3733	0.8333
0.3321	2.26	57	0.3509	0.8404
0.249	3.21	72	0.2479	0.9149

Framework versions

Transformers 4.35.0.dev0
Pytorch 2.1.0+cu118
Datasets 2.12.0
Tokenizers 0.14.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · video-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: VideoMAEForVideoClassification
Ревизия весов: c2bd7db