Характеристики

Параметры: 403 млн
Лицензия: CC BY-NC 4.0
Архитектура: videomae · dense
Базовая модель: videomae-large
Опубликована: 20 мая 2024

Ссылки

Hugging Face

videomae-large-finetuned-ucf101-subset

sangdeptraivcl

Классификация видеоВидео → label

Дообученная VideoMAE Large для классификации видео по меткам классов.

12скачиваний за 30 дней0лайковвеса обновлены21 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель sangdeptraivcl/videomae-large-finetuned-ucf101-subset — дообученная на неизвестном наборе данных версия VideoMAE Large от MCG-NJU для классификации видео. Она использует архитектуру VideoMAEForVideoClassification и содержит 402,7 млн параметров.

Модель предназначена для присвоения видео меток классов. В README приведены результаты на оценочном наборе: accuracy 0,6105 и loss 0,9542; состав набора и классы не описаны. Распространяется в формате Safetensors по лицензии CC BY-NC 4.0, которая требует атрибуции и ограничивает коммерческое использование.

Сценарии применения

классификация видеороликов по действиям или сценам
автоматическая разметка видеоклипов классами
анализ видеоданных в исследовательских экспериментах

Ограничения

Данные дообучения неизвестны, поэтому набор поддерживаемых классов и переносимость на другие типы видео неясны. На оценочном наборе указана точность 0,6105; коммерческое использование ограничено лицензией CC BY-NC 4.0.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

videomae-large-finetuned-ucf101-subset

This model is a fine-tuned version of MCG-NJU/videomae-large on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.9542
Accuracy: 0.6105

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 2
eval_batch_size: 2
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_ratio: 0.1
training_steps: 766
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
1.4296	0.34	260	1.1089	0.6105
1.1275	1.18	520	0.9542	0.6105

Framework versions

Transformers 4.39.3
Pytorch 2.1.2
Datasets 2.18.0
Tokenizers 0.15.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · video-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: VideoMAEForVideoClassification
Ревизия весов: d659d6e