Характеристики

Параметры: 113 млн
Лицензия: CC BY-NC 4.0
Архитектура: videomae · dense
Базовая модель: videomae-base
Опубликована: 4 июн 2024

Ссылки

Hugging Face

videomae-base-finetuned-sphar

ahsanshahid2882

Классификация видеоВидео → label

Дообученный VideoMAE-base для классификации видеоклипов на классах обучающего набора.

12скачиваний за 30 дней0лайковвеса обновлены5 июн 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель ahsanshahid2882/videomae-base-finetuned-sphar — версия VideoMAE-base, дообученная для классификации видео на неизвестном наборе данных. Она содержит 113,2 млн параметров и использует архитектуру VideoMAEForVideoClassification; веса опубликованы в формате safetensors. На оценочном наборе указаны accuracy 0,7428 и loss 0,9060. Модель подходит для классификации видеоклипов по классам, представленным при обучении.

Базовая модель — MCG-NJU/videomae-base, предобученный видеотрансформер. Данные карточки не раскрывают обучающий набор и сами классы, поэтому результаты нельзя напрямую переносить на другие наборы или сценарии. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерчески.

Сценарии применения

классификация видеоклипов по категориям обучающего набора
автоматическая разметка видео по классам
оценка принадлежности видео к заданному классу

Ограничения

Обучающий набор и перечень классов не раскрыты; указанная accuracy 0,7428 относится только к оценочному набору модели. Лицензия CC BY-NC 4.0 ограничивает использование некоммерческими целями.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

videomae-base-finetuned-sphar

This model is a fine-tuned version of MCG-NJU/videomae-base on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.9060
Accuracy: 0.7428

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 2
eval_batch_size: 2
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_ratio: 0.1
training_steps: 3752

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
1.1838	0.2463	924	1.1104	0.7292
1.0275	1.2463	1848	0.9165	0.7214
0.6294	2.2463	2772	0.9556	0.7409
1.2754	3.2463	3696	0.9022	0.7444
0.6501	4.0149	3752	0.9060	0.7428

Framework versions

Transformers 4.41.2
Pytorch 2.2.1+cu121
Datasets 2.19.2
Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · video-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: VideoMAEForVideoClassification
Ревизия весов: 7eb3920