Характеристики

Параметры: 113 млн
Лицензия: CC BY-NC 4.0
Архитектура: videomae · dense
Базовая модель: videomae-base
Опубликована: 21 мар 2024

Ссылки

Hugging Face

videomae-base-finetuned-crema-d

minhah

Классификация видеоВидео → label3 профессии

Дообученный VideoMAE для классификации видео на данных CREMA-D.

18скачиваний за 30 дней0лайковвеса обновлены22 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

minhah/videomae-base-finetuned-crema-d — видеотрансформер VideoMAE, дообученный автором репозитория на наборе данных CREMA-D для классификации видео. Модель содержит 113,2 млн параметров и использует архитектуру VideoMAEForVideoClassification; веса опубликованы в формате safetensors.

Модель предназначена для отнесения видеороликов к классам. На указанном в карточке наборе оценки достигнуты accuracy 0,7363 и loss 0,7554. Базовая модель MCG-NJU/videomae-base предварительно обучена без учителя и предназначена для извлечения видеопризнаков и последующего дообучения. Репозиторий не описывает точный состав классов и сценарии применения.

Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и запрещающая коммерческое применение.

Сценарии применения

классификация видеороликов по целевым классам CREMA-D
эксперименты с классификацией видеоданных
извлечение меток для видеоаналитики

Ограничения

В карточке не раскрыты состав классов, детали обучающего набора и предназначенные сценарии; приведённые метрики относятся только к указанному оценочному набору. Лицензия CC BY-NC 4.0 запрещает коммерческое использование.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

videomae-base-finetuned-crema-d

This model is a fine-tuned version of MCG-NJU/videomae-base on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.7554
Accuracy: 0.7363

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_ratio: 0.1
training_steps: 2976

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
1.3338	0.25	745	1.1829	0.5421
0.7267	1.25	1490	1.1655	0.5995
0.498	2.25	2235	0.7276	0.7423
0.4823	3.25	2976	0.6291	0.7717

Framework versions

Transformers 4.38.2
Pytorch 2.1.0+cu121
Datasets 2.18.0
Tokenizers 0.15.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · video-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: VideoMAEForVideoClassification
Ревизия весов: a7eac59