Характеристики

Лицензия: CC BY-NC 4.0
Базовая модель: videomae-base
Опубликована: 16 апр 2024

Ссылки

Hugging Face

videomae-base-finetuned-isl-numbers

latif98

Классификация видеоВидео → label

Дообученная VideoMAE-base для классификации видеожестов, вероятно, с целью распознавания чисел на ISL.

0скачиваний за 30 дней0лайковвеса обновлены20 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

latif98/videomae-base-finetuned-isl-numbers — модель классификации видео, созданная дообучением VideoMAE-base от MCG-NJU. По названию репозитория она предназначена для распознавания чисел на видео с жестами на международном жестовом языке (ISL), однако README не описывает набор классов и обучающие данные.

Модель принимает видео и выдаёт метку класса. В README приведены результаты на оценочной выборке: accuracy 0,6444 и loss 1,1287. Использование весов регулируется лицензией CC BY-NC 4.0, которая требует указания авторства и не разрешает коммерческое использование.

Сценарии применения

классификация видеозаписей жестов ISL по числам
распознавание числовых жестов на видео
оценка класса жеста в видеопотоке

Ограничения

README не уточняет обучающий набор данных и перечень распознаваемых классов; указанные метрики получены на оценочной выборке, состав которой не описан. Лицензия CC BY-NC 4.0 запрещает коммерческое использование.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

videomae-base-finetuned-isl-numbers

This model is a fine-tuned version of MCG-NJU/videomae-base on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 1.1287
Accuracy: 0.6444

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_ratio: 0.1
training_steps: 1100

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
2.4795	0.02	22	2.4767	0.0256
2.4249	1.02	44	2.4351	0.1026
2.4561	2.02	66	2.4196	0.1026
2.3841	3.02	88	2.3735	0.1026
2.5186	4.02	110	2.4258	0.0769
2.3806	5.02	132	2.3214	0.1538
2.3579	6.02	154	2.2858	0.1538
2.2955	7.02	176	2.1729	0.1795
2.1351	8.02	198	1.9503	0.3333
2.1626	9.02	220	2.1922	0.2051
2.0905	10.02	242	1.8453	0.3333
1.7091	11.02	264	1.6305	0.4872
1.6316	12.02	286	1.6529	0.3333
1.6399	13.02	308	1.7789	0.2308
1.5139	14.02	330	1.6245	0.3590
1.3315	15.02	352	1.6540	0.2821
1.0726	16.02	374	1.7507	0.2821
1.1432	17.02	396	1.6282	0.3333
1.144	18.02	418	1.3435	0.5128
0.987	19.02	440	0.8631	0.7949
0.8152	20.02	462	1.0812	0.5897
0.8175	21.02	484	1.4527	0.4359
0.7587	22.02	506	1.2309	0.5128
0.6255	23.02	528	1.1940	0.4872
0.6867	24.02	550	0.9270	0.5385
0.7537	25.02	572	0.6586	0.7436
0.6147	26.02	594	0.7935	0.7179
0.4602	27.02	616	0.9698	0.6154
0.482	28.02	638	0.9328	0.6410
0.3436	29.02	660	0.9947	0.6154
0.336	30.02	682	0.8127	0.6410
0.3952	31.02	704	0.5542	0.8205
0.2922	32.02	726	1.3266	0.5897
0.2998	33.02	748	0.9621	0.6410
0.2824	34.02	770	0.7805	0.7436
0.2971	35.02	792	0.4700	0.8462
0.1746	36.02	814	0.6059	0.8205
0.1325	37.02	836	0.4568	0.7436
0.2452	38.02	858	0.3495	0.8462
0.161	39.02	880	0.2546	0.9231
0.1788	40.02	902	0.3275	0.8974
0.201	41.02	924	0.3987	0.8205
0.259	42.02	946	0.5395	0.7692
0.112	43.02	968	0.4591	0.8462
0.0622	44.02	990	0.3455	0.8462
0.1307	45.02	1012	0.5513	0.7436
0.0924	46.02	1034	0.6709	0.7436
0.056	47.02	1056	0.4471	0.8205
0.089	48.02	1078	0.3860	0.8205
0.1798	49.02	1100	0.4313	0.8462

Framework versions

Transformers 4.40.0
Pytorch 2.1.0+cu121
Datasets 2.18.0
Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · video-classification

Нельзя запустить

Доступ к модели ограничен автором; у платформы нет доступа к весам.

Ревизия весов: 195c813