Характеристики

Параметры: 113 млн
Лицензия: Apache 2.0
Архитектура: vit · dense
Базовая модель: vit-base-patch16-224-in21k
Опубликована: 18 мар 2024

Ссылки

Hugging Face

Deepfake-Detection

Hemg

Классификация изображенийИзображение → label3 профессии

Дообученный Vision Transformer классифицирует изображения для выявления дипфейков.

155скачиваний за 30 дней2лайкавеса обновлены19 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Hemg/Deepfake-Detection — модель классификации изображений, созданная дообучением Vision Transformer google/vit-base-patch16-224-in21k. Она предназначена для определения по изображению, является ли оно дипфейком. Модель содержит 113,2 млн параметров, веса опубликованы в формате safetensors, лицензия — Apache-2.0.

В README сообщается точность 0,9609 и loss 0,0975 на оценочном наборе. Данные об этом наборе и обучающей выборке не приведены, поэтому результаты нельзя уверенно переносить на другие источники изображений или условия съёмки.

Сценарии применения

проверка изображения на признаки дипфейка
первичная сортировка изображений для проверки подлинности
классификация изображений при анализе синтетических подмен

Ограничения

Сведения о датасете, составе классов и условиях оценки не приведены, поэтому заявленную точность нельзя обобщать на новые данные. Модель принимает изображения и предназначена для классификации; README не описывает дополнительные возможности.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.11Разработка и данныеКибербезопасность и приватностьAI помогает обнаруживать киберугрозы, защищать данные и помогать реагировать на инциденты.25 задач4 232модели IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей IV.8Отраслевые задачиГосударственное управление, правосудие и чрезвычайные ситуацииAI помогает улучшать государственные услуги, управление ресурсами, правосудие и реагирование на чрезвычайные ситуации.47 задач2 517моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Deepfake-Detection

This model is a fine-tuned version of google/vit-base-patch16-224-in21k on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.0975
Accuracy: 0.9609

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.0003
train_batch_size: 32
eval_batch_size: 32
seed: 42
gradient_accumulation_steps: 4
total_train_batch_size: 128
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_ratio: 0.1
num_epochs: 4
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
0.2726	1.0	954	0.1983	0.9174
0.1616	2.0	1909	0.1468	0.9388
0.1189	3.0	2863	0.1136	0.9537
0.082	4.0	3816	0.0975	0.9609

Framework versions

Transformers 4.38.2
Pytorch 2.1.2
Datasets 2.18.0
Tokenizers 0.15.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · image-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: ViTForImageClassification
Ревизия весов: 183ee45