Характеристики

Параметры: 113 млн
Лицензия: Apache 2.0
Архитектура: vit · dense
Опубликована: 5 июл 2023

Ссылки

vit-base-blur

Классификация изображенийИзображение → label3 профессии

Дообученная ViT-модель классифицирует изображения как размытые или чистые, в частности выявляя результаты генерации LDM с недостаточным числом шагов.

35скачиваний за 30 дней7лайковвеса обновлены20 июл 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

WT-MM/vit-base-blur — дообученная модель Vision Transformer (ViT) для бинарной классификации изображений на размытые и чистые. Она основана на google/vit-base-patch16-224-in21k и содержит 113,2 млн параметров. Модель предназначена для выявления изображений, полученных на недостаточном или незавершённом числе проходов LDM при генерации изображений.

Для обучения использовалось около тысячи чистых и размытых изображений, созданных с помощью SD2.1 на 30 и 10 шагах соответственно. В README сообщается точность 1,0 и loss 0,0008 на оценочной выборке; размер и состав этой выборки не приводятся. Модель принимает изображения и выдаёт класс «размытое» или «чистое». Распространяется по лицензии Apache-2.0.

Сценарии применения

отсев размытых изображений после генерации LDM
проверка качества изображений, созданных Stable Diffusion 2.1
разделение изображений на размытые и чистые
автоматическая фильтрация неудачных результатов генерации

Ограничения

Модель обучена на небольшом наборе изображений, связанных с SD2.1 и конкретным числом шагов генерации, поэтому качество на других источниках размытия и генераторах может отличаться. Заявленные метрики относятся к оценочной выборке, подробности о её размере и составе не приведены.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.4Разработка и данныеОтладка, тестирование и качество ПОAI помогает находить дефекты, строить проверки и повышать надёжность программного продукта.25 задач13 978моделей IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

vit-base-blur

This model is a fine-tuned version of google/vit-base-patch16-224-in21k on the blurry images dataset. It achieves the following results on the evaluation set:

Loss: 0.0008
Accuracy: 1.0

Model description

Model trained for binary classification between 'noisy' (blurry) and clean images, where 'noisy' images are the result of unfinished/insufficient passes from an LDM for image generation

Intended uses & limitations

More information needed

Training and evaluation data

1000ish clean and blurry images using 30 and 10 steps respectively on SD2.1

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.0001
train_batch_size: 16
eval_batch_size: 8
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 12

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
0.0082	1.02	100	0.0107	1.0
0.0079	2.04	200	0.0052	1.0
0.0029	3.06	300	0.0028	1.0
0.002	4.08	400	0.0020	1.0
0.0016	5.1	500	0.0015	1.0
0.0013	6.12	600	0.0013	1.0
0.0011	7.14	700	0.0011	1.0
0.001	8.16	800	0.0010	1.0
0.0009	9.18	900	0.0009	1.0
0.0008	10.2	1000	0.0008	1.0
0.0008	11.22	1100	0.0008	1.0

Framework versions

Transformers 4.30.2
Pytorch 2.0.1+cu118
Datasets 2.13.1
Tokenizers 0.13.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · image-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: ViTForImageClassification
Ревизия весов: dc4baf4