Классификация изображений без дообученияИзображение, текст → label3 профессии
HPSv2-hf — конвертированная в формат Hugging Face CLIP-модель для оценки человеческих предпочтений к изображениям, созданным ИИ.
1 591скачиваний за 30 дней1лайквеса обновлены19 ноя 2023
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
HPSv2-hf — версия модели HPSv2 в формате Hugging Face CLIPModel, подготовленная adams-story путём конвертации весов из формата OpenCLIP. Модель обучена предсказывать человеческие предпочтения между изображениями, созданными ИИ, сопоставляя изображения и текстовые описания через CLIP-эмбеддинги.
Модель подходит для оценки соответствия сгенерированного изображения текстовому запросу и ранжирования изображений по предполагаемым человеческим предпочтениям. README сообщает, что текстовые и визуальные эмбеддинги совпадают с исходной моделью после конвертации; для обработки используется стандартный CLIPProcessor с процессором openai/clip-vit-base-patch32. Репозиторий содержит веса PyTorch.
Это конверсия исходной модели, а не новое дообучение; автор карточки отдаёт заслугу создателям HPSv2. Условия лицензирования в предоставленных данных не описаны.
Сценарии применения
оценка соответствия сгенерированного изображения текстовому запросу
ранжирование вариантов изображения по предполагаемым предпочтениям людей
автоматический отбор изображений, созданных ИИ
сравнение качества генераций по текстовому описанию
Ограничения
Модель ориентирована на оценку изображений, созданных ИИ, и не является универсальным классификатором качества для любых изображений. Лицензия и количественные показатели качества в предоставленных данных не приведены.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
This is a Huggingface CLIPModel flavor of the HPSv2 model, which is trained to predict human preferences over AI generated images.
I converted the model weights from the openclip format to huggingface CLIPModel.
The two text and image embeddings were tested to be equal before and after conversion.
You can load the model the same as any huggingface clip model:
from transformers import CLIPProcessor, CLIPModel
model = CLIPModel.from_pretrained("adams-story/HPSv2-hf")
processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32") # uses the same exact vanilla clip processor
All credit goes to the original authors of HPSv2
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров