/ Модель

Характеристики

Лицензия
CC BY 4.0
Архитектура
custom · dense
Библиотека
transformers
Опубликована
28 авг 2024

CSD-ViT-L

Эмбеддинги изображенийИзображение → embedding3 профессии

Модель ViT-Large извлекает стилевые признаки изображений для сравнения стилей и атрибуции изображений из генеративных наборов данных.

461скачиваний за 30 дней6лайковвеса обновлены4 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

tomg-group-umd/CSD-ViT-L — модель на основе ViT-Large для извлечения стилевых признаков из изображений. Она разработана группой tomg-group-umd как часть системы анализа стиля изображений.

Модель предназначена для получения дескрипторов, отражающих цвет, текстуру, форму и другие составляющие визуального стиля. Их можно использовать для сравнения стилей и установления связи между стилем сгенерированного изображения и изображениями, использованными при обучении текстово-изобразительной модели.

Репозиторий содержит веса PyTorch; для работы указана библиотека Transformers. Лицензия — CC BY 4.0. Данных о контексте и поддерживаемых языках в описании задачи нет; модель принимает изображения и выдаёт признаки для их анализа.

Сценарии применения

  • извлечение признаков визуального стиля изображения
  • сравнение стилевого сходства двух изображений
  • поиск обучающих изображений со стилем, похожим на сгенерированное изображение

Ограничения

Описание не сообщает количественных результатов или ограничений качества; модель предназначена для анализа стиля, а не для генерации изображений.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Quick Links

Description

We present a framework for understanding and extracting style descriptors from images. Our framework comprises a new dataset curated using the insight that style is a subjective property of an image that captures complex yet meaningful interactions of factors including but not limited to colors, textures, shapes, etc.We also propose a method to extract style descriptors that can be used to attribute style of a generated image to the images used in the training dataset of a text-to-image mode

Technical Specification

The checkpoint is for ViT-Large model

Cite our work

If you find our model, codebase or dataset beneficial, please consider citing our work:

@article{somepalli2024measuring,
  title={Measuring Style Similarity in Diffusion Models},
  author={Somepalli, Gowthami and Gupta, Anubhav and Gupta, Kamal and Palta, Shramay and Goldblum, Micah and Geiping, Jonas and Shrivastava, Abhinav and Goldstein, Tom},
  journal={arXiv preprint arXiv:2404.01292},
  year={2024}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · image-feature-extraction

Нельзя запустить

Архитектура custom неизвестна transformers в образе рантайма.

Ревизия весов
5bc26a6

0 моделей