/ Модель

Характеристики

Архитектура
clip · dense
Опубликована
4 мар 2023

plip

Классификация изображений без дообучения3 профессии

CLIP-модель для исследовательской классификации изображений по произвольным текстовым категориям без дообучения.

25 254скачиваний за 30 дней61лайквеса обновлены31 мар 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

vinid/plip — модель на базе CLIP, опубликованная в марте 2023 года. Она предназначена для исследовательской работы с классификацией изображений без дообучения на конкретных классах: модель сопоставляет изображение с текстовыми описаниями классов и выбирает наиболее подходящие. Репозиторий содержит веса PyTorch для архитектуры CLIPModel; карточка не сообщает размер модели или длину контекста.

Основные сценарии — исследование обобщения, устойчивости, смещений и ограничений компьютерного зрения, а также эксперименты с классификацией изображений по произвольно заданным категориям. Модель рассчитана на английские текстовые запросы: она не обучалась и не оценивалась целенаправленно на других языках. Авторы не рекомендуют развёртывание модели; применение к конкретной таксономии требует тщательного тестирования в соответствующей области.

Карточка описывает модель как исследовательский результат, но отдельная лицензия в предоставленных данных не указана. Результаты могут сильно зависеть от набора текстовых меток, а нетестируемое применение может быть вредным; модель не следует использовать как медицинскую консультацию.

Сценарии применения

  • исследование классификации изображений по текстовым меткам
  • сравнение обобщения CLIP на разных наборах категорий
  • анализ устойчивости компьютерного зрения
  • исследование смещений и ограничений моделей зрения

Ограничения

Модель рассчитана на английский язык, а качество зависит от выбранных текстовых меток и требует проверки на конкретной таксономии. Авторы не рекомендуют развёртывание без тщательной оценки; модель не предназначена для медицинских рекомендаций.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Use (from CLIP Model Card)

Intended Use

The model is intended as a research output for research communities. We hope that this model will enable researchers to better understand and explore zero-shot, arbitrary image classification. We also hope it can be used for interdisciplinary studies of the potential impact of such models - the CLIP paper includes a discussion of potential downstream impacts to provide an example for this sort of analysis.

Primary intended uses

The primary intended users of these models are AI researchers.

We primarily imagine the model will be used by researchers to better understand robustness, generalization, and other capabilities, biases, and constraints of computer vision models.

Out-of-Scope Use Cases

Any deployed use case of the model - whether commercial or not - is currently out of scope. Non-deployed use cases such as image search in a constrained environment, are also not recommended unless there is thorough in-domain testing of the model with a specific, fixed class taxonomy. This is because our safety assessment demonstrated a high need for task specific testing especially given the variability of CLIP’s performance with different class taxonomies. This makes untested and unconstrained deployment of the model in any use case currently potentially harmful.

Since the model has not been purposefully trained in or evaluated on any languages other than English, its use should be limited to English language use cases.

Disclaimer

Please be advised that this function has been developed in compliance with the Twitter policy of data usage and sharing. It is important to note that the results obtained from this function are not intended to constitute medical advice or replace consultation with a qualified medical professional. The use of this function is solely at your own risk and should be consistent with applicable laws, regulations, and ethical considerations. We do not warrant or guarantee the accuracy, completeness, suitability, or usefulness of this function for any particular purpose, and we hereby disclaim any liability arising from any reliance placed on this function or any results obtained from its use. If you wish to review the original Twitter post, you should access the source page directly on Twitter.'

Privacy

In accordance with the privacy and control policy of Twitter, we hereby declared that the data redistributed by us shall only comprise of Tweet IDs. The Tweet IDs will be employed to establish a linkage with the original Twitter post, as long as the original post is still accessible. The hyperlink will cease to function if the user deletes the original post. It is important to note that all tweets displayed on our service have already been classified as non-sensitive by Twitter. It is strictly prohibited to redistribute any content apart from the Tweet IDs. Any distribution carried out must adhere to the laws and regulations applicable in your jurisdiction, including export control laws and embargoes.'

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · zero-shot-image-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
CLIPModel
Ревизия весов
67ade53

0 моделей