/ Модель

Характеристики

Параметры
403 млн
Архитектура
clip_vision_model · dense
Опубликована
21 ноя 2023

ShareGPT4V-7B_Pretrained_vit-large336-l12

Эмбеддинги изображенийИзображение → embedding3 профессии

Зрительный модуль ShareGPT4V на базе CLIP, дообученный для извлечения признаков изображений и использования в мультимодальных моделях.

4 019скачиваний за 30 дней17лайковвеса обновлены27 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это зрительный модуль ShareGPT4V-7B, дообученный командой ShareGPT4V на собственном наборе данных ShareGPT4V. Он предназначен для извлечения признаков изображений и как компонент мультимодальных моделей и чат-ботов; карточка ориентирует его на исследования и эксперименты в компьютерном зрении, обработке естественного языка и машинном обучении. Модуль обучен в ноябре 2023 года на 1,2 млн пар изображение–текст.

В метаданных указана архитектура CLIPVisionModel и размер 402,7 млн параметров; доступен формат PyTorch. Модель принимает изображения и выдаёт визуальные признаки. README не сообщает о поддерживаемых языках или длине контекста, поэтому их не следует считать характеристиками этого отдельного зрительного модуля. Лицензия в предоставленных данных не указана.

Сценарии применения

  • извлечение визуальных признаков из изображений
  • подготовка зрительного компонента мультимодального чат-бота
  • исследования мультимодальных моделей
  • эксперименты с компьютерным зрением и связью изображений с текстом

Ограничения

Это зрительный модуль, а не полноценная мультимодальная чат-модель; README указывает на исследовательское применение. Условия лицензии в предоставленных данных не приведены.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ShareGPT4V Model Card

Model details

Model type: This is the vision tower of ShareGPT4V-7B fine-tuned with our ShareGPT4V dataset.

Model date: This vision tower was trained in Nov 2023.

Paper or resources for more information: [Project] [Paper] [Code]

License

Llama 2 is licensed under the LLAMA 2 Community License, Copyright (c) Meta Platforms, Inc. All Rights Reserved.

Intended use

Primary intended uses: The primary use of this vision tower is research on large multimodal models and chatbots.

Primary intended users: The primary intended users of the model are researchers and hobbyists in computer vision, natural language processing, machine learning, and artificial intelligence.

Training dataset

  • 1.2M high-quality image-text pairs

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · image-feature-extraction

Можно запустить

Подбираем GPU…

Класс архитектуры
CLIPVisionModel
Ревизия весов
7c7cca1

0 моделей