/ Модель

Характеристики

Контекст
4 096 токенов
Параметры
6,6 млрд
Размер весов
14,1 ГБ
Лицензия
Apache 2.0
Архитектура
geochat · dense
Опубликована
26 фев 2024

geochat-7B

Генерация текстаТекст → текст3 профессии

GeoChat-7B — дообученная мультимодальная модель MBZUAI для вопросов, описаний и обнаружения объектов на снимках дистанционного зондирования Земли.

1 711скачиваний за 30 дней28лайковвеса обновлены1 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

GeoChat-7B — мультимодальная модель MBZUAI для анализа изображений дистанционного зондирования Земли. Модель содержит 6,6 млрд параметров, использует архитектуру GeoChatLlamaForCausalLM и дообучена на основе LLaVA-1.5 для сценариев дистанционного зондирования.

Она предназначена для описания изображений и отдельных областей, визуальных вопросов и ответов, классификации сцен, диалогов с визуальной привязкой и обнаружения объектов по текстовому запросу. Модель рассчитана на работу с изображениями высокого разрешения и региональное рассуждение; README заявляет устойчивые результаты zero-shot на этих задачах.

Модель принимает изображения и текстовые запросы, а отвечает текстом; её контекст составляет 4096 токенов. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. README не приводит количественных оценок качества или сведений об ограничениях применимости.

Сценарии применения

  • ответы на вопросы по спутниковым снимкам
  • создание подписей к снимкам и их отдельным областям
  • классификация сцен на снимках дистанционного зондирования
  • диалоговый анализ изображений дистанционного зондирования
  • поиск и обнаружение объектов на снимках по текстовому описанию

Ограничения

README не приводит количественных оценок качества или ограничений применимости; заявленные возможности относятся к сценариям дистанционного зондирования и не описывают её пригодность для других областей.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

GeoChat-7B

GeoChat is the first grounded Large Vision Language Model, specifically tailored to Remote Sensing(RS) scenarios. Unlike general-domain models, GeoChat excels in handling high-resolution RS imagery, employing region-level reasoning for comprehensive scene interpretation. Leveraging a newly created RS multimodal dataset, GeoChat is fine-tuned using the LLaVA-1.5 architecture. This results in robust zero-shot performance across various RS tasks, including image and region captioning, visual question answering, scene classification, visually grounded conversations, and referring object detection.

  • Developed by MBZUAI

Model Sources

BibTeX:

@misc{kuckreja2023geochat,
      title={GeoChat: Grounded Large Vision-Language Model for Remote Sensing}, 
      author={Kartik Kuckreja and Muhammad Sohail Danish and Muzammal Naseer and Abhijit Das and Salman Khan and Fahad Shahbaz Khan},
      year={2023},
      eprint={2311.15826},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}  

Authors

Kartik Kuckreja, Muhammad Sohail

Contact

kartik.kuckreja@mbzuai.ac.ae

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Архитектура geochat неизвестна transformers в образе рантайма.

Класс архитектуры
GeoChatLlamaForCausalLM
Ревизия весов
cca91eb

0 моделей