/ Модель

Характеристики

Контекст
32 768 токенов
Параметры
7,1 млрд
Размер весов
16,1 ГБ
Лицензия
Apache 2.0
Архитектура
llava_qwen2 · dense
Базовая модель
Qwen2.5-7B-Instruct
Опубликована
21 ноя 2024

Insight-V-Reason

Генерация текстаТекст → текст3 профессии

Insight-V-Reason — мультимодальная модель на базе Qwen2.5 для текстовых ответов и рассуждений по изображениям.

86скачиваний за 30 дней10лайковвеса обновлены22 ноя 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

THUdyh разработала Insight-V-Reason — мультимодальную модель на 7,1 млрд параметров для генерации текста и рассуждений по визуальным данным. Она основана на Qwen2.5-7B-Instruct и архитектуре LlavaQwen2 с визуальным энкодером Oryx-ViT. Модель обучена на смеси из 200 тысяч примеров для улучшения визуального рассуждения; поддерживает английский и китайский языки и контекст до 32 768 токенов.

Модель предназначена для задач, где требуется анализировать изображение, разбивать визуальную задачу на этапы рассуждения и формировать итоговое текстовое объяснение или краткое изложение. В README описаны конвейер генерации данных рассуждений, многоагентная декомпозиция задач и двухэтапное обучение. Весовые файлы доступны в формате safetensors.

Лицензия — Apache-2.0. Карточка описывает модель как основу для исследований мультимодального рассуждения, но не приводит количественных оценок качества или подробностей ограничений; поэтому применимость к конкретным изображениям и сценариям следует проверять отдельно.

Сценарии применения

  • ответы на вопросы о содержимом изображения
  • пошаговое визуальное рассуждение
  • разбор сложных визуальных задач
  • суммаризация результатов анализа изображения

Ограничения

В карточке нет количественных оценок качества и описания ограничений по типам изображений; возможности модели в конкретных сценариях требуют проверки.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Insight-V-Reason

Model Summary

The Insight-V models are 7B parameter models based on Qwen2.5 language model with a context window of 32K tokens.

Insight-V offers 1) a scalable data generation pipeline for long-chain, high-quality reasoning data, 2) a multi-agent system that decomposes visual reasoning tasks into reasoning and summarization, and 3) a two-stage training pipeline to enhance visual reasoning capabilities. Together, these contributions address key challenges in visual reasoning, providing a solid foundation for future research in MLLM reasoning.

Model Architecture

  • Architecture: Pre-trained Oryx-ViT + Qwen2.5-7B
  • Data: a mixture of 200k reasoning data
  • Precision: BFloat16

Hardware & Software

  • Hardware: 64 * NVIDIA Tesla A100
  • Orchestration: HuggingFace Trainer
  • Code: Pytorch

Citation

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Архитектура llava_qwen2 неизвестна transformers в образе рантайма.

Класс архитектуры
LlavaQwen2ForCausalLM
Ревизия весов
d8d663b

0 моделей