This repository contains the model described in Spatial-MLLM: Boosting MLLM Capabilities in Visual-based Spatial Intelligence.
Project page: https://diankun-wu.github.io/Spatial-MLLM/
Производная модели Diankun/Spatial-MLLM-subset-sft. Дообученная мультимодальная модель Qwen2.5-VL для диалогового анализа видео и ответов на вопросы о пространственной информации в сценах.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Карточка модели Diankun/Spatial-MLLM-v1.1-Instruct-820K на Hugging Face совпадает с карточкой Diankun/Spatial-MLLM-subset-sft, поэтому описание составлено по ней.
Diankun/Spatial-MLLM-subset-sft — дообученная мультимодальная модель семейства Qwen2.5-VL, предназначенная для анализа видео и ответов на вопросы о визуальной пространственной информации. Модель содержит 3,1 млрд параметров, использует архитектуру Qwen2_5_VL_VGGTForConditionalGeneration, работает через Transformers и принимает контекст до 128 000 токенов.
Модель описана в работе Spatial-MLLM: Boosting MLLM Capabilities in Visual-based Spatial Intelligence. Она подходит для диалогового анализа видеосцен с пространственным содержанием и формирования ответов на естественном языке. Базовая модель — Qwen/Qwen2.5-VL-3B-Instruct. Репозиторий распространяется по лицензии MIT.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This repository contains the model described in Spatial-MLLM: Boosting MLLM Capabilities in Visual-based Spatial Intelligence.
Project page: https://diankun-wu.github.io/Spatial-MLLM/
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Архитектура spatial-mllm неизвестна transformers в образе рантайма.