This repository contains the model described in Spatial-MLLM: Boosting MLLM Capabilities in Visual-based Spatial Intelligence.
Project page: https://diankun-wu.github.io/Spatial-MLLM/
Дообученная мультимодальная модель Qwen2.5-VL для диалогового анализа видео и ответов на вопросы о пространственной информации в сценах.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Изображение → текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Diankun/Spatial-MLLM-subset-sft — дообученная мультимодальная модель семейства Qwen2.5-VL, предназначенная для анализа видео и ответов на вопросы о визуальной пространственной информации. Модель содержит 3,1 млрд параметров, использует архитектуру Qwen2_5_VL_VGGTForConditionalGeneration, работает через Transformers и принимает контекст до 128 000 токенов.
Модель описана в работе Spatial-MLLM: Boosting MLLM Capabilities in Visual-based Spatial Intelligence. Она подходит для диалогового анализа видеосцен с пространственным содержанием и формирования ответов на естественном языке. Базовая модель — Qwen/Qwen2.5-VL-3B-Instruct. Репозиторий распространяется по лицензии MIT.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This repository contains the model described in Spatial-MLLM: Boosting MLLM Capabilities in Visual-based Spatial Intelligence.
Project page: https://diankun-wu.github.io/Spatial-MLLM/
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Подбираем GPU…