/ Модель

Характеристики

Контекст
131 072 токена
Размер весов
29,5 ГБ
Лицензия
Apache 2.0
Архитектура
bagel · dense
Базовая модель
BAGEL-7B-MoT
Библиотека
transformers
Опубликована
24 дек 2025

SenseNova-SI-1.1-BAGEL-7B-MoT

Генерация текстаТекст → текст3 профессии

Мультимодальная модель SenseNova на базе BAGEL для пространственного понимания изображений, диалога и генерации изображений.

33скачиваний за 30 дней5лайковвеса обновлены12 мая 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SenseNova-SI-1.1-BAGEL-7B-MoT — мультимодальная модель SenseNova, дообученная на основе ByteDance-Seed/BAGEL-7B-MoT для развития пространственного интеллекта. Она принимает изображения и текстовые запросы, отвечает на вопросы о пространственных отношениях и сценах, а также сохраняет возможности базовой BAGEL по генерации изображений. Модель построена на архитектуре BAGEL и распространяется в формате safetensors для библиотеки Transformers.

Модель предназначена для пространственного анализа изображений, мультимодального диалога и задач, где нужно интерпретировать взаимное расположение объектов или свойства сцены. В отчёте SenseNova-SI указаны результаты на пространственных бенчмарках, включая VSI-Bench, MMSI, MindCube, ViewSpatial и SITE; модель также сохраняет сильные способности к общему мультимодальному пониманию. Лицензия — Apache 2.0. README описывает проект как продолжающуюся исследовательскую работу; результаты бенчмарков не гарантируют качество на прикладных данных.

Сценарии применения

  • ответы на вопросы о расположении объектов на изображении
  • анализ пространственных отношений между предметами
  • описание сцены и её пространственной структуры
  • мультимодальный диалог по изображению
  • генерация изображений по текстовому запросу

Ограничения

Проект SenseNova-SI продолжает развиваться; заявленные результаты основаны на бенчмарках и могут не отражать качество на прикладных данных. README отмечает риски переобучения и использования языковых подсказок при пространственном рассуждении.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

EN | 中文

SenseNova-SI: Scaling Spatial Intelligence with Multimodal Foundation Models

🔥Please check out our newly released SenseNova-SI-1.2-InternVL3-8B, achieving state-of-the-art performance among open-source models of comparable size across eight recent spatial intelligence benchmarks: VSI, MMSI, MindCube, ViewSpatial, SITE, BLINK, 3DSRBench, EmbSpatial-Bench.

Overview

Despite remarkable progress, multimodal foundation models still exhibit surprising deficiencies in spatial intelligence. In this work, we explore scaling up multimodal foundation models to cultivate spatial intelligence within the SenseNova-SI family, built upon established multimodal foundations including visual understanding models (i.e., Qwen3-VL and InternVL3) and unified understanding and generation models (i.e., Bagel). We take a principled approach to constructing high-performing and robust spatial intelligence by systematically curating SenseNova-SI-8M: eight million diverse data samples under a rigorous taxonomy of spatial capabilities. SenseNova-SI demonstrates unprecedented performance across a broad range of spatial intelligence benchmarks: 68.7% on VSI-Bench, 43.3% on MMSI, 85.6% on MindCube, 54.6% on ViewSpatial, and 50.1% on SITE, while maintaining strong general multimodal understanding (e.g., 84.9% on MMBench-En). More importantly, we analyze the impact of data scaling, discuss early signs of emergent generalization capabilities enabled by diverse data training, analyze the risk of overfitting and language shortcuts, present a preliminary study on spatial chain-of-thought reasoning, and validate the potential downstream application. SenseNova-SI is an ongoing project, and this report will be updated continuously. All newly trained multimodal foundation models are publicly released to facilitate further research in this direction. In the future, SenseNova-SI will be integrated with larger-scale in-house models.

Release Information

We introduce SenseNova-SI-1.1-BAGEL-7B-MoT, built upon a unified understanding and generation base model.

Compared to the model reported in SenseNova-SI technical report, this release retains the original BAGEL model’s image generation capabilities, while extending its spatial intelligence.

🛠️ QuickStart

Installation

We recommend using uv to manage the environment.

uv installation guide: https://docs.astral.sh/uv/getting-started/installation/#installing-uv

git clone git@github.com:OpenSenseNova/SenseNova-SI.git
cd SenseNova-SI/
uv sync --extra cu124 # or one of [cu118|cu121|cu124|cu126|cu128|cu129], depending on your CUDA version
uv sync
source .venv/bin/activate

Hello World

A simple image-free test to verify environment setup and download the model.

python example.py \
  --question "Hello" \
  --model_path sensenova/SenseNova-SI-1.1-BAGEL-7B-MoT

Evaluation

To reproduce the benchmark results above, please refer to EASI to evaluate SenseNova-SI on mainstream spatial intelligence benchmarks.

🖊️ Citation

@InProceedings{sensenova-si,
  title = {Scaling Spatial Intelligence with Multimodal Foundation Models},
  author = {Cai, Zhongang and Wang, Ruisi and Gu, Chenyang and Pu, Fanyi and Xu, Junxiang and Wang, Yubo and Yin, Wanqi and Yang, Zhitao and Wei, Chen and Sun, Qingping and Zhou, Tongxi and Li, Jiaqi and Pang, Hui En and Qian, Oscar and Wei, Yukun and Lin, Zhiqian and Shi, Xuanke and Deng, Kewang and Han, Xiaoyang and Chen, Zukai and Fan, Xiangyu and Deng, Hanming and Lu, Lewei and Pan, Liang and Li, Bo and Liu, Ziwei and Wang, Quan and Lin, Dahua and Yang, Lei},
  booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year = {2026}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры
BagelForConditionalGeneration
Ревизия весов
f88c51b

0 моделей