/ Модель

Характеристики

Лицензия
Apache 2.0
Базовая модель
Qwen3-VL-8B-Instruct
Библиотека
transformers
Опубликована
5 апр 2026

SpatialEdit-16B

Генерация изображенийИзображение, текст → изображение3 профессии

Модель редактирует геометрию сцены на изображении по текстовым инструкциям, включая перемещение и поворот объектов и изменения с точки зрения камеры.

27скачиваний за 30 дней18лайковвеса обновлены8 апр 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SpatialEdit-16B — модель проекта SpatialEdit для тонкого пространственного редактирования изображений. Она принимает исходное изображение и текстовую инструкцию, чтобы перемещать или поворачивать объекты и выполнять изменения, заданные относительно камеры, стараясь сохранять реалистичность сцены и идентичность объектов. Модель обучена на синтетических данных SpatialEdit-500K и оценивалась на бенчмарке SpatialEdit-Bench по правдоподобию и геометрической точности изменений.

В репозитории объединены компоненты Qwen/Qwen3-VL-8B-Instruct и Wan-AI/Wan2.1-T2V-1.3B; для работы также требуются внешние чекпойнты этих моделей, включая VAE Wan 2.1. README описывает модель как исследовательскую. Лицензия репозитория — Apache-2.0.

Сценарии применения

  • Перемещение объекта в заданную часть сцены
  • Поворот объекта на изображении
  • Изменение ракурса сцены относительно камеры
  • Редактирование пространственного положения объектов с сохранением их внешнего вида
  • Создание целевого вида сцены по исходному изображению и пространственной инструкции

Ограничения

Для инференса требуются внешние чекпойнты Qwen3-VL-8B-Instruct и Wan2.1-T2V-1.3B, включая Wan2.1 VAE. README описывает модель как исследовательскую и не приводит количественных ограничений качества или поддерживаемых языков.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SpatialEdit-16B

SpatialEdit-16B is a research model for fine-grained image spatial editing. It is designed to follow spatial instructions such as object moving, object rotation, and camera-centric editing while preserving scene realism and subject identity as much as possible.

This model is released as part of the SpatialEdit project:

https://cdn-uploads.huggingface.co/production/uploads/656a12a3d848a6683a6dfb9e/uMD0fka9fN5iBfSNgmDsj.mp4

Highlights

  • Fine-grained spatial editing from an input image and instruction
  • Supports object-centric and camera-centric manipulations
  • Trained with the SpatialEdit-500K synthetic data engine
  • Evaluated with SpatialEdit-Bench for both plausibility and geometric faithfulness

Overview

SpatialEdit focuses on spatially grounded image editing. Instead of only changing appearance or style, the model aims to edit geometric attributes of a scene, including:

  • object movement
  • object rotation
  • camera trajectory-related editing

Task Definition

Caption suggestion: Task definition of fine-grained image spatial editing.

Application Gallery

3D Point Control

The first and third examples show sparse-view point observations. The second and fourth examples illustrate how SpatialEdit can synthesize richer spatial observations from limited inputs.

Camera Trajectory Editing

Left: input image. Middle: edited target view generated by SpatialEdit. Right: a camera-transition video synthesized from the spatially edited endpoint.

Object Translation

Left: input image. Middle: translated target result generated by SpatialEdit. Right: an interpolated motion sequence built from the edited endpoint.

Object Rotation

Left: input image. Middle: rotated target result generated by SpatialEdit. Right: a smooth transition sequence derived from the edited result.

Required External Checkpoints

Before running inference, please download the following dependencies:

Repository Contents

This model repository is expected to store the checkpoints used by the official codebase. A typical layout is:

SpatialEdit_CKPT/
├── CKPT_PT.pth
└── CKPT_CT_lora/
  • CKPT_PT.pth: full DiT checkpoint
  • CKPT_CT_lora/: LoRA checkpoint used for spatial editing

If your uploaded filenames differ, simply update the paths in the provided scripts.

A recommended local directory structure is:

your_base_path/
├── SpatialEdit_CKPT/
│   ├── CKPT_PT.pth
│   └── CKPT_CT_lora/
└── model/
    ├── Qwen3-VL-8B-Instruct/
    └── Wan2.1-T2V-1.3B/
        └── Wan2.1_VAE.pth

Quick Start

The SpatialEdit GitHub Repository provides a simple local demo script.

Citation

If you find this project useful, please cite the SpatialEdit paper.

@misc{spatialedit,
  title={SpatialEdit: Benchmarking Fine-Grained Image Spatial Editing},
  author={Yicheng Xiao and Wenhu Zhang and Lin Song and Yukang Chen and Wenbo Li and Nan Jiang and Tianhe Ren and Haokun Lin and Wei Huang and Haoyang Huang and Xiu Li and Nan Duan and Xiaojuan Qi},
  year={2026}
}

Please replace the BibTeX entry above with the final official citation if needed.

Acknowledgement

This project builds upon several excellent open-source efforts. We sincerely thank:

We also thank the contributors and collaborators who supported the development of SpatialEdit.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Задача «image-text-to-image» пока не поддерживается рантаймом.

Ревизия весов
37c8c2e

0 моделей