/ Модель

Характеристики

Лицензия
Своя лицензия
Базовая модель
world-1.5
Библиотека
inspatio-world
Опубликована
28 сен 2026

inspatio-world-v1.5

Видео из изображенияИзображение, текст → видео

InSpatio-World 1.5 генерирует видео из изображения с управлением движением камеры и синтезом новых ракурсов.

0скачиваний за 30 дней1лайквеса обновлены1 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

InSpatio-World 1.5 — набор весов для минимальной реализации inspatio-world, предназначенный для генерации видео из исходного изображения с управлением движением камеры. В репозитории собраны причинный DiT на базе Wan2.1-1.3B, видео-VAE и текстовый энкодер umT5-XXL; веса представлены в формате safetensors и используются в bf16. DiT содержит около 1,42 млрд параметров, VAE — 127 млн, энкодер — 5,7 млрд.

Модель подходит для создания управляемых видеосцен и синтеза новых ракурсов по фотографии, например с командами движения вперёд или поворота. Репозиторий объединяет и переупаковывает компоненты InSpatio-World 1.5, Wan2.1, Florence-2 и DA3; конверсия переименовывает ключи, удаляет неиспользуемые ветви и меняет тип данных, что, согласно README, сохраняет выходы исходных компонентов. Лицензия указана как other, поэтому условия использования следует проверять в карточке модели и у исходных компонентов.

Сценарии применения

  • создание видео из исходной фотографии
  • генерация сцены с движением камеры вперёд
  • создание видео с поворотом камеры
  • синтез новых ракурсов по изображению
  • интерактивное исследование сцены по заданным перемещениям камеры

Ограничения

Для генерации требуется исходное изображение и явно заданные команды движения камеры; README показывает ограниченный пример управления движением. Лицензия обозначена как other, поэтому условия использования требуют проверки.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

InSpatio-World 1.5 — all weights in one repository

Everything InSpatio-World 1.5 (paper) needs at inference, repackaged for the minimal re-implementation inspatio-world: one folder per component, each a config.json + model.safetensors pair loaded with from_pretrained. No other repository is downloaded.

FolderComponentSourceParamsDtype
dit/Causal Wan2.1-1.3B DiT (InSpatio-World 1.5, EMA)inspatio/world-1.51.42 Bbf16
vae/Wan2.1 VAE (causal video autoencoder)Wan-AI/Wan2.1-T2V-1.3B127 Mbf16
text_encoder/umT5-XXL encoderWan-AI/Wan2.1-T2V-1.3B5.7 Bbf16
tokenizer/umT5 tokenizer (tokenizer.json)Wan-AI/Wan2.1-T2V-1.3B——
taehv/TAEHV taew2_1 encoder + decoder (fast stand-ins for the VAE)madebyollin/taehv11.3 Mbf16
depth/Depth-Anything-3 nested giant-large (depth + cameras)depth-anything/DA3NESTED-GIANT-LARGE1.7 Bbf16 / fp32
captioner/Florence-2-base (video prompts for uploads / examples), transformers formatflorence-community/Florence-2-base0.23 Bfp32
examples/Scene folders: the six upstream examples, ten scenes from free Mixkit stock footage and the two video scenes of the InSpatio-World demo (oranges_sidewalk, boxing_ring); trajectories/: camera-path presets with previewsupstream examples, scripts/prepare_stock_examples.py——

The conversion only renames keys (fusing the DiT's q/k/v and cross-attention k/v projections), drops unused branches (DA3's ray / Gaussian-splatting heads) and casts to the dtype each module runs in; upstream runs the DiT, VAE and text encoder in bf16, so outputs are unchanged. It was produced by scripts/convert_checkpoints.py.

Usage

pip install "inspatio-world @ git+https://github.com/julien-blanchon/inspatio-world-v1.5"
inspatio-world generate --source.paths photo.jpg --moves forward:36 turn-right+forward:36 --output out.mp4
from inspatio_world import CameraAction, CameraRig, WorldConfig, WorldModel
from inspatio_world.data import load_scene

world = WorldModel.from_pretrained(WorldConfig(dit_precision="fp8", compile=True))
scene = load_scene(examples_dir / "image_example_00")
session, rig = world.start(scene), CameraRig(scene)
while True:
    block = session.step(rig.advance(CameraAction(forward=1.0, yaw=0.3), session.frames_needed))
    ...  # block.frames: (12, 480, 832, 3) uint8

Interactive demo: spaces/blanchon/inspatio-world-v1.5.

Licenses

Each component keeps its original license:

  • dit/: InSpatio-World 1.5 weights, released by the InSpatio team with the Apache-2.0 code of inspatio/inspatio-world-v1.5.
  • vae/, text_encoder/, tokenizer/: Wan2.1, Apache-2.0.
  • taehv/: TAEHV, MIT.
  • captioner/: Florence-2, MIT.
  • depth/: Depth-Anything-3 DA3NESTED-GIANT-LARGE, CC BY-NC 4.0 (non-commercial).
  • examples/: the upstream examples come from the upstream repository; the others are frames of Mixkit clips under the Mixkit Stock Video Free License, downscaled to 832x480 with estimated depth, for demonstration only; oranges_sidewalk and boxing_ring are the source videos of the InSpatio team's online demo, first 120 frames.

Citation

@misc{inspatio-world,
  title={INSPATIO-WORLD: A Real-Time 4D World Simulator via Spatiotemporal Autoregressive Modeling},
  author={InSpatio Team},
  journal={arXiv preprint arXiv:2604.07209},
  year={2026}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · inspatio-world

Нельзя запустить

Модели «картинка → видео» пока не запускаются.

Ревизия весов
e8e774c

0 моделей