/ Модель

Характеристики

Лицензия
Apache 2.0
Базовая модель
Wan2.2-TI2V-5B
Опубликована
8 окт 2026

WorldCast

Видео из изображенияИзображение, текст → видео

WorldCast — дообученная модель генерации видеосцен для распределённых многопользовательских миров и многопользовательских игровых сценариев.

23скачиваний за 30 дней1лайквеса обновлены10 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

WorldCast — модель генерации видео для распределённых многопользовательских миров, разработанная командой авторов из CUHK-Shenzhen, SLAI, Tsinghua SIGS, Voyager Research, Didi Chuxing и USTC. Она дообучена на базе Wan2.2-TI2V-5B и предназначена для локального запуска генератора у каждого игрока: клиенты обмениваются состояниями игроков и общей сценой, а модель создаёт согласованные игровые видеоблоки.

Репозиторий содержит финальный генератор-студент с дистилляцией до четырёх шагов, а также отдельные модели оценки состояния игрока и глубины сцены. Для работы требуются дополнительные файлы Wan2.2, включая VAE и токенизатор. Лицензия — Apache-2.0.

Сценарии применения

  • генерация игровых видеосцен по исходному изображению
  • создание согласованных сцен для многопользовательской игры
  • локальная генерация видеоблоков на GPU каждого игрока
  • оценка положения игрока по сгенерированным латентным представлениям
  • оценка глубины сгенерированных фрагментов сцены

Ограничения

Для инференса нужны дополнительные файлы Wan2.2, включая VAE, токенизатор и конфигурацию; модель рассчитана на распределённые игровые сценарии, а не на универсальную генерацию видео.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

WorldCast: Distributed Multiplayer World Models

Ziyang Ye1, Junchao Huang1,2, Evelyn Zhang2, Zhihao Xie1, Ruicheng Zhang3, Boyao Han1, Litao Ban4, Ziye Wang4, Xinting Hu5, Shaoshuai Shi4, Zhuotao Tian2, Li Jiang1,2†

1CUHK-Shenzhen  2SLAI  3Tsinghua SIGS  4Voyager Research, Didi Chuxing  5USTC  †Corresponding author

Project page | Code | Paper

WorldCast is a distributed multiplayer world model. Each player runs a local client, a video generator fine-tuned from Wan2.2-TI2V-5B, on its own GPU. Clients exchange only player states, which each client projects into a camera-aligned player state field, and a shared scene state of generated blocks. This repository holds the weights of the release: the final 4-step model first, with everything the inference code loads beside it.

Files

filewhatdtypesizesha256
worldcast_4step_bf16.safetensorsthe final model: the 4-step student (stage 4, distribution matching distillation, 600 steps), EMA weights; the generator the inference code runs (paper Table 3)bf1610.2 GB7cfd85b59de04968814a5d560cf6258c91ede0d3a850bd759fe5cc91c5c35b31
state_model.safetensorsthe state model: encoder, trunk, action encoder, motion head and place head (paper Sec. 3.4); a client's estimate of its own position from the latents it generates (player_state.source: predicted)fp321.4 GB86fbf7e11418c568c2a33c8163774b52d1392dde9619e0dc5d9b277251547b23
depth_head.safetensorspicture depth head of the scene state (depth of each generated block)fp32176.8 MBab599fcd68115142cf3b946e147f3cb89465d0b389371cc3501e1eb3101f6e76
depth_readout.safetensorsread-out of the depth headfp32833.4 kB6994480d726b7e958f519e835fa306b7045cfb19171ade4aebcb594a67ccd873
fixed_prompt_umt5xxl_bf16.safetensorsumT5-XXL embedding of the fixed prompt (the client then skips the 11 GB text encoder)bf164.2 MBa4157803a2c381835b219c079b7d811b7950c3fb2c47741d4552b7bba37cbd0a
config.jsonthe release's description: the weight files by the paths key of the inference code, and the base model with its pinned revision-0.5 kB
examples/inputs and expected videos of six recorded rounds (examples/run.sh of the code); listed in examples/manifest.json of the code-201.6 MB

The generator file holds EMA weights under the parameter names of the release model (WorldCastGenerator), so a strict load_state_dict works. The inference code needs the five weight files above and nothing else of this repository.

Quick start

git clone https://github.com/Ziyang-Ye/WorldCast && cd WorldCast
pip install -e .
python tools/download_weights.py --out-dir weights

This fetches the inference files above, plus the Wan2.2 VAE, tokenizer and config.json from Wan-AI/Wan2.2-TI2V-5B, and writes weights/paths.yaml. Running a session, the examples, and the options of the download: see the code repository.

License and attribution

  • The WorldCast weights are released under the Apache License 2.0.
  • They are fine-tuned from Wan2.2-TI2V-5B (Apache License 2.0).
  • Training data: the OpenCS2 dataset (CC BY 4.0). The files under examples/ are derived from it.
  • The model renders Counter-Strike 2 game content and is intended for research. Counter-Strike 2 is a trademark of Valve Corporation; this work is not affiliated with or endorsed by Valve.

Citation

@article{ye2026worldcast,
  title   = {WorldCast: Distributed Multiplayer World Models},
  author  = {Ye, Ziyang and Huang, Junchao and Zhang, Evelyn and Xie, Zhihao and Zhang, Ruicheng and Han, Boyao and Ban, Litao and Wang, Ziye and Hu, Xinting and Shi, Shaoshuai and Tian, Zhuotao and Jiang, Li},
  journal = {arXiv preprint arXiv:2610.12412},
  year    = {2026}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели «картинка → видео» пока не запускаются.

Ревизия весов
ba723e3

0 моделей