/ Модель

Характеристики

Лицензия
Apache 2.0
Базовая модель
Qwen3-VL-4B-Instruct
Опубликована
8 окт 2026

phi_zero

Видео из изображенияИзображение, текст → видео

PhiZero анализирует начальный кадр и англоязычное описание движения, чтобы рассуждать о будущей динамике и генерировать видео для исследований моделей мира и переноса движения.

9скачиваний за 30 дней0лайковвеса обновлены8 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

PhiZero — модель мира, основанная на физическом языке, выпущенная авторами проекта PhiZero. Она анализирует первый кадр и англоязычное описание движения, рассуждает о будущей динамике в виде последовательности дискретных символов Physical Language и преобразует её в видео. В репозитории объединены компоненты на базе Qwen3-VL-4B-Instruct и Wan2.2-TI2V-5B; файлы весов сохранены в формате safetensors.

Модель предназначена для исследований физической динамики, видеомоделей мира, реконструкции и переноса движения. Заявленные настройки генерации: разрешение 896 × 512, 33 кадра при 8 кадрах в секунду, последовательность Physical Language длиной 256 символов с кодовой книгой на 25 000 символов и 50 шагов диффузии. Для запуска нужны специальный код PhiZero и базовые компоненты Wan2.2-TI2V-5B, которые не включены в репозиторий.

Динамика в сгенерированном видео может быть неточной, нестабильной или физически несогласованной, поэтому результаты не подходят для критически важных решений и управления. Для переноса движения в область робототехники или симуляции с переносом в реальный мир общий чекпойнт токенизатора нужно сначала дообучить на видео соответствующей области. Лицензия репозитория — Apache-2.0; также необходимо соблюдать лицензии и условия базовых моделей.

Сценарии применения

  • генерация продолжения видео по первому кадру и описанию движения
  • исследование моделей мира и предсказания физических динамик
  • реконструкция движения по видео
  • перенос движения после дообучения на видео целевой области

Ограничения

Сгенерированная динамика может быть неточной, нестабильной и не соответствовать физическим ограничениям; модель не предназначена для критически важных решений или управления. Для переноса движения в робототехническую или sim-to-real область токенизатор требует дообучения на видео из соответствующей области.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

PhiZero

Official checkpoints for PhiZero: A World Model Built Around Physical Language.

PhiZero reasons about future dynamics in a discrete Physical Language before rendering those dynamics as video.

Repository contents

.
├── reasoner/
│   ├── config.json
│   ├── model-00001-of-00002.safetensors
│   ├── model-00002-of-00002.safetensors
│   ├── model.safetensors.index.json
│   └── tokenizer and processor files
└── tokenizer/
    ├── tokenizer.safetensors
    └── model_config.json

Physical Language Reasoner

reasoner/ contains the Qwen3-VL-based Physical Language Reasoner. Given a first frame and an English motion caption, it predicts:

<bom> + 256 Physical Language symbols + <eom>

The Physical Language vocabulary contains 25,000 symbols, from <m_0> through <m_24999>.

Physical Language Tokenizer and diffusion decoder

tokenizer/tokenizer.safetensors contains:

  • the Physical Language Tokenizer;
  • the inverse-FSQ and context-conditioning modules;
  • the PhiZero DiT LoRA weights.

Keep tokenizer/model_config.json beside the checkpoint. The official Wan2.2-TI2V-5B base DiT and VAE are not included here. They are resolved separately by the PhiZero code or supplied through local Wan checkpoint paths.

Download

While this repository is private, authenticate with an account that has access:

hf auth login

Clone the PhiZero code and download all checkpoints into the layout expected by the release:

git clone https://github.com/yaoyao-jpg/PhiZero
cd PhiZero

hf download ShuyaoShang/PhiZero --local-dir ckpt

The resulting directory is:

PhiZero/
└── ckpt/
    ├── reasoner/
    └── tokenizer/

Download only the tokenizer/decoder checkpoint:

hf download ShuyaoShang/PhiZero \
  tokenizer/tokenizer.safetensors \
  tokenizer/model_config.json \
  --local-dir ckpt

Download only the reasoner:

hf download ShuyaoShang/PhiZero \
  --include "reasoner/*" \
  --local-dir ckpt

Usage

Follow the installation, training, and inference instructions in the PhiZero code repository.

The default local checkpoint paths are:

export PHIZERO_REASONER_CHECKPOINT="${PWD}/ckpt/reasoner"
export PHIZERO_DECODER_CHECKPOINT="${PWD}/ckpt/tokenizer/tokenizer.safetensors"

Important note for motion transfer

The included tokenizer/tokenizer.safetensors is a general initialization checkpoint and cannot be used directly for robot-domain or sim-to-real motion transfer. First fine-tune it with videos from the same domain as the source motion.

If no additional domain-matched data are available, the source videos can be used directly through reconstruction training. Target videos and paired source-target data are not required. See the source-domain adaptation section in the PhiZero code repository before running motion transfer.

Model settings

  • Output resolution: 896 x 512
  • Output length: 33 frames
  • Frame rate: 8 FPS
  • Physical Language length: 256 symbols
  • Physical Language codebook size: 25,000
  • Default diffusion steps: 50

Intended use and limitations

PhiZero is intended for research on physical-dynamics reasoning, video world models, reconstruction, and motion transfer.

It is not a guaranteed physical simulator. Generated dynamics can be inaccurate, unstable, or inconsistent with real-world constraints. Results should not be used directly for safety-critical control or decision-making.

Inference requires the custom PhiZero code. These checkpoints are not intended to run through the standard hosted Hugging Face inference widget. Users must also comply with the licenses and terms of the upstream base models.

Citation

@article{shang2026phizero,
  title   = {PhiZero: A World Model Built Around Physical Language},
  author  = {Shang, Shuyao and Wang, Yuqi and Gao, Ruopeng and Chen, Xu and
             Tan, Tieniu and Fan, Lue and Zhang, Zhaoxiang},
  journal = {arXiv preprint arXiv:2607.28624},
  year    = {2026}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели «картинка → видео» пока не запускаются.

Ревизия весов
0bdb7fd

0 моделей