/ Модель

Характеристики

Контекст
32 768 токенов
Параметры
4 млрд
Размер весов
10,2 ГБ
Лицензия
Apache 2.0
Архитектура
UNIS · dense
Базовая модель
Xiaomi-Robotics-U0-4B-Sequence
Опубликована
11 сен 2026

Xiaomi-Robotics-U0-4B-Sequence

Генерация текстаТекст → текст3 профессии

Авторегрессионная мультимодальная модель Xiaomi Robotics для генерации чередующихся текстовых подзадач и наблюдений, а также роботизированных видеоразвёрток.

37скачиваний за 30 дней0лайковвеса обновлены17 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

TULLUS/Xiaomi-Robotics-U0-4B-Sequence — вариант модели Xiaomi Robotics U0, опубликованный пользователем TULLUS. Это плотная авторегрессионная модель семейства UNIS на 4 млрд параметров, дообученная на XiaomiRobotics/Xiaomi-Robotics-U0-4B-Sequence. Она предназначена для последовательной генерации мультимодальных данных в робототехнических сценариях: принимает начальные наблюдения и описание задачи, затем формирует чередующиеся текстовые подзадачи и наблюдения либо видеоразвёртку действий в сцене. Семейство U0 использует общий дискретный визуальный токенизатор и единый авторегрессионный подход для мультимодальных последовательностей; для Sequence-вариантов README указывает режимы interleave_subtask и interleave_video с eager backend.

Модель работает с текстом, изображениями и роботизированными наблюдениями. Контекст составляет 32 768 токенов. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. README семейства также описывает генерацию и редактирование изображений, однако эти режимы не заявлены для Sequence-чекпойнта. Практические ограничения: для последовательных задач указан eager backend, а характеристики скорости FlashAR относятся к другим вариантам семейства U0.

Сценарии применения

  • генерация плана подзадач по начальным наблюдениям и инструкции
  • создание последовательности роботизированных наблюдений по описанию задачи
  • генерация видеоразвёртки роботизированного сценария
  • мультимодальное моделирование сцен для робототехнических задач

Ограничения

Sequence-чекпойнты поддерживают interleave_subtask и interleave_video с eager backend; скорость FlashAR из README относится к другим вариантам семейства. Языки модели в предоставленных данных не обозначены.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face
HighlightSummary
🧠World Foundation ModelA 34B autoregressive model for text, images, and embodied observations, initialized from EMU3.5.
🧩Unified Token SpaceUses a shared discrete visual tokenizer and a single next-token objective across multimodal sequences.
🤖Embodied SynthesisBridges foundation image generation with robot-centric scene, transfer, and video generation.
⚡Xiaomi-Robotics-U0-FlashAR AccelerationDecodes visual tokens in anti-diagonal groups and supports vLLM batching for high-resolution inference.
📦Open Inference RepoProvides inference code, composable configs, Gradio entry points, and AR / FlashAR vLLM patch sets.
📈1024x1024 T2I SpeedOn one H20, FlashAR vLLM reaches 5.44 s/img, 82.86x faster than AR eager and 3.04x faster than FlashAR eager.

Xiaomi-Robotics-U0 exposes six public task types through one autoregressive framework:

TaskInput → Output
🎨T2IText prompt → image.
🖼️X2IReference image plus instruction → generated or edited image.
🧭Scene GenScene and task description → multi-view embodied observations.
🔁TransferConditioned embodied observation → target RGB multi-view scene.
🦾interleave_subtaskInitial observations and task instruction → interleaved subtask text and observations.
🎬interleave_videoInitial observation and task context → embodied video rollout.

News

  • [September 2026] 🔥 Released Xiaomi-Robotics-U0-4B, Xiaomi-Robotics-U0-Sequence, and Xiaomi-Robotics-U0-4B-Sequence weights.
  • [September 2026] 💻 Open-sourced the FSDP training code.
  • [July 2026] 🎉 Released the Technical Report.
  • [July 2026] 🔥 Released Xiaomi-Robotics-U0 and Xiaomi-Robotics-U0-FlashAR weights.
  • [July 2026] 💻 Inference code and scripts are now live!

Table of Contents

  1. Model & Weights
  2. Inference
  3. Training
  4. Citation

Model & Weights

Xiaomi-Robotics-U0, Xiaomi-Robotics-U0-4B, and Xiaomi-Robotics-U0-FlashAR support Scene Gen, Transfer, T2I, and X2I. The Sequence checkpoints support interleave_subtask and interleave_video with the eager backend.

Model nameHugging Face WeightModelScope Weight
Xiaomi-Robotics-U0Hugging FaceModelScope
Xiaomi-Robotics-U0-FlashARHugging FaceModelScope
Xiaomi-Robotics-U0-4BHugging Face-
Xiaomi-Robotics-U0-SequenceHugging Face-
Xiaomi-Robotics-U0-4B-SequenceHugging Face-
VisionTokenizerHugging FaceModelScope

Inference

The complete inference implementation, environment setup, configuration reference, command-line examples, and distributed inference instructions are available in inference/README.md.

The repository supports both eager execution and vLLM backends for AR and FlashAR inference. A Gradio demo is also provided for interactive T2I, X2I, Scene Gen, and Transfer workflows.

Training

Training code and environment configuration are reserved for training/README.md and will be added in a future release.

Citation

If you find this work useful, please cite:

@misc{li2026xiaomiroboticsu0,
  title         = {{Xiaomi-Robotics-U0}: Unified Embodied Synthesis with World Foundation Model},
  author        = {Xinghang Li and Jun Guo and Qiwei Li and Long Qian and Hang Lai and Yueze Wang and Hongyu Yan and Jiahang Cao and Xi Chen and Jingen Qu and Jiaxi Song and Nan Sun and Hanye Zhao and Futeng Liu and Wanli Peng and Heyun Wang and Yunhong Wang and Caoyu Xia and Jack Zhao and Diyun Xiang and Hangjun Ye and Heng Qu and Huaping Liu and Jason Li},
  year          = {2026},
  eprint        = {2607.11643},
  archivePrefix = {arXiv},
  url           = {https://arxiv.org/abs/2607.11643}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры
UNISForCausalLM
Ревизия весов
7ccab14

0 моделей