/ Модель

Характеристики

Лицензия
Своя лицензия
Архитектура
turbovla · dense
Опубликована
31 июл 2026

TurboVLA

Языковая модельИзображение, текст → action3 профессии

TurboVLA напрямую преобразует изображения, языковые инструкции и состояние робота в последовательности действий для роботизированных манипуляций.

393скачиваний за 30 дней8лайковвеса обновлены27 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

TurboVLA — модель Vision-Language-Action для управления роботизированными манипуляциями, разработанная исследователями Huazhong University of Science and Technology совместно с Huawei Technologies. Вместо промежуточной генерации текста модель напрямую преобразует визуальные наблюдения и языковую инструкцию в непрерывные последовательности действий робота. В репозитории размещены контрольные точки для бенчмарков LIBERO и RoboTwin 2.0.

Архитектура включает отдельные визуальный энкодер DINOv3 и языковой энкодер BERT, лёгкий двунаправленный обмен признаками и компактный декодер последовательностей действий. Для LIBERO используется DINOv3 ViT-B, два RGB-ракурса, состояние робота и горизонт действий 12; для RoboTwin 2.0 — DINOv3 ViT-L, три изображения 224 × 224, 14-мерное состояние робота и горизонт 50. В README приведён результат LIBERO: 97,7% среднего успеха, задержка 31,2 мс и 0,9 ГБ видеопамяти на RTX 4090. Метаданные указывают английский язык карточки; инструкции задаются естественным языком.

Модель предназначена для оценки и применения в роботизированных манипуляциях на задачах LIBERO и RoboTwin 2.0. В репозитории указаны PyTorch-чекпойнты; лицензия обозначена как other, поэтому условия использования следует сверить с файлами лицензии и условиями авторов перед внедрением. Представленные результаты относятся к указанным бенчмаркам и аппаратной конфигурации.

Сценарии применения

  • управление манипулятором по текстовой инструкции и изображениям с камер
  • выполнение задач перестановки и взаимодействия с объектами в LIBERO
  • оценка политики управления роботом на задачах RoboTwin 2.0

Ограничения

Опубликованные показатели относятся к бенчмаркам LIBERO и RoboTwin 2.0; README не подтверждает переносимость на другие роботы и среды. Для использования нужны синхронизированные RGB-наблюдения, языковая инструкция и состояние робота, а условия лицензии other требуют отдельной проверки.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

1 Huazhong University of Science and Technology, China 2 Huawei Technologies Co. Ltd, China * Equal contribution, listed alphabetically by surname. † Project lead.

🔍 Overview

TurboVLA is a real-time vision-language-action model for robotic manipulation. It replaces the conventional LLM-centric vision-to-language-to-action pathway with a direct vision-plus-language-to-action design: visual observations and language instructions are encoded independently, exchanged through lightweight bidirectional interaction, and decoded into continuous action chunks.

This repository contains the official TurboVLA checkpoints for the LIBERO and RoboTwin 2.0 evaluations.

Vision-language-action (VLA) models commonly adopt an LLM-centric V → L → A pathway, where visual observations are projected into the representation space of a large language model before being decoded into robot actions. Although effective, this design incurs substantial computation and memory overhead at every policy invocation. In this work, we introduce TurboVLA, a new VLA paradigm that reformulates the conventional V → L → A pathway as a direct V + L → A mapping. Instead of using a large language model as the central interface between perception and action, TurboVLA independently encodes visual observations and language instructions, directly exchanges information between them through lightweight bidirectional vision-language interaction, and predicts continuous action chunks with a compact decoder. This simple design constructs task-conditioned representations directly from visual and linguistic features, significantly reducing the computational and memory costs of VLA inference. On LIBERO, TurboVLA achieves 97.7% average success with only 0.2B parameters, 31.2 ms inference latency, and 0.9 GB inference VRAM on a consumer-grade RTX 4090, matching or outperforming substantially larger VLA policies. These results establish TurboVLA as a simple and effective alternative to the prevailing LLM-centric VLA paradigm, offering a new perspective on how vision, language, and action can be connected for efficient robotic manipulation.

✨ Key Ideas

  • Direct vision-plus-language-to-action modeling without an LLM-centric action pathway.
  • Independent DINOv3 visual and BERT language encoders with lightweight bidirectional interaction.
  • Compact action-chunk decoders for low-latency and memory-efficient inference.
  • Official checkpoints for both LIBERO and RoboTwin 2.0.

🎯 Task, Inputs, and Outputs

TurboVLA predicts continuous robot action chunks from synchronized multi-view RGB observations, a natural-language instruction, and the robot proprioceptive state.

BenchmarkInputsOutputAction horizonVisual encoder
LIBEROTwo RGB views, language instruction, robot state7-D continuous actions12DINOv3 ViT-B
RoboTwin 2.0Three 224 x 224 RGB views, language instruction, 14-D robot state14-D absolute joint-position actions50DINOv3 ViT-L

📦 Released Checkpoints

LIBERO

The LIBERO model was jointly trained on all four suites in a single mixed-suite training run. A single unified checkpoint is released for evaluation across all four suites.

Evaluation suitesCheckpoint
LIBERO-Object, LIBERO-Goal, LIBERO-Spatial, and LIBERO-Longcheckpoints/libero/turbovla_libero.pth

The unified LIBERO file is a PyTorch checkpoint containing model_state_dict and the corresponding embedded model_config. Optimizer and scheduler states are not included. The checkpoint is compatible with the official TurboVLA loader.

RoboTwin 2.0

The RoboTwin model was jointly trained on all 50 tasks using both Clean and Randomized data in a single task-balanced run. A single 150,000-step EMA checkpoint is released for evaluation.

Training dataSamplingWeightsCheckpoint
RoboTwin 2.0 Clean + Randomized, all 50 tasksTask-balanced; Randomized:Clean = 10:1EMA at 150,000 optimizer updatescheckpoints/robotwin/steps_150000_ema_pytorch_model.pt

The RoboTwin file is a PyTorch model state_dict; its model configuration and normalization statistics are provided in config.yaml and dataset_statistics.json. Optimizer and scheduler states are not included.

🛠️ Usage

You can download the complete model repository using either the Hugging Face CLI or the Python SDK.

Option 1: Hugging Face CLI (Recommended)

pip install -U huggingface_hub
hf download H-EmbodVis/TurboVLA --local-dir TurboVLA-model

Option 2: Python SDK

from huggingface_hub import snapshot_download

snapshot_download(
    repo_id="H-EmbodVis/TurboVLA",
    repo_type="model",
    local_dir="TurboVLA-model",
)

TurboVLA is a custom PyTorch VLA implementation and is not directly loadable with transformers.AutoModel.from_pretrained(). For installation and evaluation instructions, use the official GitHub repository.

📂 Repository Contents

PathDescription
checkpoints/libero/turbovla_libero.pthUnified checkpoint for all four LIBERO evaluation suites
checkpoints/robotwin/steps_150000_ema_pytorch_model.ptRoboTwin 2.0 mixed-data, task-balanced EMA checkpoint
libero_all4_stats.jsonMixed-suite LIBERO normalization statistics
config.yamlRoboTwin model and inference configuration
dataset_statistics.jsonRoboTwin mixed-data state and action normalization statistics
config.jsonHugging Face model metadata and checkpoint index
DINOv3_LICENSE.mdDINOv3 terms applicable to the released checkpoint parameters
LICENSEApache-2.0 license for the TurboVLA project code

⚖️ License

The TurboVLA source code is released under Apache-2.0. The released checkpoints contain parameters derived from DINOv3 and are distributed subject to the included DINOv3 License. Users must comply with all applicable third-party license terms.

📖 Citation

If you find this work useful, please consider citing:

@article{xie2026turbovla,
  title  = {TurboVLA: Real-Time Vision-Language-Action Model at
            32 Hz on an RTX 4090 with <1 GB VRAM},
  author = {Xie, Hengyi and Yao, Chenfei and Wu, Xianjin and
            Xi, Xuanyang and Tang, Yiping and Xu, Di and
            Zhu, Yingying and Liang, Dingkang and Bai, Xiang and
            Ding, Han},
  journal = {arXiv preprint arXiv:2607.27205},
  year   = {2026}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Класс архитектуры
TurboVLA
Ревизия весов
9cdb576

0 моделей