/ Модель

Характеристики

Контекст
512 токенов
Лицензия
Своя лицензия
Базовая модель
TurboVLA
Библиотека
pytorch
Опубликована
29 сен 2026

TurboVLA-base

Языковая модельИзображение, текст → action3 профессии

Готовый к дообучению чекпойнт vision-language-action, который преобразует изображения камер, английскую инструкцию и состояние SO-100/SO-101 в последовательность действий манипулятора.

22скачиваний за 30 дней0лайковвеса обновлены29 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

TurboVLA-base (SO-100) — готовая к дообучению модель vision-language-action для управления манипулятором SO-100/SO-101; разработчик в карточке явно не назван. Модель примерно на 0,2 млрд параметров объединяет визуальный энкодер DINOv3 ViT-B, текстовый энкодер BERT и шесть двунаправленных слоёв cross-attention. ACT-подобный декодер за один проход предсказывает последовательность из 12 непрерывных шагов действия.

На вход модель принимает два RGB-изображения с камер (вид спереди и с запястья), инструкцию на английском языке и 6-мерное состояние суставов робота. Она предназначена для дообучения на данных конкретной роботизированной задачи и последующего предсказания действий манипулятора. Веса основаны на официальном чекпойнте TurboVLA для LIBERO; некоторые параметры, зависящие от конфигурации робота, инициализированы заново. Для дообучения нужны статистики нормализации из набора данных.

В README указана лицензия «other» без дополнительных условий, поэтому точные права использования по имеющимся данным определить нельзя. Чекпойнт рассчитан на SO-100/SO-101, принимает английский текст и сам по себе не содержит статистик нормализации для целевого набора данных.

Сценарии применения

  • дообучение управления манипулятором SO-100 на демонстрациях
  • захват и перемещение объектов по текстовой инструкции
  • перекладывание предметов между контейнерами
  • предсказание последовательности движений по изображениям с двух камер

Ограничения

Модель рассчитана на манипуляторы SO-100/SO-101 и принимает инструкции на английском языке; для дообучения нужны статистики нормализации из целевого набора данных. Веса содержат заново инициализированные параметры, зависящие от конфигурации робота, поэтому чекпойнт предназначен для дальнейшего дообучения.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

TurboVLA-base (SO-100)

A ready-to-fine-tune TurboVLA checkpoint for the SO-100 / SO-101 arm, in the spirit of lerobot/smolvla_base. No manual model assembly: one folder holds the config, the full weights (DINOv3 ViT-B + BERT + interaction + action decoder) and the tokenizer.

TurboVLA drops the LLM from the VLA loop. DINOv3 encodes each camera, BERT encodes the instruction, 6 bidirectional vision-language cross-attention layers fuse them, and an ACT-style decoder predicts a 12-step continuous action chunk in one pass (~0.2B params, L1 behavior cloning).

How it was made

Built by model/build_turbovla_base.py from the official LIBERO checkpoint H-EmbodVis/TurboVLA/checkpoints/libero/turbovla_libero.pth, the same starting point the paper uses for real-robot fine-tuning. Every tensor is copied as is, except the embodiment-specific ones, which are freshly initialized (seed 0):

  • action_head.state_projection.net.0.weight
  • action_head.state_projection.net.0.bias
  • action_head.state_projection.net.1.weight
  • action_head.state_projection.net.1.bias
  • action_head.decoder.action_projection.layers.2.weight
  • action_head.decoder.action_projection.layers.2.bias

I/O contract

Cameras2 RGB views, order front, wrist, resized + padded to 256x256, ImageNet mean/std
InstructionEnglish text, BERT uncased, padded to 32 tokens
State6-D SO-100 joint positions, normalized with mean/std
Action12 x 6 absolute joint targets, tanh output mapped from per-joint dataset min/max

This base has no normalization stats: they come from your dataset on the first fine-tune and are saved as stats.safetensors. The paper recipe freezes BERT and trains everything else with lr 5e-5, AdamW (0.9, 0.95), L1 loss.

Use it

In robosim-at-home: switch Mode → TurboVLA, open Train, pick PruhaNLP/TurboVLA-base, tick datasets, start. Inference and Eval then list the fine-tuned runs.

Standalone, with model/turbovla.py:

from model.turbovla import TurboEngine

engine = TurboEngine(device="cuda")
engine.load("PruhaNLP/TurboVLA-base")          # config + weights + tokenizer from this repo
# after fine-tuning (stats present):
chunk = engine.predict_chunk({"front": front_pil, "wrist": wrist_pil}, joints, "pick up the cube and put it in the tray")

Files

FileContent
config.jsontype: turbovla, cameras, sizes, interaction / action head, full DINOv3 and BERT configs
model.safetensorsfp32 weights; key names match the official turbovla.models.turbovla.TurboVLA module (transformers 4.x DINOv3 layout vision_encoder.backbone.layer.N)
tokenizer.json, tokenizer_config.jsongoogle-bert/bert-base-uncased tokenizer
DINOv3_LICENSE.md, LICENSElicenses inherited from H-EmbodVis/TurboVLA

The weights load strictly into the official TurboVLA class built with action_dim=6, state_dim=6, num_views=2, image_size=256, text.padding_length=32, and give the same outputs as model/turbovla.py.

License

Weights contain DINOv3-derived parameters and are distributed under the DINOv3 License; TurboVLA code is Apache-2.0.

Citation

@article{xie2026turbovla,
  title   = {TurboVLA: Real-Time Vision-Language-Action Model at 32 Hz on an RTX 4090 with <1 GB VRAM},
  author  = {Xie, Hengyi and Yao, Chenfei and Wu, Xianjin and Xi, Xuanyang and Tang, Yiping and Xu, Di and
             Zhu, Yingying and Liang, Dingkang and Bai, Xiang and Ding, Han},
  journal = {arXiv preprint arXiv:2607.27205},
  year    = {2026}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · pytorch

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Ревизия весов
c15fa68

0 моделей