/ Модель

Характеристики

Контекст
131 072 токена
Лицензия
MIT
Архитектура
openvla · dense
Библиотека
transformers
Опубликована
1 сен 2026

VLA-Adapter-LIBERO-Spatial-15000

Изображение и текст → текст

Дообученная на LIBERO политика VLA-Adapter преобразует визуальные наблюдения, инструкции и проприоцептивные данные в действия робота для пространственных задач.

8скачиваний за 30 дней0лайковвеса обновлены1 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Zenma выпустил чекпойнт политики VLA-Adapter, дообученной на LIBERO для пространственных роботизированных задач. Модель построена на OpenVLA с языковой основой Qwen2.5-0.5B и визуальной частью, объединяющей DINOv2 и SigLIP; для предсказания действий используются Bridge-Attention action head и проектор проприоцептивных данных. Указаны 24 слоя языковой части и размер скрытого представления 896.

Модель принимает изображения, текстовые инструкции и проприоцептивные данные и предсказывает действия робота. Для оценки автор приводит конфигурацию LIBERO Spatial с двумя входными изображениями и до восьми шагов открытого цикла. Репозиторий содержит веса в формате safetensors; лицензия MIT. Отдельно загрузить только визуально-языковую основу недостаточно для предсказания действий: требуются файлы action head и proprio projector из этого репозитория.

Сценарии применения

  • управление роботом в пространственных задачах LIBERO
  • предсказание действий по изображению и текстовой инструкции
  • оценка роботизированной политики в LIBERO Spatial
  • управление роботом с использованием проприоцептивных данных

Ограничения

Для предсказания действий необходимы action head и proprio projector из репозитория; одна только визуально-языковая основа этого не обеспечивает. Чекпойнт ориентирован на LIBERO Spatial, и README не приводит результатов оценки качества.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

VLA-Adapter-LIBERO-Spatial-15000

VLA-Adapter policy: a Qwen2.5-0.5B prism backbone (fused DINOv2 + SigLIP vision) with a layer-wise Bridge-Attention action head, fine-tuned on LIBERO.

Backboneqwen25-0_5b-extra
LLM896 hidden x 24 layers
Visionvit_large_patch14_reg4_dinov2.lvd142m + vit_so400m_patch14_siglip_224
Image size224x224
Action headMLP-ResNet, Bridge Attention (Pro)
ObjectiveL1 regression over the action chunk
Checkpointconfigs+libero_spatial_no_noops+b16+lr-0.0001+lora-r64+dropout-0.0--image_aug--VLA-Adapter--libero_spatial_no_noops--20260727_221630--15000_chkpt
unnorm_keylibero_spatial_no_noops
Evaluated onlibero_spatial
Success rate98.6%

Component files were renamed to the convention the evaluation loader expects:

  • action_head--15000_checkpoint.pt -> action_head--checkpoint.pt
  • proprio_projector--15000_checkpoint.pt -> proprio_projector--checkpoint.pt

Evaluating

The evaluation code loads the action head and proprio projector from a local directory, and only accepts a Hub repo id if it is in its hardcoded allowlist, so download the repo first:

hf download Zenma/VLA-Adapter-LIBERO-Spatial-15000 --local-dir ckpts/VLA-Adapter-LIBERO-Spatial-15000

python experiments/robot/libero/run_libero_eval.py \
    --pretrained_checkpoint ckpts/VLA-Adapter-LIBERO-Spatial-15000 \
    --task_suite_name libero_spatial \
    --num_images_in_input 2 \
    --use_proprio True \
    --use_l1_regression True \
    --num_open_loop_steps 8

use_pro_version is inferred from whether the checkpoint path contains "Pro", so keep that substring in the directory name -- this checkpoint is a Pro head.

Loading the VLM alone

from transformers import AutoModelForVision2Seq, AutoProcessor

processor = AutoProcessor.from_pretrained("Zenma/VLA-Adapter-LIBERO-Spatial-15000", trust_remote_code=True)
vla = AutoModelForVision2Seq.from_pretrained("Zenma/VLA-Adapter-LIBERO-Spatial-15000", trust_remote_code=True)

This gives the backbone only. Action prediction additionally needs action_head--checkpoint.pt and proprio_projector--checkpoint.pt from this repo, instantiated as in experiments/robot/openvla_utils.py.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры
OpenVLAForActionPrediction
Ревизия весов
267030b

0 моделей