/ Модель

Характеристики

Контекст
2 048 токенов
Размер весов
15,1 ГБ
Лицензия
MIT
Архитектура
openvla · dense
Базовая модель
openvla-7b
Библиотека
transformers
Опубликована
9 июл 2026

oft_setting1_chunksize25_batch32_30k

Изображение и текст → текст3 профессии

Дообученная на данных XArm модель OpenVLA-OFT предсказывает действия для захвата кубика и помещения его в пластиковый стакан по изображениям и состоянию робота.

13скачиваний за 30 дней0лайковвеса обновлены9 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это дообученный чекпойнт OpenVLA-OFT на данных реального робота XArm для сценария «взять кубик и положить в пластиковый стакан». Модель использует зрительные наблюдения и состояние робота, чтобы предсказывать последовательности действий манипулятора.

В обучении применялись L1-регрессия, FiLM и параллельное декодирование. Размер блока действий — 25 шагов, размерность действия — 7, размерность проприоцептивных данных — 6; входы включают два изображения рабочей зоны (с камеры от третьего лица и камеры на запястье) и проприоцепцию. LoRA ранга 32 объединена с базовой моделью OpenVLA 7B. Для развёртывания требуется кодовая база openvla-oft и настройка указанных параметров XArm.

Модель предназначена для управления манипулятором XArm в обученном сценарии захвата и размещения объекта. Репозиторий распространяется по лицензии MIT.

Сценарии применения

  • управление XArm при захвате кубика
  • перемещение кубика в пластиковый стакан
  • предсказание блоков действий по изображениям с двух камер
  • эксперименты с OpenVLA-OFT на реальных данных манипулятора

Ограничения

Чекпойнт обучен для конкретного сценария с кубиком, пластиковым стаканом и роботом XArm, поэтому его пригодность для других объектов и установок не подтверждена. Для развёртывания необходима кодовая база openvla-oft и настройка параметров XArm.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

oft_setting1_chunksize25_batch32_30k

Final checkpoint at 30000 / 30000 training steps. OpenVLA-OFT checkpoint fine-tuned on real-world XArm data, setting 1: pick cube and place into plastic cup. LoRA weights (rank 32) are already merged into the openvla/openvla-7b base — this repo is a standalone model.

Training

  • Recipe: OpenVLA-OFT (L1 regression, FiLM, parallel decoding)
  • Steps: 30000 (LR 5e-4, decay after 20000), effective batch size 32
  • Action chunk: 25, action dim: 7, proprio dim: 6 (BOUNDS_Q99 normalization)
  • Inputs: 2 images (3rd-person + wrist) + proprio

Contents

  • Merged model shards (model-*.safetensors)
  • action_head--30000_checkpoint.pt, proprio_projector--30000_checkpoint.pt, vision_backbone--30000_checkpoint.pt — OFT components needed for deployment
  • dataset_statistics.json — action/proprio normalization statistics
  • oft_training_config.json — training configuration snapshot

Use with the openvla-oft codebase; set XArm constants (chunk 25, action dim 7, proprio dim 6) in prismatic/vla/constants.py before deployment.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры
OpenVLAForActionPrediction
Ревизия весов
3394460

0 моделей