Модель OpenVLA для управления роботом SO-101 при укладывании кубиков по изображениям с двух камер и данным о положении робота.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
heewonpark12/v0_so101_stackcube — модель семейства OpenVLA для управления роботом SO-101 при выполнении задачи stackcube. Она принимает два изображения с верхней и кистевой камер и данные о положении робота, а выдаёт последовательности действий. Для работы требуется профиль SO-101 с размерностью действий 6, размерностью proprioception 6 и длиной блока действий 20; профиль LIBERO по умолчанию несовместим с проектором proprioception. Модель опубликована под лицензией MIT.
Требуется профиль SO-101 с параметрами ACTION_DIM=6, PROPRIO_DIM=6 и NUM_ACTIONS_CHUNK=20; стандартный профиль LIBERO не загружает проектор proprioception. Для задачи используются два изображения: с верхней и кистевой камер.
README от автора на Hugging Face, как он его опубликовал
cfg.load_moe = False
cfg.num_images_in_input = 2 # top, wrist
cfg.task_suite_name = "stackcube_so101"
cfg.unnorm_key = "stackcube_so101"
SO-101 robot constants (prismatic/vla/constants.py) must be
ACTION_DIM=6, PROPRIO_DIM=6, NUM_ACTIONS_CHUNK=20. The default LIBERO
profile (7/8/8) fails to load the proprio projector.
| action dim | 6 |
| proprio dim | 6 |
| action chunk | 20 |
| cameras | top, wrist (256x256) |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Модели нужен код из репозитория; автор пока не в списке доверенных организаций.