Модель OpenVLA для управления роботом SO-101 при толкании куба по изображениям с двух камер и состоянию робота.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
heewonpark12/v0_so101_pushcube — специализированная модель семейства OpenVLA для управления роботом SO-101 при выполнении задачи толкания куба. Вход включает два изображения — с верхней и запястной камер — и данные о состоянии робота; модель предсказывает последовательность действий для робота.
Модель рассчитана на профиль pushcube_so101: размерность действия и состояния робота составляет 6, длина блока действий — 20. Для работы требуются соответствующие константы SO-101; стандартный профиль LIBERO с размерностями 7/8/8 несовместим с проектором proprioception. В репозитории указаны веса safetensors и лицензия MIT.
Модель настроена для SO-101 и задачи pushcube_so101; стандартный профиль LIBERO несовместим из-за других размерностей действий и состояния. Для применения нужны изображения с верхней и запястной камер, а также соответствующая конфигурация робота.
README от автора на Hugging Face, как он его опубликовал
.
cfg.load_moe = False
cfg.num_images_in_input = 2 # top, wrist
cfg.task_suite_name = "pushcube_so101"
cfg.unnorm_key = "pushcube_so101"
SO-101 robot constants (prismatic/vla/constants.py) must be
ACTION_DIM=6, PROPRIO_DIM=6, NUM_ACTIONS_CHUNK=20. The default LIBERO
profile (7/8/8) fails to load the proprio projector.
| action dim | 6 |
| proprio dim | 6 |
| action chunk | 20 |
| cameras | top, wrist (256x256) |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Модели нужен код из репозитория; автор пока не в списке доверенных организаций.