Модель OpenVLA для управления роботом SO-101 при захвате куба по изображениям с камер и состоянию робота.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
heewonpark12/v0_so101_pickcube — модель на архитектуре OpenVLA для управления роботом SO-101 при выполнении задачи pickcube_so101. Она принимает два изображения с камер — верхней и установленной на запястье, а также данные о состоянии робота, и предсказывает последовательности из 20 действий. Размерность действий и данных о состоянии составляет 6. Для работы требуется профиль SO-101 с соответствующими параметрами; профиль LIBERO по умолчанию несовместим с проектором proprioception. Репозиторий содержит веса в формате safetensors. Лицензия — MIT.
Для корректной загрузки нужны параметры SO-101: размерность действий и proprioception 6, длина чанка действий 20; профиль LIBERO по умолчанию не подходит. README не описывает качество модели за пределами задачи pickcube_so101.
README от автора на Hugging Face, как он его опубликовал
cfg.load_moe = False
cfg.num_images_in_input = 2 # top, wrist
cfg.task_suite_name = "pickcube_so101"
cfg.unnorm_key = "pickcube_so101"
SO-101 robot constants (prismatic/vla/constants.py) must be
ACTION_DIM=6, PROPRIO_DIM=6, NUM_ACTIONS_CHUNK=20. The default LIBERO
profile (7/8/8) fails to load the proprio projector.
| action dim | 6 |
| proprio dim | 6 |
| action chunk | 20 |
| cameras | top, wrist (256x256) |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Модели нужен код из репозитория; автор пока не в списке доверенных организаций.