Характеристики

Лицензия: Apache 2.0
Базовая модель: VLA-JEPA-Pretrain
Библиотека: lerobot
Опубликована: 9 июл 2026

Ссылки

vla-jepa-molmoact-yam-3cam-unfrozen

Языковая модельИзображение, текст → action3 профессии

Дообученная VLA-JEPA политика, которая по изображениям с трёх камер предсказывает движения двухручного робота для задач манипуляции в симуляции.

15скачиваний за 30 дней0лайковвеса обновлены9 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

VLA-JEPA MolmoAct2 BimanualYAM — модель управления роботом, разработанная автором репозитория и дообученная на наборе данных MolmoAct2-BimanualYAM-Dataset. Она предназначена для выполнения двухручных задач в симуляции и принимает изображения с трёх камер: верхней, левой и правой. Модель предсказывает 14 значений действий, соответствующих положениям суставов и захватам робота; при дообучении использовалась незамороженная визуально-языковая основа Qwen3-VL-2B.

Модель работает в стеке LeRobot и распространяется в формате safetensors под лицензией Apache-2.0. На контрольном шаге 50 000 ошибка открытого прогноза составила MSE 0,127 и MAE 0,197 на 50 отложенных эпизодах. В закрытой симуляционной оценке задача BimanualYAMPutEverythingInBox-v1 не была решена.

Сценарии применения

управление двухручным роботом по трём камерам
предсказание положений суставов и команд захватов
оценка политики робота в симуляции MolmoAct2

Ограничения

В закрытой симуляционной оценке модель не решила задачу BimanualYAMPutEverythingInBox-v1. Результаты открытого прогноза измерены на 50 отложенных эпизодах и сами по себе не подтверждают успешность выполнения задач роботом.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.4Разработка и данныеОтладка, тестирование и качество ПОAI помогает находить дефекты, строить проверки и повышать надёжность программного продукта.25 задач13 978моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

VLA-JEPA MolmoAct2 BimanualYAM (3-cam, unfrozen Qwen)

Fine-tuned VLA-JEPA on the MolmoAct2-BimanualYAM-Dataset with 3 cameras (top, left, right) and an unfrozen Qwen3-VL-2B backbone.

Checkpoint details

Setting	Value
Training step	050000
Cameras	top, left, right
Action dim	14 (joint positions + grippers)
Chunk size	30 (@ 30 Hz)
Qwen	Qwen/Qwen3-VL-2B-Instruct (unfrozen)
Base model	lerobot/VLA-JEPA-Pretrain
Gripper range	[0, 1] (continuous, not binarized)

Usage (LeRobot)

from lerobot.policies.vla_jepa.modeling_vla_jepa import VLAJEPAPolicy

policy = VLAJEPAPolicy.from_pretrained("helen9975/vla-jepa-molmoact-yam-3cam-unfrozen")

Usage (MolmoAct2 sim eval server)

See the MolmoAct2 sim_eval docs — serve via an /act HTTP endpoint with all three camera views.

Eval (step 050000)

Open-loop: MSE 0.127, MAE 0.197 (50 held-out episodes)
Closed-loop sim: 0% on BimanualYAMPutEverythingInBox-v1 (infra OK, task not solved yet)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · lerobot

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Ревизия весов: ad3e07d