Характеристики

Лицензия: Apache 2.0
Базовая модель: VLA-JEPA-Pretrain
Библиотека: lerobot
Опубликована: 11 июл 2026

Ссылки

VLA-JEPA-MolmoAct2YAMData

Языковая модельИзображение, текст → action3 профессии

Дообученная на MolmoAct2-BimanualYAM политика VLA-JEPA принимает виды сцены с трёх камер и предсказывает действия бимануального робота.

12скачиваний за 30 дней0лайковвеса обновлены11 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Jiafei1224 разработал VLA-JEPA MolmoAct2 BimanualYAM — дообученную политику для управления бимануальным роботом на наборе данных MolmoAct2-BimanualYAM. Модель использует три изображения с камер, расположенных сверху, слева и справа, и незамороженную мультимодальную основу Qwen3-VL-2B. Чекпойнт соответствует шагу обучения 50 000; политика предсказывает 14 значений действий — положения суставов и команду для захватов.

Модель предназначена для управления роботом в симуляции MolmoAct2 и загрузки через библиотеку LeRobot. Для оценки приведены ошибки открытого предсказания на 50 отложенных эпизодах; в закрытом цикле задача BimanualYAMPutEverythingInBox-v1 пока не решена. Лицензия — Apache-2.0.

Сценарии применения

предсказание положений суставов бимануального робота
управление захватами робота по изображениям с трёх камер
оценка политики управления на эпизодах YAM
эксперименты с управлением роботом в симуляции MolmoAct2

Ограничения

В закрытой симуляционной оценке на BimanualYAMPutEverythingInBox-v1 модель получила 0%; задача пока не решена. Указанные метрики открытого предсказания получены только на 50 отложенных эпизодах.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.9Разработка и данныеСтатистика, эксперименты и причинный анализAI помогает планировать эксперименты и делать статистически обоснованные выводы о связях и эффектах.18 задач2 881модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

VLA-JEPA MolmoAct2 BimanualYAM (3-cam, unfrozen Qwen)

Fine-tuned VLA-JEPA on the MolmoAct2-BimanualYAM-Dataset with 3 cameras (top, left, right) and an unfrozen Qwen3-VL-2B backbone.

Checkpoint details

Setting	Value
Training step	050000
Cameras	top, left, right
Action dim	14 (joint positions + grippers)
Chunk size	30 (@ 30 Hz)
Qwen	Qwen/Qwen3-VL-2B-Instruct (unfrozen)
Base model	lerobot/VLA-JEPA-Pretrain
Gripper range	[0, 1] (continuous, not binarized)

Usage (LeRobot)

from lerobot.policies.vla_jepa.modeling_vla_jepa import VLAJEPAPolicy

policy = VLAJEPAPolicy.from_pretrained("Jiafei1224/VLA-JEPA-MolmoAct2YAMData")

Usage (MolmoAct2 sim eval server)

See the MolmoAct2 sim_eval docs — serve via an /act HTTP endpoint with all three camera views.

Eval (step 050000)

Open-loop: MSE 0.127, MAE 0.197 (50 held-out episodes)
Closed-loop sim: 0% on BimanualYAMPutEverythingInBox-v1 (infra OK, task not solved yet)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · lerobot

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Ревизия весов: 8bd5446