Характеристики

Лицензия: Apache 2.0
Базовая модель: VLA-JEPA-Pretrain
Библиотека: lerobot
Опубликована: 20 июл 2026

Ссылки

vla-jepa-molmoact-yam-blocks-v2

Языковая модельИзображение, текст → action3 профессии

Дообученная VLA-JEPA политика предсказывает действия бимануального робота по изображениям с трёх камер для манипуляций с блоками.

12скачиваний за 30 дней0лайковвеса обновлены20 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это дообученная политика VLA-JEPA от автора Helen9975 для управления бимануальным роботом в сценарии MolmoAct2-BimanualYAM с блоками blocks_v2. Модель основана на lerobot/VLA-JEPA-Pretrain и предназначена для предсказания действий робота по изображениям с трёх камер, расположенных в порядке top, left, right.

Контрольная точка обучена до шага 100000; выход содержит 14 абсолютных значений суставов и команд для захватов. В рецепте обучения использовались размороженная VLM и функция потерь world model. Для загрузки и запуска требуется библиотека LeRobot. В README приведён результат open-loop smoke-проверки на двух отложенных эпизодах: MSE 0,00672 и MAE 0,0596; эта небольшая проверка не характеризует надёжность на других роботах и сценариях. Лицензия — Apache-2.0.

Сценарии применения

управление бимануальным роботом при манипуляциях с блоками
предсказание движений суставов и команд захватов по изображениям с камер
эксперименты с политиками VLA-JEPA в LeRobot

Ограничения

Проверка в README охватывает только два отложенных эпизода в open-loop режиме; качество на других задачах и конфигурациях робота не установлено. Модель рассчитана на входы с тремя камерами в указанном порядке и выдаёт 14-мерный вектор действий.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели IV.6Отраслевые задачиНаучные исследования, математика и новые материалыAI помогает формировать гипотезы, анализировать научные данные и ускорять открытие новых материалов и методов.39 задач4 120моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

VLA-JEPA MolmoAct2 BimanualYAM (blocks_v2)

Fine-tuned VLA-JEPA on the MolmoAct2-BimanualYAM-Dataset with 3 cameras packed top → left → right, unfrozen VLM, and world-model loss on (blocks_v2 recipe).

Checkpoint details

Setting	Value
Training step	100000
Cameras	top → left → right
Action dim	14 (absolute joints + grippers)
Chunk size	30 (@ 30 Hz)
VLM	unfrozen
World model	on
Base model	lerobot/VLA-JEPA-Pretrain
Gripper range	[0, 1] (continuous)

Usage (LeRobot)

from lerobot.policies.vla_jepa.modeling_vla_jepa import VLAJEPAPolicy
from lerobot.policies.factory import make_pre_post_processors

ckpt = "helen9975/vla-jepa-molmoact-yam-blocks-v2"
policy = VLAJEPAPolicy.from_pretrained(ckpt)
preprocessor, postprocessor = make_pre_post_processors(policy.config, pretrained_path=ckpt)

Open-loop smoke (2 held-out episodes, stride 30, reset-each-step)

MSE: 0.00672
MAE: 0.0596

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · lerobot

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Ревизия весов: 5e9c352