Характеристики

Лицензия: Apache 2.0
Базовая модель: MolmoAct2-SO100_101
Опубликована: 5 июл 2026

Ссылки

molmoact2-so101-pickplace-lora

Языковая модельИзображение, текст → action3 профессии

LoRA-дообученная vision-language-action-модель для управления манипулятором SO-100/101 при захвате и перемещении объектов по изображению и текстовой инструкции.

15скачиваний за 30 дней0лайковвеса обновлены5 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

AdalricP/molmoact2-so101-pickplace-lora — LoRA-дообучение 5-миллиардной vision-language-action-модели Allen Institute for AI MolmoAct2-SO100_101 для захвата и перемещения объектов манипулятором SO-100/101. Модель обучена на датасете lerobot/svla_so101_pickplace; опубликованный чекпойнт соответствует шагу 1000, где значение flow-matching loss стабилизировалось около 0,045. Веса представлены как объединённая модель объёмом около 11,5 ГБ в формате safetensors и с точностью bfloat16.

Модель принимает изображения, состояние робота и текстовые инструкции и предсказывает управляющие действия для манипулятора. Подходит для сценариев, подобных команде «подними кубик», при запуске через LeRobot. Для корректного движения на SO-100/101 README указывает калибровку joint_signs=[1,-1,1,1,1,1] и joint_offsets=[0,90,90,0,0,0] в LeRobot версии 0.5.0 или новее. Лицензия — Apache-2.0. Описанное обучение и датасет ограничены задачей pick-and-place; качество на иных манипуляторах и задачах не подтверждено.

Сценарии применения

поднять кубик манипулятором SO-100/101
захватить объект и перенести его в заданное место
выполнять pick-and-place инструкции на датасете svla_so101_pickplace

Ограничения

Обучение ориентировано на задачи pick-and-place с манипулятором SO-100/101; перенос на другие роботы и задачи не подтверждён. Для SO-100/101 требуется указанная в README калибровка суставов в LeRobot 0.5.0 или новее.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей IV.7Отраслевые задачиЦепочки поставок, склады, логистика и международная торговляAI помогает планировать сеть поставок, склады, перевозки и международное движение товаров.42 задачи392модели IV.10Отраслевые задачиДом, личная жизнь, уход и повседневные задачиAI помогает помогать человеку планировать повседневные дела и безопасно управлять домашней средой.30 задач962модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

🦾 MolmoAct2-SO101-PickPlace-LoRA

LoRA fine-tune of allenai/MolmoAct2-SO100_101 — Ai2's 5B vision-language-action model — on the public lerobot/svla_so101_pickplace dataset. Trains on a single 48 GB GPU.

Code & reproducible pipeline: github.com/AdalricP/molmoact2-so101-lora

Results

Flow-matching loss converged by ~step 840:

step	100	500	840	1000
loss	0.204	0.060	0.044	0.045

This checkpoint is step 1000 (fully converged). Weights are the full merged model (~11.5 GB).

Training

LoRA on the VLM (flow-matching action expert fully trained) · bfloat16 · batch 16 · mean/std normalization · 1× NVIDIA A40 (~24 GB peak) · LeRobot molmoact2 policy.

Usage

lerobot-rollout --policy.path=AdalricP/molmoact2-so101-pickplace-lora \
  --robot.type=so101_follower --robot.port=/dev/ttyACM0 \
  --task="pick up the cube" --duration=30

SO-100/101 joint calibration: on LeRobot ≥ 0.5.0 set joint_signs=[1,-1,1,1,1,1], joint_offsets=[0,90,90,0,0,0] or the arm moves the wrong way.

License

Apache 2.0, following the base model. Thanks to Ai2 and LeRobot. Fine-tune on a public demo dataset — a learning project, not a production policy.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Ревизия весов: 78a0f81