Характеристики

Лицензия: Apache 2.0
Опубликована: 22 июл 2026

Ссылки

Hugging Face

MolmoBot-Pi0-DROID-toys-absjoint-fullft

shrg7

Языковая модельИзображение, текст → action

Полнослойное дообучение MolmoBot-Pi0 для управления суставами робота по данным DROID-toys.

0скачиваний за 30 дней0лайковвеса обновлены22 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MolmoBot-Pi0-DROID-toys-absjoint-fullft — это полнослойное дообучение MolmoBot-Pi0 для управления роботом, подготовленное shrg7 на небольшом наборе данных droid-toys. Модель предназначена для предсказания абсолютных позиций суставов манипулятора и захвата: выход содержит 8 значений — 7 для руки и 1 для захвата, соответствующих будущему шагу управления.

Чекпойнт завершает расписание обучения на шаге 5000 и сохранён в формате safetensors; нормировочная статистика находится в assets. Оптимизатор не включён, поэтому чекпойнт пригоден для инференса и оценки, но не для возобновления обучения. Проверочная ошибка действий продолжала снижаться к концу обучения, поэтому модель не сошлась. Она обучена на 31 эпизоде и 6 952 кадрах droid-toys и предназначена как базовая точка сравнения, а не как универсальная политика. Лицензия — Apache-2.0.

Сценарии применения

Предсказание абсолютных позиций семи суставов манипулятора и захвата
Оценка робототехнической политики на сценариях набора droid-toys
Сравнение полного дообучения с LoRA на одинаковых данных и конфигурации

Ограничения

Модель обучена на небольшом наборе из 31 эпизода и не предназначена для использования как универсальная политика. Проверочная ошибка ещё снижалась к завершению расписания, поэтому чекпойнт не сошёлся; оптимизатор не сохранён, возобновить обучение из него нельзя.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

MolmoBot-Pi0 — DROID-toys, absolute joint, full fine-tune

Full (action-only) fine-tune of MolmoBot-Pi0-DROID on shrg7/droid-toys, with absolute joint-position action targets.

Checkpoint

Step 5000 (end of schedule), val_action_loss = 0.0079
Flat model.safetensors — loads directly into a plain PI0Pytorch
assets/ holds the norm stats; metadata.pt the run metadata
Optimizer state is not included (inference/eval only, no resume)

Training


Config	`molmobot_pi0_lerobot_droid_absjoint`
Dataset	`shrg7/droid-toys` (LeRobot v3.0) — 31 episodes / 6,952 frames @15fps
Action repr	`joint_absolute` — targets are future absolute joint positions `q[t+1]`, 8-dim (7 arm + gripper)
Action horizon	16
Cameras	`exterior_1_left` (exo) + `wrist_left`, 224×224 resize-with-pad
Trainable	everything except `vision_tower` (frozen via `freeze_filter`)
Batch	64 × 2 grad-accum = 128 effective, 4× NVIDIA L40
LR	5e-5 constant (200-step warmup; `peak_lr == decay_lr`, so the cosine is flat)
Steps	5,000 (~50 epochs), 11h25m

Validation curve

step	val_action_loss
3500	0.0096
4000	0.0086
4500	0.0085
5000	0.0079

Val loss was still descending at the end of the schedule — this checkpoint is not converged, and a longer run should improve on it.

Caveat

droid-toys is a small dataset (31 episodes). Treat this as a baseline for comparison against the LoRA counterpart (MolmoBot-Pi0-DROID-toys-absjoint-lora-r64), which was trained on the same data with the same config, not as a general-purpose policy.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Ревизия весов: 803b95e