Характеристики

Лицензия: Своя лицензия
Библиотека: pytorch
Опубликована: 22 июл 2026

Ссылки

square-robomimic-ckpts

Языковая модельИзображение, текст → action

Набор PyTorch-чекпойнтов BC и CCIL для управления манипулятором в задаче Square robomimic по изображениям и наблюдениям состояния.

0скачиваний за 30 дней0лайковвеса обновлены23 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Набор чекпойнтов политики управления роботом для задачи Square в robomimic, опубликованный helenw. В репозитории собраны варианты поведенческого клонирования (BC) и обучения с использованием CCIL, включая политики с диффузионной архитектурой и визуальными энкодерами DINO или ResNet-18, а также варианты на основе состояния.

Модели предназначены для управления манипулятором в среде Square: вход включает изображения с двух камер и наблюдение за один шаг, выход — абсолютные действия конечного эффектора. Горизонты политики составляют 16 шагов предсказания и 8 шагов исполнения; размерность действия — 10. Карточка приводит результаты оценки для разных вариантов и объёмов демонстраций, но они зависят от конфигурации и не гарантируют улучшение после CCIL.

В репозитории лежат веса PyTorch и сводки отдельных запусков. Лицензия указана как other, поэтому перед использованием следует проверить условия в репозитории.

Сценарии применения

управление манипулятором для выполнения задачи Square в robomimic
предсказание абсолютных действий конечного эффектора по изображениям с камер
сравнение поведенческого клонирования и CCIL на демонстрациях робота
оценка диффузионных политик с энкодерами DINO и ResNet-18

Ограничения

Результаты относятся к конкретной среде Square robomimic и различаются между вариантами; применение вне этой задачи карточкой не подтверждено. Условия лицензии обозначены как other и требуют проверки.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Square (robomimic) BC / CCIL checkpoints

Private release of Square PH absolute-action policies from the AI2 image_ccil Square grid (author helenw).

Companion PushT repo: helen9975/opal-pusht-ckpts.

Layout (by purpose)

Paths are family / data split / train mode — not dated folders.

{family}/data20|data_full/{expert_only,expert_aug}/best.pt
bc_{dino,resnet}/data20|data_full/best.pt
README.md  manifest.json

Families: bc_*, frozen_*, state_*, ft_*, seqa_*, seqb_*, seqc_*.

Quick download

huggingface-cli download helen9975/square-robomimic-ckpts \
  --include "state_tf/**" \
  --local-dir ./square_ckpts

# or whole repo
huggingface-cli download helen9975/square-robomimic-ckpts --local-dir ./square_ckpts

Each cell: best.pt + summary.json. Index: manifest.json.

Task & knobs

Env: robomimic Square PH, absolute EE actions, 2 cams
Image: 140 → crop [128,128]
Policy: diffusion; DINO patch_hw=[3,3] or ResNet-18 + UNet [256,512,1024]
Horizons: obs 1 / pred 16 / act 8; action_dim=10
CCIL eval: 3 seeds × 50 eps, success threshold 0.5
BC eval on card: in-loop 50 eps (indicative; not multi-seed)

Highlights

BC-only (in-loop 50):

Path	recipe	SR
`bc_dino/data_full`	`sb3`	94.0%
`bc_resnet/data_full`	`sb4`	82.0%
`bc_dino/data20`	`sb1`	60.0%
`bc_resnet/data20`	`sb2`	24.0%

Top EA — 20% demos (3×50):

Path	recipe	EA binary SR
`state_unet/data20/expert_aug`	`su1`	70.7%
`state_tf/data20/expert_aug`	`st1`	65.3%
`ft_dino/data20/expert_aug`	`d1`	64.7%
`seqa_dino/data20/expert_aug`	`sa1`	48.0%
`seqb_resnet/data20/expert_aug`	`s3`	42.7%
`seqb_dino/data20/expert_aug`	`s1`	34.7%
`seqc_resnet/data20/expert_aug`	`sc3`	34.0%
`ft_resnet/data20/expert_aug`	`e1`	28.7%

Top EA — full PH:

Path	recipe	EA binary SR
`ft_dino/data_full/expert_aug`	`d2`	94.0%
`state_tf/data_full/expert_aug`	`st2`	90.0%
`seqa_dino/data_full/expert_aug`	`sa2`	90.0%
`ft_resnet/data_full/expert_aug`	`e2`	89.3%
`seqb_dino/data_full/expert_aug`	`s2`	87.3%
`seqb_resnet/data_full/expert_aug`	`s4`	85.3%
`state_unet/data_full/expert_aug`	`su2`	83.3%
`seqc_resnet/data_full/expert_aug`	`sc4`	68.0%

Full leaderboard

Path	recipe	binary_SR	note
`bc_dino/data_full`	`sb3`	0.940	BC-only DINO full
`ft_dino/data_full/expert_aug`	`d2`	0.940	FT BC→CCIL DINO full
`ft_dino/data_full/expert_only`	`d2`	0.920	FT BC→CCIL DINO full
`state_tf/data_full/expert_only`	`st2`	0.907	State TF→CCIL full
`seqa_dino/data_full/expert_aug`	`sa2`	0.900	Seq-A DINO→CCIL full
`state_tf/data_full/expert_aug`	`st2`	0.900	State TF→CCIL full
`ft_resnet/data_full/expert_aug`	`e2`	0.893	FT BC→CCIL ResNet full (rerun wave)
`ft_resnet/data_full/expert_only`	`e2`	0.893	FT BC→CCIL ResNet full (rerun wave)
`seqb_dino/data_full/expert_aug`	`s2`	0.873	Seq-B DINO→CCIL full
`seqb_dino/data_full/expert_only`	`s2`	0.860	Seq-B DINO→CCIL full
`seqb_resnet/data_full/expert_aug`	`s4`	0.853	Seq-B ResNet→CCIL full
`state_unet/data_full/expert_only`	`su2`	0.853	State UNet→CCIL full
`seqa_dino/data_full/expert_only`	`sa2`	0.847	Seq-A DINO→CCIL full
`state_unet/data_full/expert_aug`	`su2`	0.833	State UNet→CCIL full
`bc_resnet/data_full`	`sb4`	0.820	BC-only ResNet full
`seqb_resnet/data_full/expert_only`	`s4`	0.787	Seq-B ResNet→CCIL full
`state_unet/data20/expert_aug`	`su1`	0.707	State UNet→CCIL
`ft_dino/data20/expert_only`	`d1`	0.687	FT BC→CCIL DINO (corrected rerun)
`seqc_resnet/data_full/expert_aug`	`sc4`	0.680	Seq-C ResNet→CCIL full
`frozen_dino/data_full/expert_aug`	`fd2`	0.653	Frozen DINO→CCIL full
`state_tf/data20/expert_aug`	`st1`	0.653	State TF→CCIL
`ft_dino/data20/expert_aug`	`d1`	0.647	FT BC→CCIL DINO (corrected rerun)
`seqc_resnet/data_full/expert_only`	`sc4`	0.633	Seq-C ResNet→CCIL full
`bc_dino/data20`	`sb1`	0.600	BC-only DINO 20%
`state_unet/data20/expert_only`	`su1`	0.547	State UNet→CCIL
`seqa_dino/data20/expert_aug`	`sa1`	0.480	Seq-A DINO→CCIL
`seqb_resnet/data20/expert_aug`	`s3`	0.427	Seq-B ResNet→CCIL
`frozen_dino/data_full/expert_only`	`fd2`	0.360	Frozen DINO→CCIL full
`seqb_dino/data20/expert_aug`	`s1`	0.347	Seq-B DINO→CCIL
`seqc_resnet/data20/expert_aug`	`sc3`	0.340	Seq-C ResNet→CCIL
`state_tf/data20/expert_only`	`st1`	0.333	State TF→CCIL
`seqb_dino/data20/expert_only`	`s1`	0.320	Seq-B DINO→CCIL
`ft_resnet/data20/expert_aug`	`e1`	0.287	FT BC→CCIL ResNet (corrected rerun)
`ft_resnet/data20/expert_only`	`e1`	0.287	FT BC→CCIL ResNet (corrected rerun)
`frozen_resnet/data_full/expert_only`	`fr2`	0.260	Frozen ResNet→CCIL full
`seqb_resnet/data20/expert_only`	`s3`	0.247	Seq-B ResNet→CCIL
`bc_resnet/data20`	`sb2`	0.240	BC-only ResNet 20%
`frozen_resnet/data_full/expert_aug`	`fr2`	0.240	Frozen ResNet→CCIL full
`seqa_dino/data20/expert_only`	`sa1`	0.227	Seq-A DINO→CCIL
`frozen_dino/data20/expert_aug`	`fd1`	0.133	Frozen DINO→CCIL
`seqc_resnet/data20/expert_only`	`sc3`	0.127	Seq-C ResNet→CCIL
`seqc_dino/data_full/expert_aug`	`sc2`	0.120	Seq-C DINO→CCIL full
`frozen_resnet/data20/expert_only`	`fr1`	0.107	Frozen ResNet→CCIL
`frozen_resnet/data20/expert_aug`	`fr1`	0.087	Frozen ResNet→CCIL
`seqc_dino/data_full/expert_only`	`sc2`	0.080	Seq-C DINO→CCIL full
`frozen_dino/data20/expert_only`	`fd1`	0.027	Frozen DINO→CCIL
`seqc_dino/data20/expert_aug`	`sc1`	0.020	Seq-C DINO→CCIL
`seqa_resnet/data20/expert_only`	`sa3`	0.013	Seq-A ResNet→CCIL (corrected rerun)
`seqc_dino/data20/expert_only`	`sc1`	0.013	Seq-C DINO→CCIL
`seqa_resnet/data20/expert_aug`	`sa3`	0.000	Seq-A ResNet→CCIL (corrected rerun)

Recipe families

Family	Codes	Notes
BC-only	`sb1–sb4`	DINO/ResNet × 20%/full
Frozen → CCIL	`fd` / `fr`	Frozen encoder, scratch head
State → CCIL	`st` / `su`	TF / UNet
FT BC → CCIL	`d` / `e`	Warm-start head from BC
Sequential → CCIL	`s` / `sa` / `sc*`	Seq-B / A / C SSL → freeze → CCIL

expert_only = latent FT on expert demos only (--expert_ratio 1.0)
expert_aug = expert + CCIL backward_euler_fast augmentations

Not in this release

seqa_resnet/data_full (no Seq-A ResNet full tab in Square grid)
obsolete dated HF prefixes square20_* / square_r1_* (removed earlier)
contaminated premature-resume dumps (archived under output/arxiv_premature_resume_20260722/)

Caveats

Contaminated premature-resume FT/sa3 weights were removed from this repo (old dated prefixes deleted). ft_* / seqa_resnet here are corrected reruns where applicable (d1/e1/e2/sa3 via rerun wave).
CCIL after strong BC is not guaranteed to improve Square (see e1: EA≈EO).
seqa_resnet 20% (sa3) remains near-zero after the corrected rerun.

Eval example

python eval_checkpoints_multi_seed.py \
  --ckpt ./state_tf/data_full/expert_only/best.pt \
  --output_dir ./eval_out --n_seeds 3 --n_test 50 --base_seed 42 \
  --success_threshold 0.5

Reproduce / re-stage

Local weka: image_embedding/image_ccil — see SQUARE_README.md.

python release/stage_square_ckpts_update.py
set -a && source scripts/ai2/secrets.env && set +a
export HF_HUB_OFFLINE=0 TRANSFORMERS_OFFLINE=0
unset HF_HUB_ENABLE_HF_TRANSFER
python release/upload_opal_to_hf.py \
  --repo helen9975/square-robomimic-ckpts \
  --release-dir release/square_ckpts_20260723 \
  --allow-overwrite
# then delete any leftover obsolete dated prefixes if needed

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · pytorch

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Ревизия весов: f439642