/ Модель

Характеристики

Лицензия
Своя лицензия
Библиотека
pytorch
Опубликована
19 июл 2026

troncamp-mani-act

Языковая модельИзображение, текст → action

Набор контрольных точек ACT для управления двухруким роботом Tron2 в четырёх задачах манипуляции в симуляции RoboTwin/Tron2.

0скачиваний за 30 дней0лайковвеса обновлены19 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Набор из четырёх контрольных точек ACT для задач трека TronCamp Mani 2026 на двухруком роботе Tron2. Модели обучены на экспертных демонстрациях TronCamp Mani с использованием кода из GitHub; архитектура использует визуальную основу ResNet-18, три RGB-камеры и 16-мерные векторы состояния и действия. На вход подаются изображения с камер cam_high, cam_right_wrist и cam_left_wrist вместе с qpos; глубина, облака точек, позы конечного эффектора и привилегированное состояние объектов не используются.

Контрольные точки предназначены для воспроизведения соревнования и исследований в соответствующей симуляции RoboTwin/Tron2. Они охватывают задачи adjust_bottle, grab_roller, stack_bowls_two и stack_bowls_three. В README приведены онлайн-показатели успешности для первых трёх задач: 0,59, 0,89 и 0,56 соответственно. Для каждой задачи требуется использовать соответствующий файл статистики датасета.

Модели не проверялись на физическом оборудовании, при другой калибровке камер или с изменёнными объектами задач. Сборка мисок на длинном горизонте чувствительна к накоплению ошибок действий и перекрытиям обзора камер на запястьях; локальные результаты могут отличаться от онлайн-оценки. Лицензия указана как other, без дополнительных условий в доступных сведениях.

Сценарии применения

  • корректировка положения бутылки в симуляции
  • захват валика роботом
  • укладка двух мисок друг на друга
  • укладка трёх мисок друг на друга
  • воспроизведение задач соревнования TronCamp Mani

Ограничения

Модели не проверялись на физическом оборудовании, при другой калибровке камер или с изменёнными объектами задач. Длинная укладка мисок чувствительна к накоплению ошибок действий и перекрытию обзора камер на запястьях; точное воспроизведение онлайн-результатов не гарантируется.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

TronCamp Mani ACT Checkpoints

T1-T4 ACT inference checkpoints for the 2026 TronCamp Mani track on the Tron2 dual-arm robot. The models were trained on TronCamp Mani Expert Demonstrations using the code in the GitHub repository.

The models use three RGB cameras (cam_high, cam_right_wrist, cam_left_wrist) and 16-D qpos; they do not use depth, point clouds, end-effector poses, or privileged object state.

Model Summary

TrackTaskEpochOnline result
T1adjust_bottlebest in 6000-epoch run0.59 SR
T2grab_roller20000.89 SR
T3stack_bowls_two40000.56 SR
T4stack_bowls_three800073.0 /100

Each task directory contains a normalized policy_last.ckpt and its matching dataset_stats.pkl.

Final deployment uses temporal_agg: false. See manifest.json for the exact dataset and code mapping.

Architecture and Training

All four checkpoints use the same ACT configuration:

ParameterValue
Visual backboneResNet-18
Cameras3 RGB views
State/action dimension16 / 16
Chunk size50
Hidden/feed-forward dimension512 / 3200
Encoder/decoder layers4 / 7
Attention heads8
Batch size8
Learning rate1e-5
Weight decay1e-4
KL weight10

The checkpoints were trained with the unmodified official ACT action/time alignment loader. Final deployment uses temporal_agg: false.

Repository Layout

checkpoints/
├── T1-adjust_bottle/{policy_last.ckpt,dataset_stats.pkl}
├── T2-grab_roller/{policy_last.ckpt,dataset_stats.pkl}
├── T3-stack_bowls_two/{policy_last.ckpt,dataset_stats.pkl}
└── T4-stack_bowls_three/{policy_last.ckpt,dataset_stats.pkl}
deploy_policy.yml
manifest.json
checksums.sha256

policy_last.ckpt is a normalized distribution filename. It does not imply that the selected checkpoint was the last epoch of the source run. manifest.json records the source task, dataset setting, selected epoch, SHA256, deployment setting, and online result.

Checkpoint Selection

  • T1: original-loader policy_best.ckpt from the 6000-epoch run.
  • T2: epoch 2000 trained on 993 curated demonstrations.
  • T3: epoch 4000 trained on the first 1000-episode symmetric-contact dataset.
  • T4: epoch 8000 from the from-scratch run. The lowest validation-loss checkpoint near epoch 6514 and the epoch 9000/10000 checkpoints did not improve the 73.0 online score.

Each checkpoint must be used with the dataset_stats.pkl in the same directory. Statistics from another task or data version are incompatible.

Evaluation

Download the repository and point the local evaluator to each task directory:

hf download han-xudong/troncamp-mani-act \
  --local-dir troncamp-mani-act

cd troncamp-mani-act
sha256sum -c checksums.sha256

cd /path/to/troncamp-mani
python starter/eval_local.py --track T1 --ckpt-dir /path/to/troncamp-mani-act/checkpoints/T1-adjust_bottle
python starter/eval_local.py --track T2 --ckpt-dir /path/to/troncamp-mani-act/checkpoints/T2-grab_roller
python starter/eval_local.py --track T3 --ckpt-dir /path/to/troncamp-mani-act/checkpoints/T3-stack_bowls_two
python starter/eval_local.py --track T4 --ckpt-dir /path/to/troncamp-mani-act/checkpoints/T4-stack_bowls_three

The public local seeds and private online seeds follow the same task distribution but are not identical. Exact leaderboard scores are therefore not guaranteed on a local rerun.

Intended Use and Limitations

These models are intended for competition reproduction and research in the matching RoboTwin/Tron2 simulation. They have not been validated on physical hardware, under different camera calibration, or with modified task assets. Long-horizon bowl stacking remains sensitive to compounding action error and wrist-camera occlusion.

Data, Code, and Integrity

Dataset: https://huggingface.co/datasets/han-xudong/troncamp-mani-dataset

Source code: https://github.com/han-xudong/troncamp-mani

checksums.sha256 covers all published inference weights and matching dataset statistics. manifest.json binds them to the Dataset revision and GitHub release commit.

License and Attribution

The top-level source license does not relicense bundled third-party components or proprietary Tron2 assets. Review the source repository LICENSE and NOTICE before redistribution. The checkpoints are simulation-trained research artifacts and carry no real-robot safety warranty.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · pytorch

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Ревизия весов
84ed7ca

0 моделей