ACT — trash gathering (SO-ARM101 bimanual)
책상 위 쓰레기를 빗자루와 쓰레받기로 쓸어 담는 SO-ARM101 양팔 ACT 정책.
동작 데모와 통합 파이프라인: donghee-ai/PAI
⚠️ 이 정책은 언어 비조건부(language-unconditioned)다
ACT 라 instruction 의 내용 으로 행동이 바뀌지 않는다. 어떤 문자열을 task 로 넣든 학습된 단일 태스크(쓰레기 모으기)만 수행한다.
그래서 통합 파이프라인에서는 LLM 이 "말대로 조종"하지 않고, 의도를 판별해 트리거만 건다 — 사용자 입력이 쓰레기-모으기 의도일 때만 정책을 구동하고, 그 외에는 대화 응답만 한다. 자세한 구조는 PAI 저장소를 참고.
구성
| 항목 | 값 |
|---|---|
| 정책 | ACT (VAE 인코더 4층, dim_model=512, n_heads=8) |
| 비전 백본 | ResNet18 (ImageNet1K_V1 사전학습) |
| 액션 청크 | chunk_size=100, n_action_steps=100 |
| 관측 | observation.state, observation.images.left_front, observation.images.left_wrist |
| 출력 | action (양팔 관절) |
| 로봇 | SO-ARM101 bimanual (bi_so_follower) |
학습
| 항목 | 값 |
|---|---|
| 데이터셋 | danny1002/trash_gathering |
| steps | 20,000 |
| batch size | 32 |
| learning rate | 1e-5 |
| seed | 1000 |
| LeRobot | v0.5.2 |
사용
# 가중치만 받기 (토큰 불필요)
curl -fL -o model.safetensors \
https://huggingface.co/danny1002/act-trash-gathering/resolve/main/model.safetensors
LeRobot 롤아웃에서는 --policy.path 로 이 디렉터리를 가리키면 된다.
카메라 관측키는 bi_so_follower 가 left_arm 의 카메라 dict 키(front/wrist)에
left_ 접두어를 붙여 left_front / left_wrist 로 만든다.
전체 실행 절차(Docker · udev 포트 고정 · 3창 파이프라인)는 PAI 런북에 있다.
한계
- 단일 태스크 전용. 언어로 다른 작업을 시킬 수 없다.
- 학습 환경(책상 배치·조명·카메라 각도)에서 벗어나면 성능이 떨어진다.
- 카메라 2대(front/wrist) 관측을 전제한다. 관측 구성이 다르면 그대로 쓸 수 없다.
- 제어 주파수는 학습 시 25Hz. 낮추면 동작이 그만큼 느려진다.
하드웨어
Jetson AGX Thor (aarch64, CUDA 13 / sm_110) + SO-ARM101 양팔 + UVC 웹캠 2대에서 수집·학습·검증했다.