GR00T-N1.7-3B — OMX Pick-up-Dolls (Cosmos-Augmented)
NVIDIA GR00T N1.7-3B를 Open Manipulator-X(5-DoF + 그리퍼) "인형 집어 옮기기" 태스크에 파인튜닝한 VLA 정책 모델입니다. 원본 텔레오퍼레이션 시연 75개를 Cosmos-Transfer2.5 기반 외관 증강으로 525 에피소드로 확장해 학습했습니다.
학습 데이터
| 구성 | 내용 |
|---|---|
| 원본 | 75 에피소드 (전체 길이, ~30Hz) |
| 증강 | 450 청크 (93프레임/3초, Cosmos-Transfer2.5로 배경·조명·색상 변형) |
| 혼합비 | 원본:증강 = 67:33 (프레임 가중) |
학습 설정
- Base:
nvidia/GR00T-N1.7-3B, embodiment tagNEW_EMBODIMENT(백본 동결, DiT 액션 헤드 학습) - 14,000 스텝, global batch 32 — holdout 검증으로 확정한 최적 학습량 (미학습 시연 5개 기준 과적합 시작점 ≈14k 관측 후 전체 데이터로 재학습)
- 액션: 관절 RELATIVE / 그리퍼 절대값, 16스텝 청크(0.53초)
평가 (open-loop, MSE)
| 평가 세트 | MSE | MAE |
|---|---|---|
| 원본 궤적 | 0.0064 | 0.047 |
| 변형 외관 (증강 검증) | 0.0040 | 0.031 |
| 미학습 시연 (holdout, 520 eps 학습 모델 기준) | 0.0103 | 0.057 |
베이스라인(원본 75 eps만 학습) 대비 변형 외관에서 MSE 36% 개선.
사용법
from gr00t.policy.gr00t_policy import Gr00tPolicy
policy = Gr00tPolicy(
embodiment_tag="new_embodiment",
model_path="pseudolab/GR00T-N1.7-3B-OMX-PickupDolls",
device="cuda",
)
action_chunk, _ = policy.get_action(obs)
관측 형식: video.webcam (1,H,W,3) uint8, state.single_arm (1,5),
state.gripper (1,1), annotation.human.task_description (학습 지시문과 동일).
modality 설정은 동봉된 omx_f_config.py 참조 (Isaac-GR00T 리포 필요).
파일 구성
model-*.safetensors+ index — 모델 가중치 (3 샤드, ~12GB)config.json,processor_config.json,statistics.json,embodiment_id.json— 추론 설정·정규화 통계experiment_cfg/— 학습 당시 설정 스냅샷 (재현용)omx_f_config.py— modality 설정 (데이터셋 재구축·클라이언트 구현 참조용)