🦆 MicroDuck 걷기 정책 — 한국어 실행 기록
MicroDuck(Pollen Robotics의 25cm 이족보행 오리 로봇)에게 걷는 법을 강화학습으로 가르친 정책입니다. 걷는 방법은 코드 한 줄도 가르치지 않았습니다 — 시뮬레이션 속 가상 오리 4,096마리가 동시에 넘어지고 일어나며, PPO 알고리즘이 "잘 걸은 움직임"을 골라 뇌(신경망) 하나로 합쳐가는 방식입니다.
마이크로덕 학습 파이프라인의 한국어 공개 기록을 목표로, 실패를 포함한 전 과정을 기록하며 만들어졌습니다.
파일
| 파일 | 설명 |
|---|---|
bruno_walk_v2.onnx | 평지 플래그십 — 2차 런(재개 학습)의 4,500 iteration 체크포인트. 졸업 시험 3종목(0.3/0.5 m/s 직진 + 회전 주행) 종합 1위 |
bruno_walk_v4_rough.onnx | 험지 전문가 — v2 계보에서 거친 지형 태스크로 +3,000 iteration 파인튜닝. 2cm 자갈밭에서 v2는 넘어지지만 v4는 서서 전진합니다 (평지 속도는 v2의 절반 — 상황별 뇌 교체 용도) |
bruno_walk_3250it.onnx | 1차 런 결과 (3,250 iteration에서 크레딧 소진으로 중단) |
preview_walk.mp4 | 졸업 모델의 0.5 m/s 고속 주행 — 10초 2.11m, 넘어짐 없음 |
졸업 시험 결과 (자체 벤치마크)
체크포인트를 37,250 iteration까지 뽑아 비교한 결과, 실력은 ~4,500 iteration에서 완성되었고 그 이후 3만+ iteration은 시험 점수가 정체/미세 하락했습니다 (37,000 체크포인트는 고속 주행에서 오히려 퇴보). "더 오래 학습 ≠ 더 잘함"의 실측 사례로 기록합니다.
| 체크포인트 | 0.3m/s 직진 | 0.5m/s 고속 | 회전 | 종합 |
|---|---|---|---|---|
| 4,500 (졸업) | 0.67m | 2.11m | 0.37m | 3.15m |
| 12,000 | 0.79m | 1.94m | 0.36m | 3.09m |
| 20,000 | 0.64m | 2.10m | 0.33m | 3.07m |
| 37,000 | 0.64m | 1.17m | 0.38m | 2.19m |
사용법
# 헤드리스 검증 영상 생성
uv run python scripts/rollout_video.py bruno_walk_3250it.onnx out.mp4 0.25 15
전진 속도 명령은 0.25 m/s 이상을 권장합니다 (0.15에서는 거의 걷지 않음 — 실험으로 확인).
학습 정보
- 태스크:
Mjlab-Velocity-Flat-MicroDuck(평지 속도 추종 보행) - 알고리즘: PPO (rsl_rl) · 병렬 4,096 환경 · MuJoCo Warp
- 하드웨어: Hugging Face Jobs 클라우드 GPU (NVIDIA L4 / A10G)
- 재개 학습: 중단된 런의 체크포인트를 새 잡이 내려받아 이어서 학습하는 방식 사용
기록
이 모델은 "두바이에서 로봇 오리를 강화학습으로 키우는" 프로젝트의 일부입니다. 같은 제작자의 첫 강화학습 공개 모델: Brunocho/ppo-Pusher-v5
Microduck × Zellys · Dubai · 2026