MuJoCo 4족보행 제어·강화학습 구현과 랩 세미나
2025.04 ~ 2025.06 · 단독 연구·구현, SC Lab 내부 세미나 진행
MuJoCo 3, PyTorch, Stable-Baselines3, Gymnasium, NumPy, wandb, uv
문제
- 4족보행 논문은 결과만 제시
- 보상 함수의 형태, 치팅 차단, 학습 안정화 방법은 재현해 봐야 알 수 있는 영역
목표
- 기초 제어 이론부터 강화학습까지 단계별 재현
- 재현 과정을 문서로 남겨 연구실에 공유
구현 범위: Unitree GO2, 12-DOF
- 고전 제어: Forward Kinematics 기반 관절 직접 제어, 관절 타입별 차등 게인(hip/thigh/calf) PD 제어기
- 토크 직접 제어와 위치 명령 제어의 이원화
- Gait 생성: trot·walk·pace·gallop 4종 보행의 위상차 테이블과 swing/stance 사인 궤적을 생성하는 위상 기반 gait 생성기(CPG 계열)
- 참조 모션과 모방 보상(imitation reward)의 연결
- 강화학습: PPO를 PyTorch로 from-scratch 구현(GAE, clipped surrogate, Actor-Critic 공유망)해 Stable-Baselines3 구현과 비교
- SubprocVecEnv 12병렬 학습, RTX 4080 기준 96병렬 환경 + 혼합정밀도(AMP) 대용량 학습 파이프라인 구성
- 관찰·보상 설계: projected gravity, 속도 명령 추종, 발 공중시간 보상 등 Isaac Lab 계열 정석 설계의 단계적 도입
해결한 문제: 현상·원인·해결 순으로 문서화
- 호핑 치팅: 전진 보상을 수직 점프로 챙기는 지역해, 수직 속도 페널티로 차단
- 조기종료: 학습 초기에 바로 넘어져 데이터가 쌓이지 않는 문제, gait 활동 감지 시 임계값 완화로 해결
- 정지 지역해: 서서 버티기만 하는 정책, gait 강제 혼합(80% gait + 20% RL)과 정지 페널티로 탈출
- 헤드리스 렌더링: GPU 서버에서 MuJoCo 렌더링 불가, X11 포워딩·Xvfb 가상 디스플레이로 해결하고 OS별(macOS/Linux) 렌더링 분기 구현
배운 점
- 에이전트는 보상의 빈틈을 결국 찾아내므로, 보상 함수는 세대마다 드러난 치팅을 막으며 다듬어 가는 대상
- from-scratch 구현과 라이브러리(SB3) 구현을 병행하며 라이브러리가 감춘 수치 안정성 처리(클리핑·NaN 방어)의 필요성 체감
성과
- 약 16,000줄, 62커밋, 문서 16편
- 6세대에 걸친 환경·보상의 진화를 코드 스냅샷과 연구보고서로 보존
- 해당 기록을 본론으로 연구실 전체 세미나 진행
- 호핑 치팅·조기종료·정지 지역해·헤드리스 렌더링 문제 해결
발휘 역량
- FK, PD 제어, 위상 기반 gait 생성기를 코드로 구현
- PPO를 from-scratch로 구현해 라이브러리 구현과 비교, 병렬 학습 파이프라인 구성
- 치팅·지역해의 원인을 분석해 보상 항으로 차단
- 연구보고서 문서화와 랩 세미나 진행으로 연구실에 지식 공유