sxngt

《MuJoCo로 알아보는 Bio-inspired Robotics》 2부작 집필: 사족보행편·이족보행편

2026.08 · 단독 저자(커리큘럼 설계, 로봇 모델링, 실습 코드 126편, 본문·그림 구현·검증)

MuJoCo 3.12, MJCF, Python 3.12, NumPy, Gymnasium, Stable Baselines3 (PPO), PyTorch, MuJoCo MJX / JAX, matplotlib, uv, EPUB 3

GitHub

사족보행편·이족보행편 표지: 두 표지의 로봇 모두 책의 실습 코드로 렌더링

문제

  • 보행 로봇 논문은 결과만 제시, 교과서는 완성된 이론을 위에서 아래로 전달
  • 내 시뮬레이터에서 무엇을 어떻게 해야 하는지 단계별로 알려 주는 한국어 자료 부재

목표

  • 로봇 한 대를 만들고, 걷게 하고, 걸음을 측정하고, 강화학습으로 보정하는 전 과정을 GPU 없이 노트북 CPU만으로 재현할 수 있는 입문 자료 마련
  • 집필 원칙: 본문의 모든 코드 블록 첫 줄에 출처 경로 명시, 모든 실행 결과와 그림은 저장소 스크립트의 실제 출력만 수록
  • 사족보행편은 걸음의 다양성(walk·trot·pace·gallop), 이족보행편은 균형(support polygon·ZMP·capture point)을 축으로 같은 구조를 두 번 반복
  • 네 발은 기본적으로 서 있고 두 발은 기본적으로 넘어진다는 차이를 6장 이후 설계의 분기점으로 설정

커리큘럼 구성: 이해 → 도구 → 구현 → 측정 → 학습

Part장사족보행편이족보행편
서장1장AI 시대에 기본기를 말하다가장 불안정한 걸음을 배우는 이유
1 이해2~3장생체모방의 세 추상화 수준 / stance·swing, duty factor, 위상, gait 전환과 Froude number, support polygon사람의 보행 주기(heel strike~toe off), step·stride·cadence·double support, 도립진자 모델, ZMP·capture point
2 도구4~5장MuJoCo의 사고방식(mjModel·mjData, timestep·solver·접촉) / MJCF로 12관절 사족 로봇 설계·검증같은 도구 위에 도립진자 균형 제어 / 10관절 이족 로봇(발목 roll·pitch 포함) 설계·검증
3 구현6~8장PD 제어와 gain 튜닝 / 결합 위상 진동자(CPG)로 trot·walk 구현 / 발 접촉 로깅과 gait 분석, 개의 trot과 비교지지 다리 중력 보상과 ankle strategy / 무게 옮기기 + 발 내딛기의 정적 보행 / 사람 걸음과 비교, ZMP·capture point로 넘어짐 해부
4 학습9~12장RL·PPO 최소 이론 → residual learning 전략 / Gymnasium 환경(관측 53·행동 12) / SB3 PPO 학습 / reward 항 하나씩 더하는 통제 실험, reward hacking 박물관, 밀기 curriculum같은 흐름을 이족 맥락으로(관측 43·행동 10) / 방향 이탈·좌우 비대칭·접지 충격을 reward 항으로 하나씩 제거
5 확장13장거친 지형·경사·마찰·짐, MJX 병렬화 벤치마크, 관측 잡음·지연(sim-to-real 간극), 생성기 매개변수 개방보정 폭 실험("20 N의 벽"), 생성기 개방, MJX, 경사 두 방식 비교, 짐 들고 걷기
부록A~D트러블슈팅 25항목 / MJCF 레퍼런스 / 용어집 / 논문·오픈소스 로드맵같은 구성 + ZMP·capture point·수동 보행·Cassie~휴머노이드 계보
  • gait 분석을 3장(이론) → 8장(내 로봇 측정) → 12장(개선 검증)에 세 번 배치해, 같은 기준으로 하드코딩 걸음과 학습된 걸음을 측정하고 개선 폭을 정량 비교
  • 실패를 다루는 절(7.6 open-loop 한계 목격, 8.5 넘어짐의 해부, 12.3 reward hacking 사례집)을 두 권 공통 구성으로 두고 분량 축소 없이 유지

기술 스택별 적용

  • 물리 시뮬레이션: MuJoCo 3.12 C 엔진 + Python 바인딩
    • timestep·solver·접촉 파라미터(condim, solref)의 의미를 실험으로 확인
    • mj_setConst·mj_subtreeVel처럼 빠뜨리면 조용히 틀리는 호출까지 본문에 명시
  • 로봇 모델링: MJCF 수작업 작성
    • 사족 12관절(±12 N·m 토크 모터), 이족 10관절(hip roll/pitch, knee, ankle pitch/roll, 10.5 kg, 토크 한계 40/25 N·m)
    • 낙하·밀기·센서 검증 스크립트로 모델을 의심하는 절차를 5장에 포함
  • 고전 제어: 관절 PD, 관성 기반 임계 감쇠(critical_kd), 중력 보상(공중 관절·지지 다리 분리), 목표 각속도 feedforward, 500 Hz 물리 / 100 Hz 상위 제어의 이중 루프
  • 보행 생성: 2D/3D FK·IK, 위상 → 발 궤적(지지기 직선 + 유각기 호), 결합 위상 진동자(CPG)와 gait별 위상표, 이족용 무게 옮기기(sway) IK
  • 측정: 접촉 신호 디바운스, 자기상관·FFT로 주기 추정, duty factor·상대 위상·stride·cadence·double support, support margin·CoP·capture point
    • Froude number와 Alexander의 동적 유사성으로 동물·사람과 비교
  • 강화학습: Gymnasium 환경(관측 정규화·행동 스케일·종료 조건 설계), SB3 PPO(SubprocVecEnv 8개 + VecNormalize)
    • residual learning(정책은 CPG 목표 위 ±0.1 rad 보정만 출력), reward 항별 크기를 측정해 가중치 결정, 밀기 curriculum
    • MJX/JAX 배치 시뮬레이션 벤치마크
  • 출판 파이프라인: XHTML 단일 원본 → EPUB 3(epubcheck 통과) + 위키독스 동기화(해시 비교로 변경분만 업로드) + 영문판 빌드까지 스크립트화(아래 참조)

사족보행편: 12관절 로봇, 0.29 m/s 하드코딩 trot → 0.49 m/s·50 N 밀기 100% 정책

7장: 결합 위상 진동자로 손으로 만든 trot
7장. CPG(결합 위상 진동자)와 IK로 만든 trot, 상태를 읽지 않는 open-loop 걸음
  • 서기(6장): 위치 제어와 토크 제어 비교, PD 각 항의 역할, gain sweep과 제어 주기 실험
    • kp 80 + 임계 감쇠 + feedforward를 표준 걸음 제어기로 확정
    • 서기 자세의 밀기 한계 40 N 측정
  • 첫 보행(7장): trot(2 Hz, duty 0.5, 보폭 0.08 m)으로 0.29 m/s
    • 걷는 중 40 N까지 버티고 60 N에 넘어짐
    • 20 N에 밀리면 0.14 m 옆으로 밀린 채 새 경로로 보행
    • 개루프 걸음은 넘어지지 않더라도 목적지에 갈 수 없다는 점을 실험으로 보여 주는 절
  • 측정(8장): 발 접촉을 로깅해 gait diagram 작성, duty factor·위상을 명령값과 대조
    • Froude number로 개의 trot과 비교해 로봇이 동물 기준으로 얼마나 느린 걸음인지 정량화
    • 넘어지는 순간의 support margin 시계열 해부
  • 학습(10~11장): 관측 53차원(관절 오프셋·각속도·몸통 좌표 중력·gyro·선속도·CPG 위상 sin/cos·직전 행동), 행동 12차원의 residual 환경
    • 단일 환경 약 5,000 스텝/s, PPO 3M 스텝에 CPU 약 8분
    • 첫 정책: 0.84 m/s로 가속, 다만 yaw 40° 방향 이탈과 밀기 회복력 미개선 문제 잔존
12장: reward hacking 박물관
12.3절 reward hacking 박물관. 전진 항만 남긴 조건(H1)에서 초당 21°로 반지름 2.6 m의 원을 그리며 도는 로봇, 보상에 방향 항이 없어 생긴 걸음
  • reward 설계(12장): 한 번에 항 하나만 바꾸고 나머지(seed·스텝·PPO 설정·정규화)를 고정하는 통제 실험
    • heading·lateral 항으로 yaw 이탈 제거
    • 속도 추종 항으로 "빨라질 이득"을 없애자 충격 93 → 64 N, CoT 0.58 → 0.45로 걸음 전체가 달라지는 과정 기록
  • curriculum(12.4): 처음부터 60 N, 20 → 60 N 램프, 램프 후 유지 등 여섯 조건 비교
    • 최종 정책: 0.49 m/s, yaw +4°, 접지 충격 68 N, CoT 0.55
    • 밀기 50 N 100% 회복(60 N 17%)
12장 최종 policy
12장의 최종 policy. 7장의 하드코딩 걸음(0.29 m/s, 60 N에 넘어짐)에서 시작해 도달한 결과
  • 확장(13장): 최종 정책을 거친 지형·마찰·짐·경사에 배치해 강건성 지도 작성
    • 거친 지형과 짐에는 강하지만 경사에서 yaw가 60° 이상 흐르고 10° 경사에서 넘어지는 한계도 그대로 수록
    • 벤치마크: MJX는 CPU에서 배치 1024로도 C 엔진보다 느림(12k vs 67k 스텝/s)

이족보행편: 서기 단계부터 균형 문제

6장: 밀기 중 CoP 궤적과 capture point
6.4절. 옆 밀기 중 CoP가 발 바깥 가장자리에 닿는 순간 발이 들리고 그 모서리를 축으로 넘어가는 로봇, 3장 ZMP 명제를 그대로 재현
  • 서기와 균형(6장): 관절 PD만으로는 26 N에 넘어짐
    • 발을 옮기지 않는 한 어떤 제어기도 약 31.5 N을 넘지 못한다는 상한을 capture point 식으로 선계산
    • 사람의 ankle strategy를 gain sweep으로 구현해 해당 상한에 접근
  • 정적 보행(7장): 무게 옮기기(sway) IK + 결합 위상 진동자로 한 번에 한 발씩 걷는 걸음
    • 0.8 Hz에서 0.114 m/s, cadence 96/min, double support 0.36
    • 주파수×sway 84칸 지도 중 57칸에서 넘어짐, 생존 영역이 "느릴수록 큰 sway"의 대각선 띠임을 sweep으로 규명
    • 20 N 밀기까지 버티고 25 N에 넘어짐
8장: 사람 걸음과 비교
8.4절. 속도·cadence·상대 보폭·double support로 사람의 편안한 걸음과 비교, Froude number 기준 사람의 1/73
  • 넘어짐의 해부(8.5): −10 N 밀기에서 넘어지기까지 사건의 순서를 ms 단위로 재구성
    • CoP가 발 모서리에 닿음(678 ms 전) → roll 10°(670 ms) → capture point 이탈(650 ms) → CoM 이탈(526 ms)
    • 넘어짐을 가장 먼저 경고하는 신호를 데이터로 규명
  • 학습(10~12장): 첫 PPO 정책은 0.44 m/s(하드코딩의 4배)로 가속
    • 다만 yaw −53°, 좌우 비대칭(오른발 위상 0.68), 접지 충격 144 N, 앞기울임 +7.4° 잔존
    • 12장에서 heading·lateral·attitude·symmetry(반 주기 전 반대쪽 다리 보정과의 거울 대칭)·impact·action_rate 항을 하나씩 추가
    • 최종 정책: yaw −7°, 위상 0.50, 충격 103 N, CoT 0.50, 옆 밀기 15 N 100% 회복
12장: 첫 policy와 최종 policy
위: 11장의 첫 policy(빠르지만 방향을 잃고 비대칭). 아래: 12장의 최종 policy(느리지만 곧고 대칭).
  • 넘지 못한 한계 기록
    • 밀기 curriculum(10 → 30 N): 20 N을 넘는 순간 에피소드 길이 1000 → 450으로 붕괴
    • 13장에서 보정 폭을 0.15·0.20 rad로 넓혀도 정책의 평균 사용 폭은 2.6°에 그쳐 20 N 벽 유지
    • 가설이 기각된 결과도 빼지 않고 원리와 함께 수록
13장: 거친 지형 위의 최종 policy
13장. 평지에서만 배운 최종 policy를 거친 지형·경사·마찰·짐 위에 배치. 마찰 0.3과 짐 2 kg에서는 속도 유지, 오르막 5°에서는 전멸

실습 코드 구성

  • 장 사이 공유 패키지 quadbook/·bipedbook/(robot·control·cpg·sim·gait·analysis·env·render, 각 약 1,000~1,200줄) 설계
  • 각 장의 스크립트가 이 패키지 위에서 절 하나와 1:1 대응
  • 뒤 장이 앞 장의 산출물(정책 zip, 접촉 로그 npz, 지표 json)을 입력으로 읽도록 구성
  • 모든 실습 스크립트에서 --view --speed 0.5로 책의 그림과 같은 장면을 viewer에서 실시간 재생
  • 그래프만으로 끝내지 않고 실습 단위마다 렌더링 프레임을 남기는 규칙을 두 권 228장의 그림에 적용
  • 학습 결과(정책 zip + VecNormalize 통계 + 학습 곡선 CSV + 평가 지표 json)를 저장소에 동봉해 학습 없이도 12·13장 분석 재현 가능
  • 버전 고정(mujoco==3.12.0, Python 3.12, uv lock)과 macOS mjpython 수정 스크립트 포함

집필·출판 파이프라인: 빌드·검증 자동화

  • XHTML 단일 원본(src/OEBPS) → build.sh(줄표 검사 → zip → epubcheck 5.3) → EPUB 3
  • 본문 수정은 원본에서만, 두 출판물은 스크립트로 생성
  • audit.py: 교차 참조·그림/표 번호·이미지 manifest·목차↔h1·코드 출처 주석·조사·용어 전수 감사
  • termify.py: 영어 원어 용어 표기와 뒤따르는 조사(policy가/observation이) 일괄 교정
  • 위키독스 동기화 도구: 페이지 id·본문 해시·이미지 해시를 상태 파일에 두고 바뀐 페이지와 이미지만 업로드(Cloudflare 429 지수 백오프 포함)
  • 사족보행편 영문판 빌드(build_en.py): 장마다 그림·표·코드·수식 개수를 한국어판과 대조, 한글 잔존 검사
  • 문체 규칙(줄표 금지, 영어 원어 용어, ~습니다체 경어)을 훅과 빌드 검사로 강제해 두 권의 톤 통일

배운 점

  • 보상 설계는 실험으로 검증해야 하는 작업: 항의 크기를 잘못 잡는 것보다 항을 빠뜨리는 쪽이 더 위험
    • reward hacking 박물관에 실린 이상한 걸음은 모두 보상에 빠진 항목에서 발생
  • residual 구조의 장단점: CPG 위에 ±0.1 rad 보정만 얹는 구조는 백지 학습의 붕괴를 막지만, 같은 보정 폭이 밀기 회복력의 병목으로 작용
    • 근거: 이족보행편의 20 N 벽
  • 측정 도구 우선 확보: duty factor·위상·CoP·capture point가 있어야 걸음을 숫자로 평가하고 학습이 고친 부분을 설명 가능
  • 두 권을 같은 구성으로 쓰며 확인한 점: 네 발에서 배운 원리는 두 발에서도 유효, 다만 균형이라는 전제가 빠지면 같은 코드도 첫 걸음부터 넘어짐

성과

  • 사족보행편: 13장 + 부록 4, 본문 한글 약 10.6만 자, 그림 103장, 코드 블록 141개
  • 사족보행편 실습: 실습 스크립트 61편(5,070줄) + 공유 패키지 973줄, 한국어·영어 두 판
  • 이족보행편: 13장 + 부록 4, 본문 한글 약 18.5만 자, 그림 125장, 코드 블록 187개
  • 이족보행편 실습: 실습 스크립트 65편(7,523줄) + 공유 패키지 1,168줄
  • 학습 실험: 두 권 합쳐 PPO 설정 30여 개를 seed 5개로 반복 평가, 이족보행편 12·13장 학습만 CPU 약 125분
  • 위키독스 출간·영문판 병행, 실습 코드 MIT 공개

발휘 역량

  • MJCF로 로봇을 설계하고 PD·CPG·IK 기반 보행 구현
  • 통제 실험으로 reward 설계와 curriculum을 검증하고 실패 사례를 원리로 분석
  • gait·ZMP·capture point 지표로 보행 성능 정량 평가
  • 단일 원본, 전수 감사, 증분 동기화로 이어지는 출판 파이프라인 스크립트화