08 · 이후 로드맵
완료(이 저장소에서 바로 실행 가능)
| 기능 | 상태 |
|---|---|
| 시뮬레이션 모델 로드/구동/렌더링 검증(3가지 MJCF) | ✅ |
| 키보드 텔레오퍼레이션(시뮬레이션 / 실기) | ✅ 실기 검증 |
| 리더 암 디지털 트윈(실물 암 → 시뮬레이션 암, 영점 미세 조정 포함) | ✅ 실기 검증 |
| 데이터 녹화(실기 / 시뮬레이션) + 에피소드 제어 + 점검 스크립트 | ✅ 실기 검증 |
| 데이터 리플레이(실기 / 시뮬레이션, 공식 메커니즘) | ✅ 실기 검증 |
자동화 스모크 테스트(하드웨어 불필요 smoke_test.py) | ✅ 26항목 통과 |
듀얼 카메라 시각 데이터셋 so101_sim_vision(5 에피소드 / 10610 프레임 / 353.8s) | ✅ |
학습(ACT)과 시뮬레이션 정책 배포(lerobot-train / lerobot-rollout) | ✅ 스모크 실측(09 참조) |
다음 단계(가치 순)
단계 2 · 장면에 카메라 도입(진행 중)
완료된 것:
- 브래킷(STEP→STL)과 카메라(HBVCAM-F2170HD V22 데이터시트 25×30×5.2mm 기준으로 만든 자리표시자)를 시뮬레이션에 조립하고, 자세는
adjust_mount.py/adjust_camera.py로 실기 대조 조정; <camera>요소 연결(sim_cam, fovy 초기값 49°), 시뮬레이션 시각 녹화 파이프라인 개통:--robot.image_camera=sim_cam이면observation.images.wrist비디오 데이터셋을 생성(스모크 테스트 [5] 전부 통과).
2026-10-16 업데이트: 카메라 조준/fovy를 만족스럽게 조정(adjust_camera.py에 live view 실시간 화면 창 추가, 중단점 이어 조정, 창을 실수로 닫으면 자동 재개; MuJoCo 카메라 프레이밍 방향=요소 −Z로 인한 "렌즈 방향과 화면 반전" 버그도 수정, 상세는 07). 새로 캘리브레이션한 리더 암으로 시각 데이터셋을 정식 녹화 완료(wrist 비디오 포함, 추종 오차 ≤2 단위)✅; 이전 실험 녹화는 2026-10-16에 정리했고, 정식 데이터셋은 so101_sim_vision(듀얼 카메라)으로 통일. 같은 날 시뮬레이션 로봇을 mujoco_menagerie의 SO-ARM100 모델로 이전(2026-10-16): 원 튜토리얼 모델의 그리퍼는 집을 수 없었고, 새 모델의 그리퍼는 실기 CAD 충돌이며 실측에서 34mm 블록을 안정적으로 집을 수 있습니다; 녹화/텔레오퍼레이션/듀얼 카메라/작업 공간 파이프라인은 모두 유지되며, 실기 텔레오퍼레이션 1회 재검증 대기(wrist_roll 방향 부호 특히). 남은 작업: 실기 HBVCAM을 연결한 뒤 "실기 촬영 vs 시뮬레이션 렌더링" 대조 미세 조정; 선택 사항: 카메라 본체 STL로 자리표시자 교체. 실기 측 카메라 구성(--robot.cameras OpenCV)도 이후 동일하게 진행.
단계 3 · 장면과 규모화(진행 중)
- ✅ 작업 공간을 장면에 도입(2026-10-16): 패드 + 삼색 블록(34mm, 파지 가능) + 수납함 + 고정 탑뷰 카메라
top_cam(so101_assets.add_workspace에 정의, 렌더링/수익성 점검 도구preview_workspace.py); 듀얼 카메라(wrist+top) 녹화 파이프라인 개통(--robot.top_camera=top_cam); - 자동 데이터 생성: 스크립트 정책/RL을 시뮬레이션에서 밤새 배치 실행(인간 개입 없음), 이것이 "수십 배 효율"의 원천입니다;
- 시각 도메인 무작위화(텍스처/조명/카메라 흔들림)로 sim2real 준비.
단계 4 · 학습과 배포
- ✅ 학습/배포 파이프라인 실측 완료(2026-10-16):
lerobot-train(ACT, CPU 12스텝 스모크——약 2s/스텝, loss 정상 하강, checkpoint 예상대로 저장)과lerobot-rollout --strategy.type=base(시뮬레이션에서 실제로 정책을 20s 실행, 종료 시 암을 초기 자세로 자동 복귀 후 마무리) 모두 개통; 전체 명령, 요점과 이어 학습 방법은 09 7/8절, 튜토리얼에 포함된 데모 checkpointoutputs/train/smoke_act로 배포 파이프라인을 바로 시험 가능; - 정식 학습은 GPU가 있는 머신에서 진행(ACT / SmolVLA; 이 머신은 순수 CPU라 소수 스텝으로 파이프라인 검증에만 적합); 데이터셋을 복사하거나 HF 비공개 저장소에 푸시하면 됨;
- 실기 배포도 동일하게
lerobot-rollout사용(--robot.*을so101_follower구성으로 교체).
장기 · sim2real
시뮬레이션 데이터 + 소량의 실기 데이터 혼합 학습 → 실기 제로 비용 평가(시뮬레이션에서 정책 성공률을 재현 가능하게 평가). 참고: 순수 시뮬레이션 데이터로 곧바로 실기에 적용(제로샷 전이)하는 것이 가장 어려운 경로이므로, 먼저 "짧은 폐루프"(실기 데이터 학습→실기 배포)를 하고 시뮬레이션을 점진적으로 더하세요.
한 줄 포지셔닝
이미 실물 암을 보유한 팀에게: 시뮬레이션 = 개발 샌드박스 + 데모 자료 + 데이터 증폭기; 잠재 고객에게: 시뮬레이션 = 구매 전에 전체 워크플로를 끝까지 체험할 수 있는 도구.