6 · 학습과 추론
이전: 05 데이터셋 녹화다음: 07 문제 해결
학습은 데이터셋을 정책으로 바꿉니다 — 카메라 이미지를 관절 위치로 매핑하는 모델. 추론은 그 정책을 팔로워 팔에서 실행합니다.
학습
Training 탭을 열고 다음을 선택하십시오:
| 항목 | 참고 |
|---|---|
| 데이터셋 | 로컬 데이터셋 또는 Hub의 데이터셋 |
| 정책 유형 | 단일 팔에는 보통 ACT를 먼저 시도합니다. Diffusion Policy, SmolVLA, π₀ 계열도 사용할 수 있습니다 |
| 실행 위치 | 이 머신 또는 Hugging Face 클라우드 작업 |
| 학습 길이 | 스텝 수. 많을수록 좋다고 가정하지 말고 loss를 관찰하십시오 |
탭은 학습 로그를 스트리밍하고 체크포인트가 기록될 때마다 표시합니다.
로컬 또는 클라우드
| 로컬 | Hugging Face 클라우드 작업 | |
|---|---|---|
| 필요 | 이 머신의 GPU | 접근 권한이 있는 Hugging Face 계정 |
| 속도 | GPU에 따라 다름 | 작업마다 선택하는 고정 머신 |
| 적합 | 소규모 데이터셋, 실험 | 긴 실행 |
클라우드 옵션은 나머지 워크플로우에 노트북으로 충분한 이유입니다: 로컬에서 녹화하고 원격으로 학습합니다.
정책 추가 기능
일부 정책 유형은 LeLab이 기본으로 설치하지 않는 종속성이 필요합니다. 하나를 선택하면 설치를 안내합니다 — 수락하고 백그라운드 설치가 끝날 때까지 기다린 뒤 작업을 시작하십시오. 선택적 학습 추가 기능도 같은 메커니즘을 사용합니다.
체크포인트
학습은 마지막뿐 아니라 주기적으로 체크포인트를 기록하므로, 중단된 실행도 사용 가능한 모델을 남깁니다. 각 체크포인트 이름에는 스텝 번호가 들어 있습니다. loss가 다시 상승하기 시작하면 더 이른 것을 시도하십시오.
추론
Inference 탭을 엽니다:
- 두 팔이 연결되고 캘리브레이션되었는지 확인합니다.
- 정책을 선택합니다 — 로컬 체크포인트 또는 Hub의 모델.
- 카메라와 그 rotation을 확인합니다.
- 추론을 시작하고 작업 공간을 정리합니다.
카메라 회전과 바인딩
녹화할 때와 동일한 회전을 사용하십시오. 잘 학습된 정책이 실제 로봇에서 유용한 동작을 하지 않는 가장 흔한 이유이며, 아무것도 경고해 주지 않습니다: 0°와 180°는 이미지 크기가 동일합니다.
카메라 바인딩도 마찬가지입니다. 녹화 중 wrist인 카메라가 이제 다른 물리적 카메라라면 정책은 잘못된 이미지를 봅니다.
이 모든 것이 맞는데도 팔이 여전히 실패하면 데이터셋을 다시 보십시오 — 5장을 참조하십시오.
개입
팔에 손을 뻗기 전에 추론을 중지하십시오. 손으로 하는 교정은 새 에피소드를 녹화해 다시 학습하지 않는 한 학습 신호가 아닙니다.
재생
재생은 녹화된 에피소드를 팔로워 팔에서 다시 실행합니다. 녹화된 관절 위치를 재생하므로 정책이 나빠도 올바르게 보입니다 — 정책이 아니라 하드웨어와 데이터셋을 확인합니다. 정책이 무엇을 하는지 보려면 추론을 사용하십시오.
다음: 07 문제 해결