LeRobot 알아보기
임바디드 인텔리전스란 무엇인가?
몸을 갖춘 지능. AI를 다양한 하드웨어 실체에 연결하는 것으로, 예를 들면:
사족 로봇견, 이족 휴머노이드 로봇, 바퀴-다리 로봇, 드론, 자율주행차
LeRobot이란?
LeRobot은 HuggingFace가 오픈소스로 공개한 임바디드 인텔리전스 로봇 소프트웨어 프레임워크입니다
Github 주소: https://github.com/huggingface/lerobot
낮은 진입장벽으로 강화학습과 **모방학습(VLA)**의 데이터 수집, 알고리즘 학습, 추론 배포를 구현할 수 있으며, 그중 가장 핵심은 **모방학습(VLA)**입니다
- 어떤 로봇을 LeRobot으로 개발할 수 있나요?
천 위안대의 SO-ARM 101 로봇 암, LeKiwi 소형차부터 수만 위안대의 송링 piper 로봇 암, 화신징 StarAI 로봇 암, Hope-JR 덱스터러스 핸드, 그리고 십몇만 위안대의 위수 G1 휴머노이드 로봇까지. LeRobot은 이미 임바디드 인텔리전스 산업에서 데이터 수집과 알고리즘 학습의 표준이 되었습니다.
자신의 로봇을 LeRobot 프레임워크에 맞게 적용할 수도 있습니다.
- LeRobot 데이터셋과 모델
LeRobot은 자체적인 모방학습 데이터셋 형식을 정의했으며, HuggingFace에 공개된 모든 데이터셋과 모델을 조회, 사용, 다운로드, 학습할 수 있고, 자신의 데이터셋을 HuggingFace에 업로드할 수도 있습니다
SO-ARM 101 로봇 암이란?
본 튜토리얼은 SO-ARM 101 로봇 암을 예로 들며, 3D 프린팅 구조 부품과 Feetech 서보모터를 사용해 비용이 매우 낮습니다.
돈 없는 학생도 살 수 있는 임바디드 인텔리전스 본체이며, LeRobot 공식 추천 본체 중 하나이기도 합니다.
로봇 암은 리더(Leader) 암과 팔로워(Follower) 암 두 개의 로봇 암으로 구성됩니다. 각 로봇 암은 6개의 자유도(관절 자유도 5개 + 그리퍼 자유도 1개)를 포함합니다.
어떤 컴퓨터 사양이 필요한가요
일반 Windows 노트북 한 대로 학습 이전의 모든 작업을 완료할 수 있습니다
일반 Mac 컴퓨터 한 대로 모든 작업을 완료할 수 있습니다
NVIDIA 그래픽 카드가 장착된 Ubuntu 컴퓨터 한 대로 모든 작업을 완료할 수 있습니다
본 튜토리얼에서는 클라우드 GPU 플랫폼을 사용해 모델을 학습하므로, 자신의 컴퓨터에 높은 사양이 필요하지 않습니다
모방학습과 VLA란?
사람이 로봇을 끌어당겨 시연하며 데이터셋을 수집해 데이터셋을 만듭니다. 그런 다음 이 데이터셋으로 모방학습 알고리즘을 학습시키고, 최종적으로 로봇에 배포해 로봇이 사람의 동작을 스스로 모방하고 실제 환경으로 일반화하도록 합니다. 원격조작과 리모컨이 필요 없습니다.
예를 들어 위 영상에서는 사람이 SO-ARM 로봇 암을 끌어당겨 가재를 집고, 양념을 묻히고, 기름에 넣는 동작을 시연하며, 최종적으로 로봇 암이 이 동작을 스스로 완수하도록 합니다. 새로운 가재가 와도 언제든 반응해 동작을 완수할 수 있습니다.
모방학습에는 최전선의 세련된 이름도 있습니다: VLA(시각-언어-행동 대형 모델). 이는 현재 가장 빠르게 발전하고, 투자가 가장 활발하며, 미중 경쟁이 가장 치열하고, 오픈소스 생태계가 가장 번성하며, 언론의 관심이 높고, 수많은 석·박사가 앞다퉈 뛰어드는 임바디드 인텔리전스 연구 분야이기도 합니다.
LeRobot이 가장 중점적으로 적용하는 알고리즘이 바로 모방학습입니다. 예를 들어 ACT, Diffusion Policy, SmolVLA, Pi0, Pi0.5, Wall-OSS 등입니다.
튜토리얼에서 다루는 모방학습은 VLA뿐입니다.