🧪 新教程持續更新中 · 由機械臂到傳感器,跟隨教程從零搭建
跳到主要內容

SO-ARM101 機械臂教程總覽 ​

image.png

什麼是具身智慧? ​

具備身體的智慧。把AI接入各種硬體實體,比如:

四足機器狗、雙足人形機器人、輪足機器人、無人機、自動駕駛車

LeRobot是什麼? ​

LeRobot是HuggingFace開源的具身智慧機器人軟體框架

Github位址:https://github.com/huggingface/lerobot

低門檻實現:強化學習和模仿學習(VLA)的資料採集、演算法訓練、推論部署,其中最主要是模仿學習(VLA)

  • 哪些機器人可以用LeRobot開發?

從千元級別的SO-ARM 101機械手臂、LeKiwi小車、到幾萬的松靈piper機械手臂、華馨京StarAI機械手臂、Hope-JR靈巧手,到十幾萬的宇樹G1人形機器人。LeRobot已經成為具身智慧產業,資料採集和演算法訓練的規範。

你也可以讓你自己的機器人適配LeRobot框架。

  • LeRobot資料集和模型

LeRobot定義了自己的模仿學習資料集格式,你可以查看、使用、下載、訓練所有HuggingFace上的公開資料集和模型,也可以上傳自己的資料集到HuggingFace上

SO-ARM 101機械手臂是什麼? ​

本教學以SO-ARM 101機械手臂為例,採用3D列印結構件和飛特伺服馬達,成本非常低。

這是窮學生也能買得起的具身智慧本體,也是LeRobot官方推薦的本體之一。

機械手臂包含主動臂(Leader)和從動臂(Follower)兩個機械手臂。每個機械手臂都包含5個自由度+1個夾爪自由度。

我需要什麼電腦規格 ​

一臺普通Windows筆記型電腦可以完成訓練之前的所有操作

一臺普通的Mac電腦,可以完成所有操作

一臺帶輝達顯示卡的Ubuntu電腦,可以完成所有操作

本教學中,使用雲GPU平臺訓練模型,不需要自己電腦有很高的規格

什麼是模仿學習和VLA? ​

人類拖拽機器人示教採集資料集,形成資料集。然後用這個資料集訓練模仿學習演算法,最終部署在機器人上,讓機器人自主模仿人類動作,泛化到真實環境。無需遙操作和遙控。

比如上面的影片中,人類拖拽SO-ARM機械手臂抓小龍蝦、蘸調料、下油鍋,最終讓機械手臂自主完成這一動作。就算來一隻新的小龍蝦也能隨時反應並完成動作。

模仿學習也有一個前沿時髦的名字:VLA(視覺語言動作大模型)。這也是現在發展最迅速、投資最火爆、中美競爭最激烈、開源生態最繁榮、媒體高度關注、無數碩博爭相進入的具身智慧研究領域。

LeRobot最主要適配的演算法就是模仿學習。比如ACT、Diffusion Policy、SmolVLA、Pi0、Pi0.5、Wall-OSS等。

教學中的模仿學習只有VLA。

教程導覽 ​

完整課程 ​

組裝與擴充教程 ​

基礎知識 ​

LeLab 教程 ​

XLeRobot Docker 映像教程 ​