了解 LeRobot
什麼是具身智能?
具備身體的智能。把AI接入各種硬件實體,比如:
四足機器狗、雙足人形機器人、輪足機器人、無人機、自動駕駛車
LeRobot是什麼?
LeRobot是HuggingFace開源的具身智能機器人軟件框架
Github地址:https://github.com/huggingface/lerobot
低門檻實現:強化學習和模仿學習(VLA)的數據採集、算法訓練、推理部署,其中最主要是模仿學習(VLA)
- 哪些機器人可以用LeRobot開發?
從千元級別的SO-ARM 101機械臂、LeKiwi小車、到幾萬的松靈piper機械臂、華馨京StarAI機械臂、Hope-JR靈巧手,到十幾萬的宇樹G1人形機器人。LeRobot已經成為具身智能行業,數據採集和算法訓練的規範。
你也可以讓你自己的機器人適配LeRobot框架。
- LeRobot數據集和模型
LeRobot定義了自己的模仿學習數據集格式,你可以查看、使用、下載、訓練所有HuggingFace上的公開數據集和模型,也可以上傳自己的數據集到HuggingFace上
SO-ARM 101機械臂是什麼?
本教程以SO-ARM 101機械臂為例,採用3D列印結構件和飛特舵機,成本非常低。
這是窮學生也能買得起的具身智能本體,也是LeRobot官方推薦的本體之一。
機械臂包含主動臂(Leader)和從動臂(Follower)兩個機械臂。每個機械臂都包含6個自由度(5 個關節自由度 + 1 個夾爪自由度)。
我需要什麼電腦配置
一台普通Windows筆記本電腦可以完成訓練之前的所有操作
一台普通的Mac電腦,可以完成所有操作
一台帶英偉達顯卡的Ubuntu電腦,可以完成所有操作
本教程中,使用雲GPU平台訓練模型,不需要自己電腦有很高的配置
什麼是模仿學習和VLA?
人類拖拽機器人示教採集數據集,形成數據集。然後用這個數據集訓練模仿學習算法,最終部署在機器人上,讓機器人自主模仿人類動作,泛化到真實環境。無需遙操作和遙控。
比如上面的影片中,人類拖拽SO-ARM機械臂抓小龍蝦、蘸調料、下油鍋,最終讓機械臂自主完成這一動作。就算來一隻新的小龍蝦也能隨時反應並完成動作。
模仿學習也有一個前沿時髦的名字:VLA(視覺語言動作大模型)。這也是現在發展最迅速、投資最火爆、中美競爭最激烈、開源生態最繁榮、媒體高度關注、無數碩博爭相進入的具身智能研究領域。
LeRobot最主要適配的算法就是模仿學習。比如ACT、Diffusion Policy、SmolVLA、Pi0、Pi0.5、Wall-OSS等。
教程中的模仿學習只有VLA。

