🧪 新教程持續更新中 · 由機械臂到傳感器,跟隨教程從零搭建
跳到主要內容

了解 LeRobot ​

什麼是具身智能? ​

具備身體的智能。把AI接入各種硬件實體,比如:

四足機器狗、雙足人形機器人、輪足機器人、無人機、自動駕駛車

LeRobot是什麼? ​

LeRobot是HuggingFace開源的具身智能機器人軟件框架

Github地址:https://github.com/huggingface/lerobot

低門檻實現:強化學習和模仿學習(VLA)的數據採集、算法訓練、推理部署,其中最主要是模仿學習(VLA)

  • 哪些機器人可以用LeRobot開發?

從千元級別的SO-ARM 101機械臂、LeKiwi小車、到幾萬的松靈piper機械臂、華馨京StarAI機械臂、Hope-JR靈巧手,到十幾萬的宇樹G1人形機器人。LeRobot已經成為具身智能行業,數據採集和算法訓練的規範。

你也可以讓你自己的機器人適配LeRobot框架。

  • LeRobot數據集和模型

LeRobot定義了自己的模仿學習數據集格式,你可以查看、使用、下載、訓練所有HuggingFace上的公開數據集和模型,也可以上傳自己的數據集到HuggingFace上

SO-ARM 101機械臂是什麼? ​

本教程以SO-ARM 101機械臂為例,採用3D列印結構件和飛特舵機,成本非常低。

這是窮學生也能買得起的具身智能本體,也是LeRobot官方推薦的本體之一。

機械臂包含主動臂(Leader)和從動臂(Follower)兩個機械臂。每個機械臂都包含6個自由度(5 個關節自由度 + 1 個夾爪自由度)。

我需要什麼電腦配置 ​

一台普通Windows筆記本電腦可以完成訓練之前的所有操作

一台普通的Mac電腦,可以完成所有操作

一台帶英偉達顯卡的Ubuntu電腦,可以完成所有操作

本教程中,使用雲GPU平台訓練模型,不需要自己電腦有很高的配置

什麼是模仿學習和VLA? ​

人類拖拽機器人示教採集數據集,形成數據集。然後用這個數據集訓練模仿學習算法,最終部署在機器人上,讓機器人自主模仿人類動作,泛化到真實環境。無需遙操作和遙控。

比如上面的影片中,人類拖拽SO-ARM機械臂抓小龍蝦、蘸調料、下油鍋,最終讓機械臂自主完成這一動作。就算來一隻新的小龍蝦也能隨時反應並完成動作。

模仿學習也有一個前沿時髦的名字:VLA(視覺語言動作大模型)。這也是現在發展最迅速、投資最火爆、中美競爭最激烈、開源生態最繁榮、媒體高度關注、無數碩博爭相進入的具身智能研究領域。

LeRobot最主要適配的算法就是模仿學習。比如ACT、Diffusion Policy、SmolVLA、Pi0、Pi0.5、Wall-OSS等。

教程中的模仿學習只有VLA。