SO-ARM101 ロボットアームチュートリアル
身体性知能とは何か？
身体を持つ知能です。AI をさまざまな物理的なハードウェア実体に接続します。たとえば次のようなものです。
四足歩行ロボット犬、二足歩行ヒューマノイドロボット、車輪脚ロボット、ドローン、自動運転車
LeRobot とは何か？
LeRobot は HuggingFace のオープンソースの 身体性知能ロボットソフトウェアフレームワーク です
GitHub アドレス：https://github.com/huggingface/lerobot
強化学習と模倣学習（VLA）におけるデータ収集、アルゴリズム学習、推論デプロイの障壁を下げ、**模倣学習（VLA）**を主軸としています
- LeRobot ではどのようなロボットを開発できるのか？
千元クラスの SO-ARM 101 ロボットアームと LeKiwi カートから、数万元クラスの AgileX piper アーム、Huaxinjing StarAI アーム、Hope-JR 巧みな手まで、さらに数十万元クラスの Unitree G1 ヒューマノイドロボットへと広がります。LeRobot は身体性知能産業におけるデータ収集とアルゴリズム学習の標準となっています。
自分のロボットを LeRobot フレームワークに適合させることもできます。
- LeRobot のデータセットとモデル
LeRobot は独自の模倣学習データセット形式を定義しています。HuggingFace 上のすべての公開データセットとモデルを閲覧・利用・ダウンロード・学習でき、自分のデータセットを HuggingFace にアップロードすることもできます。
SO-ARM 101 ロボットアームとは何か？
本チュートリアルでは SO-ARM 101 ロボットアームを例に取り上げます。3D プリントの構造部品と Feetech サーボを使用し、非常に低コストです。
これは貧しい学生でも手が届く身体性知能の身体であり、LeRobot が公式に推奨する身体の一つでもあります。
アームは2本のアームで構成されています。Leader アームと Follower アームです。各アームは5自由度に加えてグリッパ1自由度を持ちます。
どのようなコンピュータ構成が必要か
一般的な Windows ノート PC であれば、学習までのすべてを処理できます。
一般的な Mac であればすべてを処理できます。
NVIDIA GPU を搭載した Ubuntu マシンであればすべてを処理できます。
本チュートリアルではクラウド GPU プラットフォームを使ってモデルを学習するため、手元のコンピュータにハイエンドな構成は必要ありません。
模倣学習と VLA とは何か？
人間がロボットを引っ張って実演し、データセットを収集します。そのデータセットを使って模倣学習アルゴリズムを学習し、最終的にロボットにデプロイして、人間の動作を自律的に模倣し実環境へ汎化させます。テレオペレーションや遠隔操作は不要です。
たとえば上の動画では、人間が SO-ARM ロボットアームを引っ張ってザリガニをつかみ、調味料に浸して熱油に落とし、最終的にアームがこの動作を自力で実行します。新しいザリガニであっても、いつでも反応して動作を完了できます。
模倣学習には最先端でおしゃれな名前もあります。VLA（Vision-Language-Action 大規模モデル）です。これは現在最も速く発展し、最も熱い投資を集め、中国と米国の競争が最も激しく、オープンソースエコシステムが最も繁栄し、メディアの注目を最も集め、無数の修士・博士課程の学生を引き寄せている身体性知能の研究分野でもあります。
LeRobot が主に適合させるアルゴリズムは模倣学習のもので、ACT、Diffusion Policy、SmolVLA、Pi0、Pi0.5、Wall-OSS などがあります。
本チュートリアルの模倣学習はすべて VLA です。
チュートリアルナビゲーション
コンプリートコース
組み立て・拡張チュートリアル
- LeRobot ロボットアームチュートリアル
- Lerobot ロボットアーム組立ガイド
- SO-ARM100&101 アーム搭載ブラケットと環境カメラキット 取付チュートリアル
- オーバーヘッドカメラマウント取付ガイド
- 平行指グリッパー取り付けチュートリアル
- SO-ARM101 デュアルアーム(デュアルフォロワー)チュートリアル
- SO-ARM101 ワイヤレス遠隔操作(ESP32-NanoCam 版)
- 遠隔操作トラブルシューティング
- SoARM シリーズ サーボキャリブレーションツール使用チュートリアル
- ROS2シミュレーション制御
- Jetson Orin での PyTorch 非互換問題
基礎知識
- LeRobotを知る
- HuggingFace上のLeRobotデータセット
- モデルトレーニングの資料
- SO-ARM 100公式3Dプリントファイル
- URDFファイルおよび資料参考
- 推奨カメラブラケットとマウント