🧪 新教程持續更新中 · 由機械臂到傳感器,跟隨教程從零搭建
跳到主要內容

6 · 訓練與推論 ​

上一篇:05 錄製資料集下一篇:07 疑難排解

訓練把資料集變成一個策略——將攝影機影像對應到關節位置的模型。推論就是在從臂上執行該策略。

訓練 ​

開啟 Training 分頁並選擇:

選項說明
資料集本機資料集,或來自 Hub 的資料集
策略類型單臂通常先選 ACT。也有 Diffusion Policy、SmolVLA 與 π₀ 系列可用
執行位置本機,或 Hugging Face 雲端任務
訓練長度步數。要盯著 loss,而不是假設越多越好

分頁會即時串流訓練日誌,並在 checkpoint 寫出時顯示。

本機或雲端 ​

本機Hugging Face 雲端任務
需要本機要有 GPU有存取權的 Hugging Face 帳號
速度取決於你的 GPU固定機器,每項任務各自選擇
適合小型資料集、實驗較長的訓練

雲端選項正是工作流程其餘部分用一台筆電就足夠的原因:在本機錄製,把訓練丟到遠端。

策略的額外項目 ​

有些策略類型需要 LeLab 預設不會安裝的相依套件。選取其中一種時會提示你安裝——接受,並等背景安裝完成後再啟動任務。同一套機制也涵蓋可選的訓練附加元件。

Checkpoint ​

訓練會定期寫出 checkpoint,不只是最後才寫,因此中斷的訓練仍會留下可用的模型。每個 checkpoint 名稱都帶有它的步數。如果 loss 開始上升,就試試較早的那個。

推論 ​

開啟 Inference 分頁:

  1. 確認兩條手臂都已連接並完成校準。
  2. 選擇策略——本機 checkpoint,或來自 Hub 的模型。
  3. 確認攝影機及其 rotation。
  4. 開始推論,並清空工作區。

攝影機旋轉與綁定 ​

使用與錄製時相同的 rotation。 這是訓練良好的策略在真實機器人上毫無用處的最常見原因,而且不會有任何警示:0° 與 180° 產生相同的影像尺寸。

攝影機的綁定也是如此。如果錄製時叫 wrist 的攝影機現在是另一台實體攝影機,策略看到的就是錯誤的影像。

如果這些都對,手臂還是失敗,就回頭再看資料集——見第 5 篇。

中途介入 ​

在伸手碰手臂之前先停止推論。你手動做的修正不是訓練訊號,除非你錄一個新 episode 並重新訓練。

回放 ​

回放會在從臂上重新執行一段錄好的 episode。它播的是錄下來的關節位置,所以即使策略很差,看起來仍正確——它檢查的是硬體與資料集,不是策略。要看待策略的表現,請用推論。


下一篇:07 疑難排解