08 · 今後のロードマップ
完了済み（本リポジトリでそのまま実行可能）
| 能力 | 状態 |
|---|---|
| シミュレーションモデルの読み込み／駆動／レンダリング検証（3 つの MJCF） | ✅ |
| キーボード遠隔操作（シミュレーション / 実機） | ✅ 実機検証済み |
| リーダーアームのデジタルツイン（実体アーム → シミュレーションアーム、ゼロ点微調整含む） | ✅ 実機検証済み |
| データ録画（実機 / シミュレーション）＋ エピソード制御 ＋ 検査スクリプト | ✅ 実機検証済み |
| データ再生（実機 / シミュレーション、公式メカニズム） | ✅ 実機検証済み |
自動スモークテスト（ハードウェア不要 smoke_test.py） | ✅ 26 項目通過 |
デュアルカメラ視覚データセット so101_sim_vision（5 エピソード / 10610 フレーム / 353.8s） | ✅ |
学習（ACT）とシミュレーションポリシー展開（lerobot-train / lerobot-rollout） | ✅ スモーク実測（09 参照） |
次のステップ（価値順）
フェーズ 2 · カメラをシーンへ（進行中）
完了したもの：
- ブラケット（STEP→STL）とカメラ（HBVCAM-F2170HD V22 データシートの 25×30×5.2mm に基づくプレースホルダ）をシミュレーションに組み込み、 姿勢は
adjust_mount.py/adjust_camera.pyで実機と照合しながら調整； <camera>要素を接続（sim_cam、fovy 初期値 49°）、シミュレーション視覚録画のパイプラインは開通済み：--robot.image_camera=sim_camでobservation.images.wrist動画データセットが生成されます（スモークテスト [5] すべて通過）。
2026-10-16 更新：カメラの照準／fovy は満足のいくところまで調整済みです（adjust_camera.py に live view リアルタイム画面ウィンドウを追加、 中断からの再調整、ウィンドウを誤って閉じても自動再オープン；さらに MuJoCo カメラの画角方向 = 要素の −Z による「レンズの向きと画面が逆」バグを修正。 詳細は 07 参照）。新しいキャリブレーションのリーダーアームで正式に視覚データセットを録画済み（wrist 動画含む、追従誤差 ≤2 単位）✅； 旧実験録画は 2026-10-16 に整理し、正式データセットは so101_sim_vision（デュアルカメラ）に統一。 同日、シミュレーションロボットを mujoco_menagerie の SO-ARM100 モデルに移行（2026-10-16）：元チュートリアルモデルの爪は掴めませんでしたが、 新モデルの爪部は実機 CAD による衝突で、実測で 34mm ブロックを安定して掴めます；録画／遠隔操作／デュアルカメラ／ワークスペースのパイプラインはすべて維持し、 実機遠隔操作での再確認待ちです（特に wrist_roll の方向符号）。 未完了：実機の HBVCAM を接続した後、「実機撮影 vs シミュレーションレンダリング」の対照微調整を行う； オプション：カメラ本体の STL でプレースホルダを置き換え。実機側のカメラ設定（--robot.cameras OpenCV）も後日同様に実施します。
フェーズ 3 · シーンとスケーリング（進行中）
- ✅ ワークスペースをシーンへ（2026-10-16）：マット + 3 色ブロック（34mm、把持可能）+ 収納ボックス + 固定俯瞰カメラ
top_cam（so101_assets.add_workspaceで定義、レンダリング／効果チェックツールpreview_workspace.py）；デュアルカメラ（wrist+top） 録画パイプラインは開通済み（--robot.top_camera=top_cam）； - 自動データ生成：スクリプトポリシー／RL をシミュレーションで一晩中バッチ実行（人手不要）。これが「数十倍の効率」の源泉です；
- 視覚ドメインランダマイゼーション（テクスチャ／照明／カメラ揺れ）で sim2real に備えます。
フェーズ 4 · 学習と展開
- ✅ 学習／展開パイプラインは実測済み（2026-10-16）：
lerobot-train（ACT、CPU 12 ステップスモーク——約 2s/ステップ、loss は正常に低下、 checkpoint は期待どおりディスクに保存）とlerobot-rollout --strategy.type=base（シミュレーションで実際にポリシーを 20s 実行、 自動でアームを初期姿勢に戻してから終了）がいずれも開通；完全なコマンド、要点、継続学習の方法は 09 の第 7/8 節を参照。 チュートリアル同梱のデモ checkpointoutputs/train/smoke_actをそのまま展開パイプラインの試運転に使えます； - 正式な学習は GPU 搭載機で行います（ACT / SmolVLA；本機の純 CPU は小ステップ数でのパイプライン検証にのみ適します）； データセットはコピーするか HF のプライベートリポジトリにプッシュすればよい；
- 実機展開も同様に
lerobot-rollout経由です（--robot.*をso101_follower設定に置き換え）。
長期 · sim2real
シミュレーションデータ + 少量の実機データで混合学習 → 実機でのゼロコスト評価（シミュレーションでポリシーの成功率を再現可能に評価）。 注意：純シミュレーションデータをそのまま実機に載せる（ゼロショット転移）のが最も難しいルートであり、まず「短い閉ループ」（実機データで学習→実機展開）を行い、 シミュレーションを段階的に重ねます。
一言での位置づけ
実体アームを既に持つチームにとって：シミュレーション = 開発サンドボックス + デモ資料 + データ増幅器； 潜在顧客にとって：シミュレーション = 購入前にフロー全体を体験できるツール。