ステップ5:カメラ付きテレオペレーション（macOS）

カメラとパソコンの接続

lerobot-find-cameras opencv

実行すると各カメラの番号が一覧表示されるので、それを控えて以下のコマンドの index_or_path に記入します。

カメラのパラメータ（解像度、fps、アスペクト比）は、データセットの収集時とモデルのデプロイ時に必ず一致させる必要があります。理由は教示によるデータセット収集内の説明を参照してください。本チュートリアルでは統一して 1280×720@30 を使用します。

カメラ1台でテレオペレーションし、カメラ映像を表示する

lerobot-teleoperate \
    --robot.type=so101_follower \
    --robot.port=/dev/tty.usbmodem5AAF2193061 \
    --robot.id=my_follower_arm \
    --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 1280, height: 720, fps: 30, fourcc: "MJPG"}}" \
    --teleop.type=so101_leader \
    --teleop.port=/dev/tty.usbmodem5AAF2194741 \
    --teleop.id=my_leader_arm \
    --display_data=true

実行するとテレオペレーションが開始されます

rerun.ioの画面が開き、各サーボ関節の軌跡、およびカメラのリアルタイム映像がリアルタイムに表示されます

また、画像は~/<ユーザー名>/outputs/captured_imagesディレクトリに保存されます

カメラ複数台でテレオペレーションし、カメラ映像を表示する

lerobot-teleoperate \
    --robot.type=so101_follower \
    --robot.port=/dev/tty.usbmodem5AAF2193061 \
    --robot.id=my_follower_arm \
    --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 1280, height: 720, fps: 30, fourcc: "MJPG"}, side: {type: opencv, index_or_path: 1, width: 1280, height: 720, fps: 30, fourcc: "MJPG"}}" \
    --teleop.type=so101_leader \
    --teleop.port=/dev/tty.usbmodem5AAF2194741 \
    --teleop.id=my_leader_arm \
    --display_data=true

関連製品

SO-ARM101 開発キット→