Etapa 5: Teleoperação com câmara (macOS)

Ligar a câmara e o computador

lerobot-find-cameras opencv

Após a execução será listado o número de cada câmara; anote-o e preencha-o em index_or_path no comando abaixo.

Os parâmetros da câmara (resolução, fps, proporção) devem ser mantidos consistentes ao recolher o conjunto de dados e ao implementar o modelo; o motivo está explicado em Recolha de conjuntos de dados por ensino. Este tutorial usa uniformemente 1280×720@30.

Uma câmara, teleoperação com exibição da imagem da câmara

lerobot-teleoperate \
    --robot.type=so101_follower \
    --robot.port=/dev/tty.usbmodem5AAF2193061 \
    --robot.id=my_follower_arm \
    --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 1280, height: 720, fps: 30, fourcc: "MJPG"}}" \
    --teleop.type=so101_leader \
    --teleop.port=/dev/tty.usbmodem5AAF2194741 \
    --teleop.id=my_leader_arm \
    --display_data=true

Após a execução inicia-se a teleoperação

Será aberta a janela rerun.io, mostrando em tempo real as trajetórias de cada articulação dos servos, bem como a imagem em tempo real da câmara

E guarda as imagens no diretório ~/<utilizador>/outputs/captured_images

Várias câmaras, teleoperação com exibição da imagem da câmara

lerobot-teleoperate \
    --robot.type=so101_follower \
    --robot.port=/dev/tty.usbmodem5AAF2193061 \
    --robot.id=my_follower_arm \
    --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 1280, height: 720, fps: 30, fourcc: "MJPG"}, side: {type: opencv, index_or_path: 1, width: 1280, height: 720, fps: 30, fourcc: "MJPG"}}" \
    --teleop.type=so101_leader \
    --teleop.port=/dev/tty.usbmodem5AAF2194741 \
    --teleop.id=my_leader_arm \
    --display_data=true

Produtos relacionados

Kit desenvolvedor SO-ARM101→