Tutoriais do Braço Robótico SO-ARM101
O que é inteligência incorporada?
Inteligência com um corpo. Ela conecta a IA a diversas entidades físicas de hardware, como:
Cães robôs quadrúpedes, robôs humanoides bípedes, robôs com rodas e pernas, drones, carros autônomos
O que é o LeRobot?
O LeRobot é o framework de software de robôs inteligentes incorporados de código aberto da HuggingFace
Endereço no GitHub: https://github.com/huggingface/lerobot
Ele reduz a barreira para coleta de dados, treinamento de algoritmos e implantação de inferência em aprendizado por reforço e aprendizado por imitação (VLA), com o aprendizado por imitação (VLA) como foco principal
- Quais robôs podem ser desenvolvidos com o LeRobot?
Do braço robótico SO-ARM 101, da faixa de mil yuans, e do carrinho LeKiwi, passando pelo braço AgileX piper, da faixa de dezenas de milhares de yuans, pelo braço Huaxinjing StarAI e pela mão hábil Hope-JR, até o robô humanoide Unitree G1, da faixa de centenas de milhares de yuans. O LeRobot se tornou o padrão para coleta de dados e treinamento de algoritmos na indústria da inteligência incorporada.
Você também pode adaptar o seu próprio robô ao framework LeRobot.
- Datasets e modelos do LeRobot
O LeRobot define seu próprio formato de dataset de aprendizado por imitação. Você pode visualizar, usar, baixar e treinar com todos os datasets e modelos públicos no HuggingFace, e também pode enviar seus próprios datasets para o HuggingFace.
O que é o braço robótico SO-ARM 101?
Este tutorial usa o braço robótico SO-ARM 101 como exemplo; ele utiliza peças estruturais impressas em 3D e servos Feetech, a um custo muito baixo.
Este é um corpo de inteligência incorporada que até um estudante sem dinheiro pode pagar, e é um dos corpos oficialmente recomendados pelo LeRobot.
O braço é composto por dois braços: um braço Leader e um braço Follower. Cada braço tem 5 graus de liberdade mais 1 grau de liberdade da garra.
Qual configuração de computador eu preciso
Um notebook Windows comum dá conta de tudo até o treinamento.
Um Mac comum dá conta de tudo.
Uma máquina Ubuntu com GPU NVIDIA dá conta de tudo.
Neste tutorial usamos uma plataforma de GPU na nuvem para treinar os modelos, então o seu próprio computador não precisa de uma configuração topo de linha.
O que é aprendizado por imitação e VLA?
Uma pessoa arrasta o robô para demonstrar e coletar um dataset. Esse dataset é então usado para treinar um algoritmo de aprendizado por imitação, que por fim é implantado no robô, permitindo que ele imite as ações humanas de forma autônoma e generalize para o ambiente real. Não é preciso teleoperação nem controle remoto.
Por exemplo, no vídeo acima, uma pessoa arrasta o braço robótico SO-ARM para pegar um lagostim, mergulhá-lo no tempero e soltá-lo no óleo quente, e o braço acaba executando essa ação sozinho. Mesmo com um lagostim novo, ele consegue reagir e concluir a ação a qualquer momento.
O aprendizado por imitação também tem um nome moderno e de ponta: VLA (modelo grande de Visão-Linguagem-Ação). Esse também é o campo de pesquisa em inteligência incorporada que se desenvolve mais rápido hoje, atrai o investimento mais quente, tem a competição China-EUA mais acirrada, desfruta do ecossistema de código aberto mais próspero, atrai intensa atenção da mídia e atrai incontáveis estudantes de mestrado e doutorado.
Os algoritmos que o LeRobot adapta principalmente são de aprendizado por imitação, como ACT, Diffusion Policy, SmolVLA, Pi0, Pi0.5, Wall-OSS e outros.
O aprendizado por imitação neste tutorial é exclusivamente VLA.
Navegação dos tutoriais
Cursos completos
Tutoriais de montagem e expansão
- Tutorial do Braço Robótico LeRobot
- Guia de Montagem do Braço Robótico Lerobot
- Instalação do Suporte de Braço e Kit de Câmera SO-ARM100&101
- Instalação da Câmera Superior
- Tutorial de instalação da garra de dedos paralelos
- Tutorial de dois braços (dois seguidores) do SO-ARM101
- Teleoperação sem fio do SO-ARM101 (versão ESP32-NanoCam)
- Solução de problemas de teleoperação
- Tutorial de uso da ferramenta de calibração de servos da série SoARM
- Controle de simulação ROS2
- Compatibilidade PyTorch no Jetson Orin
Conhecimentos básicos
- Entendendo o LeRobot
- Conjuntos de dados LeRobot no Hugging Face
- Materiais para treinamento de modelos
- Arquivos oficiais de impressão 3D do SO-ARM 100
- Arquivos URDF e materiais de referência
- Brackets e suportes de câmera recomendados
Tutorial do LeLab
- 1 · Visão geral
- 2 · Instalar e executar
- 3 · Conectar e calibrar
- 4 · Teleoperação
- 5 · Gravar um dataset
- 6 · Treinar e executar inferência
- 7 · Solução de problemas