Tutoriais do Braço Robótico SO-ARM101
O que é a Inteligência Corporizada?
Inteligência com um corpo. Liga a IA a diversas entidades físicas de hardware, tais como:
Cães robóticos quadrúpedes, robôs humanoides bípedes, robôs com rodas e pernas, drones, carros autónomos
O que é o LeRobot?
O LeRobot é a estrutura de software de robôs inteligentes corporizados de código aberto da HuggingFace
Endereço GitHub: https://github.com/huggingface/lerobot
Reduz a barreira à recolha de dados, ao treino de algoritmos e à implementação de inferência para aprendizagem por reforço e aprendizagem por imitação (VLA), sendo a aprendizagem por imitação (VLA) o foco principal
- Que robôs podem ser desenvolvidos com o LeRobot?
Desde o braço robótico SO-ARM 101 da classe dos milhares de yuan e o carrinho LeKiwi, até ao braço AgileX piper da casa dos dez milhares de yuan, ao braço Huaxinjing StarAI e à mão dextra Hope-JR, e ainda ao robô humanoide Unitree G1 da casa das centenas de milhares de yuan. O LeRobot tornou-se o padrão para a recolha de dados e o treino de algoritmos no setor da inteligência corporizada.
Também pode adaptar o seu próprio robô à estrutura LeRobot.
- Conjuntos de dados e modelos LeRobot
O LeRobot define o seu próprio formato de conjunto de dados de aprendizagem por imitação. Pode ver, utilizar, descarregar e treinar com todos os conjuntos de dados e modelos públicos no HuggingFace, e também pode carregar os seus próprios conjuntos de dados para o HuggingFace.
O que é o Braço Robótico SO-ARM 101?
Este tutorial toma como exemplo o braço robótico SO-ARM 101; utiliza peças estruturais impressas em 3D e servos Feetech, a um custo muito baixo.
Trata-se de um corpo de inteligência corporizada que até um estudante sem recursos pode pagar, e é um dos corpos oficialmente recomendados pelo LeRobot.
O braço é composto por dois braços: um braço Leader e um braço Follower. Cada braço tem 5 graus de liberdade mais 1 grau de liberdade da pinça.
Que Configuração de Computador Preciso
Um portátil Windows comum consegue fazer tudo até ao treino.
Um Mac comum consegue fazer tudo.
Uma máquina Ubuntu com uma GPU NVIDIA consegue fazer tudo.
Neste tutorial utilizamos uma plataforma de GPU na nuvem para treinar os modelos, por isso o seu próprio computador não precisa de uma configuração de topo.
O que é a Aprendizagem por Imitação e o VLA?
Um humano arrasta o robô para demonstrar e recolher um conjunto de dados. Esse conjunto de dados é depois usado para treinar um algoritmo de aprendizagem por imitação, que é finalmente implementado no robô, permitindo-lhe imitar autonomamente as ações humanas e generalizar para o ambiente real. Não é necessária teleoperação nem controlo remoto.
Por exemplo, no vídeo acima, um humano arrasta o braço robótico SO-ARM para agarrar um lagostim-de-água-doce, mergulhá-lo em tempero e deixá-lo cair em óleo quente, e o braço acaba por executar esta ação sozinho. Mesmo com um lagostim novo, consegue reagir e completar a ação em qualquer momento.
A aprendizagem por imitação tem também um nome moderno e de vanguarda: VLA (modelo de grande dimensão Visão-Linguagem-Ação). É também o campo de investigação em inteligência corporizada que atualmente cresce mais depressa, atrai o investimento mais cobiçado, assiste à competição China-EUA mais feroz, desfruta do ecossistema de código aberto mais próspero, atrai intensa atenção dos media e cativa inúmeros estudantes de mestrado e doutoramento.
Os algoritmos que o LeRobot adapta principalmente são os de aprendizagem por imitação, tais como ACT, Diffusion Policy, SmolVLA, Pi0, Pi0.5, Wall-OSS e outros.
A aprendizagem por imitação neste tutorial é exclusivamente VLA.
Navegação dos tutoriais
Cursos completos
Tutoriais de montagem e expansão
- Tutorial do Braço Robótico LeRobot
- Guia de Montagem do Braço Robótico Lerobot
- Instalação do Suporte de Braço e Kit de Câmara SO-ARM100&101
- Instalação da Câmara Superior
- Instalação da garra de dedos paralelos
- Tutorial do braço duplo SO-ARM101 (dois braços seguidores)
- Teleoperação sem fios do SO-ARM101 (versão ESP32-NanoCam)
- Resolução de problemas de teleoperação
- Tutorial de utilização da ferramenta de calibração de servos da série SoARM
- Controlo de simulação ROS2
- Compatibilidade PyTorch no Jetson Orin
Noções básicas
- Conhecer o LeRobot
- Conjuntos de dados LeRobot no HuggingFace
- Materiais para o treino de modelos
- Ficheiros oficiais de impressão 3D do SO-ARM 100
- Ficheiros URDF e materiais de referência
- Suportes e fixações de câmara recomendados
Tutorial do LeLab
- 1 · Visão geral
- 2 · Instalar e executar
- 3 · Ligar e calibrar
- 4 · Teleoperação
- 5 · Gravar um conjunto de dados
- 6 · Treinar e executar inferência
- 7 · Resolução de problemas