Nossos últimos avanços na destreza de robô

Dois novos sistemas de IA, Aloha desencadeou e Demostart, ajuda os robôs a aprender a realizar tarefas complexas que exigem movimento hábil

As pessoas executam muitas tarefas diariamente, como amarrar cadarços ou apertar um parafuso. Mas, para os robôs, aprender essas tarefas altamente decexeras é incrivelmente difícil de acertar. Para tornar os robôs mais úteis na vida das pessoas, eles precisam melhorar o contato com objetos físicos em ambientes dinâmicos.

Hoje, apresentamos dois novos artigos com nossos avanços mais recentes de inteligência artificial (IA) na pesquisa de destreza de robô: Aloha desencadeou que ajuda os robôs a aprender a executar tarefas de manipulação complexas e novas de dois braços; e Demostart que usa simulações para melhorar o desempenho do mundo real em uma mão robótica com vários dedos.

Ao ajudar os robôs a aprender com demonstrações humanas e traduzir imagens em ação, esses sistemas estão abrindo caminho para robôs que podem executar uma ampla variedade de tarefas úteis.

Melhorando a imitação de aprendizado com dois braços robóticos

Até agora, a maioria dos robôs AI avançados só conseguia pegar e colocar objetos usando um único braço. Em Nosso novo artigoApresentamos a Aloha desencadeada, que atinge um alto nível de destreza na manipulação bi-braço. Com esse novo método, nosso robô aprendeu a amarrar um cadarço, pendurar uma camisa, reparar outro robô, inserir uma engrenagem e até limpar uma cozinha.

O método aloha desencadeado se baseia em nosso Aloha 2 plataforma que foi baseada no original Aloha (um sistema de hardware de código aberto de baixo custo para teleoperação bimanual) de Universidade de Stanford.

O ALOHA 2 é significativamente mais dexteroso que os sistemas anteriores, porque possui duas mãos que podem ser facilmente teleoperadas para fins de treinamento e coleta de dados e permite que os robôs aprendam a executar novas tarefas com menos demonstrações.

Também melhoramos a ergonomia do hardware robótico e aprimoramos o processo de aprendizado em nosso sistema mais recente. Primeiro, coletamos dados de demonstração, operando remotamente o comportamento do robô, executando tarefas difíceis, como amarrar cadarços e pendurar camisetas. Em seguida, aplicamos um método de difusão, prevendo ações de robôs de ruído aleatório, semelhante à maneira como nosso modelo Imagen gera imagens. Isso ajuda o robô a aprender com os dados, para que possa executar as mesmas tarefas por conta própria.

Aprendendo comportamentos robóticos de poucas demonstrações simuladas

Controlar uma mão robótica e robótica é uma tarefa complexa, que se torna ainda mais complexa a cada dedo, articulação e sensor adicionais. Em outro Novo papelApresentamos o DemosTart, que usa um algoritmo de aprendizado de reforço para ajudar os robôs a adquirir comportamentos hábil em simulação. Esses comportamentos aprendidos são especialmente úteis para modalidades complexas, como mãos com vários dedos.

Demostart primeiro aprende com os estados fáceis e, com o tempo, começa a aprender com os estados mais difíceis até que ele domine uma tarefa da melhor maneira possível. Requer 100x menos de demonstrações simuladas para aprender a resolver uma tarefa em simulação do que o que geralmente é necessário ao aprender com os exemplos do mundo real para o mesmo objetivo.

O robô alcançou uma taxa de sucesso de mais de 98% em várias tarefas diferentes na simulação, incluindo reorientando cubos com uma certa cor mostrando, apertando uma porca e parafuso e arrumando ferramentas. Na configuração do mundo real, alcançou uma taxa de sucesso de 97% na reorientação e elevação do cubo e 64% em uma tarefa de inserção de soquete de plugue que exigia coordenação e precisão de alto dedo.

Desenvolvemos Demostart com Mujoconosso simulador de física de código aberto. Depois de dominar uma série de tarefas na simulação e usar técnicas padrão para reduzir a lacuna Sim-Real, como a randomização do domínio, nossa abordagem foi capaz de transferir quase zero tiro para o mundo físico.

A aprendizagem robótica em simulação pode reduzir o custo e o tempo necessários para executar experimentos físicos reais. Mas é difícil projetar essas simulações e, além disso, elas nem sempre se traduzem com sucesso de volta ao desempenho do mundo real. Ao combinar o aprendizado de reforço com algumas manifestações, o aprendizado progressivo da Demostart gera automaticamente um currículo que preenche a lacuna Sim-para-Real, facilitando a transferência do conhecimento de uma simulação para um robô físico e reduzindo o custo e o tempo necessário para executando experimentos físicos.

Para permitir o aprendizado mais avançado de robôs por meio de experimentação intensiva, testamos essa nova abordagem em uma mão robótica de três dedos, chamada Dex-eeque foi desenvolvido em colaboração com Robô de sombra.

O futuro da destreza de robô

A robótica é uma área única de pesquisa de IA que mostra como nossas abordagens funcionam no mundo real. Por exemplo, um grande modelo de idioma pode dizer como apertar um parafuso ou amarrar os sapatos, mas mesmo que estivesse incorporado em um robô, não seria capaz de executar essas tarefas em si.

Um dia, os robôs de IA ajudarão as pessoas com todos os tipos de tarefas em casa, no local de trabalho e muito mais. A pesquisa de destreza, incluindo as abordagens de aprendizado eficiente e geral que descrevemos hoje, ajudará a tornar esse futuro possível.

Ainda temos um longo caminho a percorrer antes que os robôs possam entender e lidar com os objetos com a facilidade e a precisão das pessoas, mas estamos fazendo um progresso significativo, e cada inovação inovadora é outro passo na direção certa.