A importância de um SDK baseado em nuvem para robótica pode não parecer chamativa, mas é absolutamente crucial para o avanço do setor. Se você estiver nos círculos de tecnologia, ouvirá falar de plataformas de nuvem diariamente, que raramente despertam a imaginação. No entanto, para robôs humanóides e operadores no mundo físico, um kit de ferramentas de simulação em nuvem é uma necessidade essencial para qualquer desenvolvedor que tente dimensionar seu treinamento. Simulações precisas de mundo virtual são uma das commodities mais procuradas em robótica no momento. Os pesquisadores estão realizando experimentos intermináveis para determinar quais combinações de dados reais e sintéticos geram os resultados mais precisos para tarefas de treinamento Sim, empresas como a Tesla têm uma grande vantagem graças aos dados de rede neural que coletaram de suas frotas, embora esses dados sejam simplesmente informações brutas até serem colocadas em prática por meio de simulações de treinamento realistas. Para todos os outros, adquirir esse nível de dados ou mesmo o hardware para alimentá-los simplesmente não é uma opção, a menos que você seja uma empresa massivamente financiada. É aqui que entra a simulação em nuvem. Ao mover o treinamento e o teste de robôs para ambientes virtuais baseados em nuvem, qualquer pessoa pode acessar a computação e a escala necessárias. Uma plataforma em nuvem pode centralizar o compartilhamento dessas simulações, resultados e dados. Você está essencialmente abstraindo o acesso a portas fechadas a que essas empresas de bilhões de dólares têm acesso, os extensos componentes de hardware usados em laboratórios e trazendo conjuntos de dados à luz do público, onde as contribuições de código aberto se tornam um +EV geral para a inovação. Esse modelo de negócios já está se provando com a parceria da LeRobot (iniciativa de código aberto) da Hugging Face com a Nvidia para conectar suas estruturas para que os pesquisadores possam compartilhar modelos, conjuntos de dados e ambientes de simulação na nuvem. O objetivo final é criar um volante de dados, à medida que as pessoas contribuem com dados de simulação e políticas treinadas para abrir repositórios, isso acelera o progresso de outros, gerando dados mais acessíveis globalmente. Muito trabalho está sendo canalizado para isso através do fechamento da lacuna "sim para real". Os simuladores muitas vezes ficavam aquém da realidade, os robôs aprendiam comportamentos em um mundo virtual que não eram transferidos para o mundo real, porque a física ou os visuais não eram precisos o suficiente. Essa lacuna agora está diminuindo rapidamente devido à melhor fidelidade de simulação e abordagens de treinamento híbrido. A maioria dos modelos de base mais recentes em robótica (como Isaac GROOT da NVIDIA e Helix VLA da Figure) usa uma arquitetura de sistema duplo que imita a cognição humana. O mesmo se aplica a como eles estão treinando dados em simuladores mundiais. Uma parte do modelo é treinada em dados de demonstração humana do mundo real, enquanto outra parte é treinada em uma enorme quantidade de dados sintéticos gerados por meio de simuladores de alta fidelidade. Ao combinar treinamento físico e simulado, o modelo aprende habilidades precisas que se generalizam melhor. Os dados reais fornecem a verdade na IA, enquanto os dados simulados fornecem a escala e a variedade que são impraticáveis de reunir no mundo físico. Os desenvolvedores podem até mesmo ajustar ou pós-treinar modelos com dados reais ou sintéticos adicionais para tarefas específicas, tornando o pipeline de treinamento extremamente flexível. Figuras O Helix VLA, que usa a abordagem do Sistema 1/Sistema 2, é treinado em apenas centenas de horas teleoperadas (aumentadas por simulação e rotulagem inteligente), o Helix pode lidar com novas tarefas domésticas por meio de linguagem natural sem codificação personalizada. Demonstrando como os modelos multimodais e o treinamento sintético reduzem drasticamente as necessidades de dados. @codecopenflow está aplicando o mesmo princípio com o Octo, um VLA aberto integrado ao seu Optr SDK, permitindo a percepção de várias câmeras e o controle guiado por linguagem com conjuntos de dados muito menores e computação inferior. ...