Voou para Dubai para trabalhar pessoalmente com a equipe $CODEC. A robótica será um setor muito grande para não ir all-in. Estude trabalhando para suas malas.

A importância de um SDK baseado em nuvem para robótica pode não parecer chamativa, mas é absolutamente crucial para o avanço do setor. Se você estiver nos círculos de tecnologia, ouvirá falar de plataformas de nuvem diariamente, que raramente despertam a imaginação. No entanto, para robôs humanóides e operadores no mundo físico, um kit de ferramentas de simulação em nuvem é uma necessidade essencial para qualquer desenvolvedor que tente dimensionar seu treinamento. Simulações precisas de mundo virtual são uma das commodities mais procuradas em robótica no momento. Os pesquisadores estão realizando experimentos intermináveis para determinar quais combinações de dados reais e sintéticos geram os resultados mais precisos para tarefas de treinamento Sim, empresas como a Tesla têm uma grande vantagem graças aos dados de rede neural que coletaram de suas frotas, embora esses dados sejam simplesmente informações brutas até serem colocadas em prática por meio de simulações de treinamento realistas. Para todos os outros, adquirir esse nível de dados ou mesmo o hardware para alimentá-los simplesmente não é uma opção, a menos que você seja uma empresa massivamente financiada. É aqui que entra a simulação em nuvem. Ao mover o treinamento e o teste de robôs para ambientes virtuais baseados em nuvem, qualquer pessoa pode acessar a computação e a escala necessárias. Uma plataforma em nuvem pode centralizar o compartilhamento dessas simulações, resultados e dados. Você está essencialmente abstraindo o acesso a portas fechadas a que essas empresas de bilhões de dólares têm acesso, os extensos componentes de hardware usados em laboratórios e trazendo conjuntos de dados à luz do público, onde as contribuições de código aberto se tornam um +EV geral para a inovação. Esse modelo de negócios já está se provando com a parceria da LeRobot (iniciativa de código aberto) da Hugging Face com a Nvidia para conectar suas estruturas para que os pesquisadores possam compartilhar modelos, conjuntos de dados e ambientes de simulação na nuvem. O objetivo final é criar um volante de dados, à medida que as pessoas contribuem com dados de simulação e políticas treinadas para abrir repositórios, isso acelera o progresso de outros, gerando dados mais acessíveis globalmente. Muito trabalho está sendo canalizado para isso através do fechamento da lacuna "sim para real". Os simuladores muitas vezes ficavam aquém da realidade, os robôs aprendiam comportamentos em um mundo virtual que não eram transferidos para o mundo real, porque a física ou os visuais não eram precisos o suficiente. Essa lacuna agora está diminuindo rapidamente devido à melhor fidelidade de simulação e abordagens de treinamento híbrido. A maioria dos modelos de base mais recentes em robótica (como Isaac GROOT da NVIDIA e Helix VLA da Figure) usa uma arquitetura de sistema duplo que imita a cognição humana. O mesmo se aplica a como eles estão treinando dados em simuladores mundiais. Uma parte do modelo é treinada em dados de demonstração humana do mundo real, enquanto outra parte é treinada em uma enorme quantidade de dados sintéticos gerados por meio de simuladores de alta fidelidade. Ao combinar treinamento físico e simulado, o modelo aprende habilidades precisas que se generalizam melhor. Os dados reais fornecem a verdade na IA, enquanto os dados simulados fornecem a escala e a variedade que são impraticáveis de reunir no mundo físico. Os desenvolvedores podem até mesmo ajustar ou pós-treinar modelos com dados reais ou sintéticos adicionais para tarefas específicas, tornando o pipeline de treinamento extremamente flexível. Figuras O Helix VLA, que usa a abordagem do Sistema 1/Sistema 2, é treinado em apenas centenas de horas teleoperadas (aumentadas por simulação e rotulagem inteligente), o Helix pode lidar com novas tarefas domésticas por meio de linguagem natural sem codificação personalizada. Demonstrando como os modelos multimodais e o treinamento sintético reduzem drasticamente as necessidades de dados. @codecopenflow está aplicando o mesmo princípio com o Octo, um VLA aberto integrado ao seu Optr SDK, permitindo a percepção de várias câmeras e o controle guiado por linguagem com conjuntos de dados muito menores e computação inferior. As plataformas de simulação mundial agora estão gerando grandes volumes de dados de treinamento variados que simplesmente não eram acessíveis antes. O Isaac Sim da Nvidia (parte do Isaac Lab) pode pegar uma única demonstração humana de uma tarefa e transformá-la em milhares de variações simuladas usando instâncias de nuvem paralelas. Imagine mostrar a um robô como pegar uma caixa na realidade e, em seguida, o simulador cria inúmeros cenários com diferentes caixas, condições de iluminação e pequenos ajustes físicos, todos produzindo experiências de treinamento com as quais o robô pode aprender. Uma visão @unmoyai está trabalhando muito duro. No momento em que essa habilidade é implantada em um robô físico, ela foi comprovada em grandes quantidades de testes virtuais. A combinação desses ricos conjuntos de dados sintéticos com dados de calibração do mundo real apenas o suficiente produz cérebros robóticos muito mais precisos e resilientes. É para isso que o SDK em nuvem da Codec está posicionado, permitindo que os usuários extraiam e contribuam com grandes conjuntos de dados de código aberto (por exemplo, fazendo interface com o hub LeRobot da Hugging Face). Cada simulação executada na nuvem pode se tornar novos dados de treinamento que aprimoram um modelo global de como os robôs interagem com o mundo. Todas as peças sugerem que humanóides e robôs em geral estão se aproximando de um "momento App Store". O hardware do robô será inútil sem uma biblioteca de habilidades. O Optr fornece uma API unificada para que um agente autônomo que controla um aplicativo da web, um braço robótico ou um avatar simulado usem a mesma estrutura e lógica principais. Essa abstração é dinâmica, pois os desenvolvedores podem prototipar uma tarefa em um ambiente de simulação de jogo e, em seguida, implantar a mesma lógica em um robô real com alterações mínimas. Por ser baseado em nuvem e aberto, o Optr SDK pode atuar como base para um mercado de robótica. Os desenvolvedores podem criar uma nova habilidade sem possuir um robô (graças ao simulador de nuvem), testá-la com segurança em ambientes virtuais e publicá-la para outras pessoas. Aqueles que precisam da habilidade, como uma startup de robótica ou um indivíduo com um robô doméstico, podem retirá-la da biblioteca e executá-la em suas máquinas. Esse tipo de mercado aberto e modelo de incentivo é o estopim para a economia do desenvolvedor de robótica. Ele reduz a barreira de entrada (não é necessário hardware ou laboratórios caros devido às ferramentas em nuvem), incentiva a colaboração, pois as contribuições melhoram os conjuntos de dados e modelos compartilhados e fornece motivação financeira para os indivíduos resolverem problemas de nicho. Há muitas possibilidades de volante econômico a jusante que surgem disso (que você pode ver em parcerias recentes), mas vou guardar isso para um artigo separado.

Todos os dias vemos manchetes de bilhões de dólares para robótica. Apenas 12 meses atrás, essas empresas e números eram 10-20 vezes menores. Se ainda não é meticulosamente óbvio o quão bem-sucedido esse setor se tornará, dedique um fim de semana à pesquisa para não ficar para trás. A história mostra que o maior valor em ondas tecnológicas geralmente se acumula nas camadas de habilitação, Microsoft em PCs, Apple em smartphones, AWS em nuvem. A robótica não será diferente, a camada de infra na qual os desenvolvedores constroem capturará mais do que qualquer jogo de hardware único. Um tema comum que ouço de amigos é que eles estão preocupados em serem subexpostos à robótica tradicional. Sim, haverá manchetes insanas sobre a Figure AI fazendo 200x a partir de avaliações iniciais ou equivalente. Mas se você está abaixo de 7 figos mais ou menos, a Web2 não é onde você quer estar (a menos que você tenha informações/conexões insanas). Repetidamente, as criptomoedas ofereceram a vantagem mais assimétrica e, mais importante, acelerada. Há um risco significativamente maior, mas também vem com o luxo de não ser resistente ao tempo, o que às vezes é pior por si só. A Nvidia é a maior ação do mundo por causa da aceleração da IA. Olhando para trás, você teria preferido apostar em ai16z, Virtuals, AIXBT, GOAT em sua primeira etapa ou caçar "jogadas fundamentais de IA" subvalorizadas em Robinhood? Você pode ter guardado mais dinheiro a longo prazo, mas estamos aqui para privar o sono do uPNL, não estamos? Como nos primeiros turnos da IA, tivemos um momento muito especial em que o auge da inovação tecnológica está nos encarando. A forma como você navega em sua progressão é um reflexo de sua compreensão dos fundamentos do mercado e da ganância humana. Assim como a IA, nos depararemos com vaporware infinito à medida que nos aproximamos de robôs de uso geral. Para aqueles dispostos a jogar os dados e pegar os líderes, você fará múltiplos descomunais que fazem os investimentos iniciais de Andrew Kang parecerem pequenos. Eu sei qual jogo estou jogando.