La importancia de un SDK basado en la nube para la robótica puede no parecer llamativa, pero es absolutamente crucial para avanzar en el sector. Si estás en los círculos tecnológicos, escucharás hablar de plataformas en la nube a diario, que rara vez despiertan la imaginación. Sin embargo, para los robots humanoides y los operadores en el mundo físico, un kit de herramientas de simulación en la nube es una necesidad fundamental para cualquier desarrollador que intente escalar su capacitación. Las simulaciones precisas del mundo virtual son uno de los productos más buscados en robótica en este momento. Los investigadores están realizando un sinfín de experimentos para determinar qué combinaciones de datos reales y sintéticos generan los resultados más precisos para las tareas de entrenamiento Sí, empresas como Tesla tienen una gran ventaja gracias a los datos de redes neuronales que han recopilado de sus flotas, aunque estos datos son simplemente información en bruto hasta que se ponen en práctica a través de simulaciones de entrenamiento realistas. Para todos los demás, adquirir ese nivel de datos o incluso el hardware para impulsarlo simplemente no es una opción a menos que sea una empresa financiada masivamente. Aquí es donde entra en juego la simulación en la nube. Al trasladar el entrenamiento y las pruebas de robots a entornos virtuales basados en la nube, cualquiera puede acceder a la computación y la escala necesarias. Una plataforma en la nube puede centralizar el intercambio de esas simulaciones, resultados y datos. Básicamente, está abstrayendo el acceso a puerta cerrada al que tienen acceso estas empresas de miles de millones de dólares, los extensos componentes de hardware utilizados en los laboratorios y sacando a la luz pública conjuntos de datos donde las contribuciones de código abierto se convierten en un +EV general para la innovación. Este modelo de negocio ya está demostrando su valía con LeRobot (iniciativa de código abierto) de Hugging Face asociándose con Nvidia para conectar sus marcos para que los investigadores puedan compartir modelos, conjuntos de datos y entornos de simulación en la nube. El objetivo final es crear un volante de datos, ya que las personas contribuyen con datos de simulación y políticas entrenadas para abrir repositorios, acelera el progreso de otros, generando a su vez datos más accesibles a nivel mundial. Se está canalizando mucho trabajo en esto cerrando la brecha de "simulación a real". Los simuladores a menudo no estaban a la altura de la realidad, los robots aprendían comportamientos en un mundo virtual que no se transferían al mundo real, porque la física o las imágenes no eran lo suficientemente precisas. Esa brecha ahora se está cerrando rápidamente debido a una mejor fidelidad de simulación y enfoques de entrenamiento híbridos. La mayoría de los últimos modelos de bases en robótica (como Isaac GROOT de NVIDIA y Helix VLA de Figure) utilizan una arquitectura de sistema dual que imita la cognición humana. Lo mismo se aplica a la forma en que entrenan los datos en los simuladores del mundo. Una parte del modelo se entrena con datos de demostración humanos del mundo real, mientras que otra parte se entrena con una cantidad masiva de datos sintéticos generados a través de simuladores de alta fidelidad. Al combinar el entrenamiento físico y simulado, el modelo aprende habilidades precisas que generalizan mejor. Los datos reales proporcionan la verdad en la IA, mientras que los datos simulados proporcionan la escala y la variedad que no es práctico recopilar en el mundo físico. Los desarrolladores pueden incluso ajustar o posentrenar modelos con datos reales o sintéticos adicionales para tareas específicas, lo que hace que la canalización de entrenamiento sea extremadamente flexible. Figuras Helix VLA, que utiliza el enfoque del Sistema 1 / Sistema 2, está entrenado con solo cientos de horas teleoperadas (aumentadas por simulación y etiquetado inteligente), Helix puede manejar nuevas tareas domésticas a través del lenguaje natural sin codificación personalizada. Demostrar cómo los modelos multimodales y el entrenamiento sintético reducen drásticamente las necesidades de datos. @codecopenflow está aplicando el mismo principio con Octo, un VLA abierto integrado en su SDK Optr, lo que permite la percepción multicámara y el control guiado por el lenguaje con conjuntos de datos mucho más pequeños y una computación más baja. ...