Je suis allé à Dubaï pour travailler en personne avec l'équipe $CODEC. La robotique va devenir un secteur trop important pour ne pas s'y investir pleinement. Étudiez pour travailler pour vos investissements.

L'importance d'un SDK basé sur le cloud pour la robotique peut ne pas sembler flamboyante, mais elle est absolument cruciale pour faire avancer le secteur. Si vous êtes dans des cercles technologiques, vous entendrez parler des plateformes cloud quotidiennement, ce qui suscite rarement l'imagination. Pourtant, pour les robots humanoïdes et les opérateurs dans le monde physique, un kit d'outils de simulation cloud est une nécessité fondamentale pour tout développeur cherchant à faire évoluer sa formation. Des simulations précises du monde virtuel sont l'une des marchandises les plus recherchées dans la robotique en ce moment. Les chercheurs mènent d'innombrables expériences pour déterminer quelles combinaisons de données réelles et synthétiques génèrent les résultats les plus précis pour les tâches de formation. Oui, des entreprises comme Tesla ont un énorme avantage grâce aux données de réseau neuronal qu'elles ont collectées auprès de leurs flottes, bien que ces données ne soient que des informations brutes jusqu'à ce qu'elles soient mises en pratique à travers des simulations de formation réalistes. Pour tout le monde, acquérir ce niveau de données ou même le matériel pour le faire n'est tout simplement pas une option à moins d'être une entreprise massivement financée. C'est là que la simulation cloud entre en jeu. En déplaçant la formation et les tests des robots dans des environnements virtuels basés sur le cloud, n'importe qui peut accéder à la puissance de calcul nécessaire et à l'échelle. Une plateforme cloud peut centraliser le partage de ces simulations, résultats et données. Vous abstraisez essentiellement l'accès fermé dont disposent ces entreprises milliardaires, les composants matériels étendus utilisés dans les laboratoires et amenez les ensembles de données à la lumière publique où les contributions open source deviennent un +EV global pour l'innovation. Ce modèle commercial prouve déjà son efficacité avec l'initiative open source LeRobot de Hugging Face qui s'associe à Nvidia pour connecter leurs frameworks afin que les chercheurs puissent partager des modèles, des ensembles de données et des environnements de simulation sur le cloud. L'objectif final est de créer un flywheel de données, car les gens contribuent des données de simulation et des politiques entraînées à des dépôts ouverts, cela accélère les progrès des autres, générant à son tour plus de données accessibles au niveau mondial. Beaucoup de travail est consacré à cela en fermant l'écart "sim to real". Les simulateurs ont souvent échoué à reproduire la réalité, les robots apprenaient des comportements dans un monde virtuel qui ne se transféraient pas dans le monde réel, car la physique ou les visuels n'étaient pas assez précis. Cet écart se réduit maintenant rapidement grâce à une meilleure fidélité de simulation et à des approches de formation hybrides. La plupart des derniers modèles fondamentaux en robotique (comme Isaac GROOT de NVIDIA et Helix VLA de Figure) utilisent une architecture à double système qui imite la cognition humaine. Il en va de même pour la façon dont ils entraînent les données dans les simulations mondiales. Une partie du modèle est entraînée sur des données de démonstration humaine du monde réel, tandis qu'une autre partie est entraînée sur une énorme quantité de données synthétiques générées via des simulateurs de haute fidélité. En combinant la formation physique et simulée, le modèle apprend des compétences précises qui se généralisent mieux. Les données réelles fournissent la vérité en IA, tandis que les données simulées offrent l'échelle et la variété qu'il est impraticable de rassembler dans le monde physique. Les développeurs peuvent même affiner ou post-entraîner des modèles avec des données réelles ou synthétiques supplémentaires pour des tâches spécifiques, rendant le pipeline de formation extrêmement flexible. Helix VLA de Figures, qui utilise l'approche Système 1/Système 2, est entraîné sur seulement des centaines d'heures téléopérées (augmentées par la simulation et le marquage intelligent), Helix peut gérer de nouvelles tâches ménagères par le biais du langage naturel sans codage personnalisé. Cela démontre comment les modèles multimodaux et la formation synthétique réduisent considérablement les besoins en données. @codecopenflow applique le même principe avec Octo, un VLA ouvert intégré dans son SDK Optr, permettant une perception multi-caméras et un contrôle guidé par le langage avec des ensembles de données beaucoup plus petits et un calcul réduit. Les plateformes de simulation mondiale génèrent maintenant d'énormes volumes de données d'entraînement variées qui n'étaient tout simplement pas accessibles auparavant. Isaac Sim de Nvidia (partie d'Isaac Lab) peut prendre une seule démonstration humaine d'une tâche et la transformer en milliers de variations simulées en utilisant des instances cloud parallèles. Imaginez montrer à un robot comment ramasser une boîte dans la réalité, puis le simulateur crée d'innombrables scénarios avec différentes boîtes, conditions d'éclairage et légers ajustements physiques, produisant tous des expériences d'entraînement dont le robot peut apprendre. Une vision sur laquelle @unmoyai travaille très dur. Au moment où cette compétence est déployée sur un robot physique, elle a été prouvée en masse à travers des essais virtuels. En combinant ces riches ensembles de données synthétiques avec juste assez de données de calibration du monde réel, on produit des cerveaux de robot beaucoup plus précis et résilients. C'est pour cela que le SDK cloud de Codec est positionné, en permettant aux utilisateurs de puiser dans et de contribuer à de grands ensembles de données open source (par exemple, en s'interfaçant avec le hub LeRobot de Hugging Face). Chaque exécution de simulation dans le cloud pourrait devenir de nouvelles données d'entraînement qui affinent un modèle global de la façon dont les robots interagissent avec le monde. Tous les éléments suggèrent que les robots humanoïdes et les robots en général approchent d'un "moment App Store". Le matériel robotique sera inutile sans une bibliothèque de compétences. Optr fournit une API unifiée afin qu'un agent autonome contrôlant une application web, un bras robotique ou un avatar simulé utilise tous le même cadre et la même logique de base. Cette abstraction est dynamique, car les développeurs pourraient prototyper une tâche dans un environnement de simulation de type jeu, puis déployer la même logique sur un vrai robot avec des changements minimes. En étant basé sur le cloud et ouvert, le SDK Optr peut servir de fondation pour un marché de la robotique. Les développeurs peuvent créer une nouvelle compétence sans posséder de robot (grâce à la simulation cloud), la tester en toute sécurité dans des environnements virtuels, puis la publier pour les autres. Ceux qui ont besoin de la compétence, comme une startup en robotique ou un particulier avec un robot domestique, pourraient la tirer de la bibliothèque et l'exécuter sur leurs machines. Ce type de marché ouvert et de modèle d'incitation est la clé de l'économie des développeurs en robotique. Il abaisse la barrière à l'entrée (aucun matériel ou laboratoire coûteux nécessaire grâce aux outils cloud), encourage la collaboration puisque les contributions améliorent les ensembles de données et les modèles partagés et fournit une motivation financière aux individus pour résoudre des problèmes de niche. Il existe de nombreuses possibilités de flywheel économique en aval qui découlent de cela (ce que vous pouvez voir à partir de partenariats récents), mais je vais garder cela pour un article séparé.

Chaque jour, nous voyons des titres de milliards de dollars pour la robotique. Il y a seulement 12 mois, ces entreprises et ces chiffres étaient 10 à 20 fois plus bas. Si ce n'est pas déjà douloureusement évident à quel point ce secteur va devenir réussi, consacrez un week-end à la recherche pour ne pas être laissé pour compte. L'histoire montre que la plus grande valeur dans les vagues technologiques s'accumule souvent dans les couches habilitantes, Microsoft dans les PC, Apple dans les smartphones, AWS dans le cloud. La robotique ne sera pas différente, la couche d'infrastructure sur laquelle les développeurs construisent capturera plus que n'importe quel jeu matériel unique. Un thème commun que j'entends de mes amis est qu'ils s'inquiètent d'être sous-exposés à la robotique traditionnelle. Oui, il y aura des titres fous sur Figure AI réalisant un 200x par rapport aux évaluations de départ ou l'équivalent. Mais si vous êtes en dessous de 7 chiffres moyens, Web2 n'est pas où vous voulez être (à moins d'avoir des infos/connections incroyables). Encore et encore, la crypto a offert le potentiel le plus asymétrique et, plus important encore, un upside accéléré. Il y a significativement plus de risques, mais cela vient aussi avec le luxe de ne pas être soumis à des délais, ce qui est parfois pire en soi. Nvidia est l'action la plus importante au monde grâce à l'accélération de l'IA. En regardant en arrière, auriez-vous préféré parier sur ai16z, Virtuals, AIXBT, GOAT lors de leur première phase, ou chercher des "jeux fondamentaux de l'IA" sous-évalués sur Robinhood ? Vous auriez peut-être gardé plus d'argent à long terme, cependant nous sommes ici pour le uPNL qui nous prive de sommeil, n'est-ce pas ? Comme dans les premières phases de l'IA, nous avons été donnés un moment très spécial où le sommet de l'innovation technologique nous regarde droit dans les yeux. Comment vous naviguez dans sa progression est un reflet de votre compréhension des fondamentaux du marché et de la cupidité humaine. Tout comme l'IA, nous allons être confrontés à d'innombrables vaporwares à mesure que nous nous rapprochons des robots à usage général. Pour ceux qui sont prêts à prendre des risques et à attraper les leaders, vous ferez des multiples démesurés qui rendront les investissements de départ d'Andrew Kang petits. Je sais quel jeu je joue.