Vloog naar Dubai om persoonlijk met het $CODEC-team te werken. Robotica wordt een te grote sector om er niet volledig op in te zetten. Bestudeer hoe je voor je bags kunt werken.

Het belang van een cloud-gebaseerde SDK voor robotica klinkt misschien niet opwindend, maar het is absoluut cruciaal voor de vooruitgang van de sector. Als je in technische kringen verkeert, hoor je dagelijks over cloudplatforms, die zelden de verbeelding prikkelen. Toch is een cloud-simulatie toolkit een kernbehoefte voor humanoïde robots en operators in de fysieke wereld, voor elke ontwikkelaar die zijn training wil opschalen. Nauwkeurige virtuele wereldsimulaties zijn momenteel een van de meest gewilde goederen in de robotica. Onderzoekers voeren eindeloze experimenten uit om te bepalen welke combinaties van echte en synthetische gegevens de meest nauwkeurige resultaten opleveren voor trainingsopdrachten. Ja, bedrijven zoals Tesla hebben een enorme voorsprong dankzij de neurale netwerkgegevens die ze van hun vloot hebben verzameld, hoewel deze gegevens gewoon ruwe informatie zijn totdat ze in de praktijk worden gebracht via realistische trainingssimulaties. Voor iedereen die niet zo'n niveau van gegevens kan verwerven of zelfs de hardware om het te ondersteunen, is dat gewoon geen optie, tenzij je een enorm gefinancierd bedrijf bent. Hier komt cloud-simulatie om de hoek kijken. Door robottraining en -testen naar cloud-gebaseerde virtuele omgevingen te verplaatsen, kan iedereen de benodigde rekenkracht en schaal toegankelijk maken. Een cloudplatform kan de deling van die simulaties, resultaten en gegevens centraliseren. Je abstracteert in wezen de gesloten toegang die deze miljardenbedrijven hebben, de uitgebreide hardwarecomponenten die in laboratoria worden gebruikt, en brengt datasets in het publieke domein waar open source bijdragen een algehele +EV voor innovatie worden. Dit businessmodel bewijst zich al met Hugging Face's LeRobot (open source-initiatief) dat samenwerkt met Nvidia om hun frameworks te verbinden, zodat onderzoekers modellen, datasets en simulatieomgevingen in de cloud kunnen delen. Het einddoel is om een gegevensflywheel te creëren; naarmate mensen simulatiegegevens en getrainde beleidslijnen bijdragen aan open repos, versnelt dit de vooruitgang van anderen, wat op zijn beurt meer wereldwijd toegankelijke gegevens genereert. Er wordt veel werk in deze richting gestoken door de "sim naar echt" kloof te dichten. Simulators voldeden vaak niet aan de realiteit; robots leerden gedragingen in een virtuele wereld die niet overgedragen konden worden naar de echte wereld, omdat de fysica of visuals niet nauwkeurig genoeg waren. Die kloof sluit nu snel door betere simulatiefideliteit en hybride trainingsbenaderingen. De meeste van de nieuwste fundamentmodellen in de robotica (zoals NVIDIA's Isaac GROOT en Figure's Helix VLA) gebruiken een duale systeemarchitectuur die menselijke cognitie nabootst. Hetzelfde geldt voor hoe ze gegevens trainen in wereldsimulaties. Een deel van het model wordt getraind op menselijke demonstratiegegevens uit de echte wereld, terwijl een ander deel wordt getraind op een enorme hoeveelheid synthetische gegevens die zijn gegenereerd via hoogwaardige simulators. Door fysieke en gesimuleerde training te combineren, leert het model nauwkeurige vaardigheden die beter generaliseren. Echte gegevens bieden waarheid in AI, terwijl gesimuleerde gegevens de schaal en variëteit bieden die onpraktisch zijn om in de fysieke wereld te verzamelen. Ontwikkelaars kunnen modellen zelfs fijn afstemmen of post-trainen met aanvullende echte of synthetische gegevens voor specifieke taken, waardoor de trainingspipeline extreem flexibel wordt. Figures Helix VLA, dat gebruikmaakt van de System 1/System 2-benadering, is getraind op slechts honderden teleoperatie-uren (versterkt door simulatie en slimme labeling); Helix kan nieuwe huishoudelijke taken aan via natuurlijke taal zonder aangepaste codering. Dit toont aan hoe multimodale modellen en synthetische training de gegevensbehoeften dramatisch verminderen. @codecopenflow past hetzelfde principe toe met Octo, een open VLA geïntegreerd in zijn Optr SDK, waarmee multi-camera perceptie en taalgedelegeerde controle mogelijk is met veel kleinere datasets en lagere rekenkracht. Wereldsimulatieplatforms genereren nu enorme volumes van gevarieerde trainingsgegevens die simpelweg niet eerder toegankelijk waren. Nvidia's Isaac Sim (onderdeel van Isaac Lab) kan een enkele menselijke demonstratie van een taak nemen en deze omzetten in duizenden gesimuleerde variaties met behulp van parallelle cloudinstanties. Stel je voor dat je een robot laat zien hoe je één doos in de werkelijkheid oppakt en de simulator vervolgens talloze scenario's creëert met verschillende dozen, lichtomstandigheden en kleine fysica-aanpassingen, die allemaal trainingservaringen opleveren waar de robot van kan leren. Een visie waar @unmoyai hard aan werkt. Tegen de tijd dat die vaardigheid op een fysieke robot wordt ingezet, is deze bewezen in massale hoeveelheden virtuele proeven. Door deze rijke synthetische datasets te combineren met net genoeg gegevens voor kalibratie in de echte wereld, ontstaan veel nauwkeurigere en veerkrachtigere robotbreinen. Dit is waar Codec's cloud SDK voor is gepositioneerd, door gebruikers zowel toegang te geven tot als bij te dragen aan grote open source datasets (bijvoorbeeld door interfacing met Hugging Face's LeRobot-hub). Elke simulatie die in de cloud wordt uitgevoerd, kan nieuwe trainingsgegevens worden die een globaal model verfijnen van hoe robots met de wereld omgaan. Alle stukjes wijzen erop dat humanoïde robots en robots in het algemeen een "App Store-moment" naderen. Robothardware zal nutteloos zijn zonder een bibliotheek van vaardigheden. Optr biedt een uniforme API zodat een autonome agent die een webapp, een robotarm of een gesimuleerde avatar bestuurt, allemaal dezelfde kernstructuur en logica gebruikt. Deze abstractie is dynamisch, aangezien ontwikkelaars een taak in een game-achtige sim-omgeving kunnen prototypen en vervolgens dezelfde logica met minimale wijzigingen naar een echte robot kunnen implementeren. Door cloud-gebaseerd en open te zijn, kan de Optr SDK fungeren als de basis voor een robotica-marktplaats. Ontwikkelaars kunnen een nieuwe vaardigheid bouwen zonder een robot te bezitten (dankzij cloud-simulatie), deze veilig testen in virtuele omgevingen en deze vervolgens publiceren voor anderen. Degenen die de vaardigheid nodig hebben, zoals een robotstart-up of een individu met een thuisrobot, kunnen deze uit de bibliotheek halen en op hun machines uitvoeren. Dit soort open marktplaats en incentive-model is de ontsteking voor de robotica-ontwikkelaars economie. Het verlaagt de toetredingsdrempel (geen dure hardware of laboratoria nodig door cloudtools), het moedigt samenwerking aan, aangezien bijdragen de gedeelde datasets en modellen verbeteren, en biedt financiële motivatie voor individuen om nicheproblemen op te lossen. Er zijn veel downstream economische flywheel mogelijkheden die hieruit voortkomen (wat je kunt zien aan recente partnerschappen), maar ik bewaar dat voor een aparte schrijfopdracht.

Elke dag zien we koppen van miljarden dollars voor robotica. Slechts 12 maanden geleden waren deze bedrijven en cijfers 10-20x lager. Als het nog niet pijnlijk duidelijk is hoe succesvol deze sector gaat worden, besteed dan een weekend aan onderzoek zodat je niet achterblijft. De geschiedenis toont aan dat de grootste waarde in technologische golven vaak toekomt aan de ondersteunende lagen, Microsoft in pc's, Apple in smartphones, AWS in de cloud. Robotica zal niet anders zijn, de infrastructuurlaag waarop ontwikkelaars bouwen, zal meer vastleggen dan welke enkele hardware dan ook. Een veelvoorkomend thema dat ik van vrienden hoor, is dat ze zich zorgen maken over een te lage blootstelling aan traditionele robotica. Ja, er zullen krankzinnige koppen zijn over Figure AI die 200x doet vanaf seedwaarderingen of het equivalent. Maar als je onder de mid 7 cijfers zit, is Web2 niet waar je wilt zijn (tenzij je krankzinnige info/connecties hebt). Steeds weer heeft crypto de meest asymmetrische en belangrijker nog, versnelde opwaartse potentieel geboden. Er is aanzienlijk meer risico, maar het komt ook met de luxe van niet tijdsgebonden te zijn, wat soms erger is op zich. Nvidia is het grootste aandeel ter wereld vanwege de versnelling van AI. Als je terugkijkt, zou je liever hebben ingezet op ai16z, Virtuals, AIXBT, GOAT in hun eerste fase, of jagen op ondergewaardeerde "fundamentele AI-spelers" op Robinhood? Je had misschien op de lange termijn meer geld kunnen behouden, maar we zijn hier voor de slaapverwekkende uPNL, nietwaar? Net als in de vroege fasen van AI, zijn we gegeven een zeer speciaal moment waarop de top van technologische innovatie ons recht in het gezicht aankijkt. Hoe je de voortgang ervan navigeert, is een reflectie van je begrip van marktfundamentals en menselijke hebzucht. Net als bij AI, zullen we eindeloos veel vaporware tegenkomen naarmate we dichter bij algemene robots komen. Voor degenen die bereid zijn om de dobbelstenen te rollen en de leiders te vangen, zul je buitenproportionele multiples maken die de seedinvesteringen van Andrew Kang klein doen lijken. Ik weet welk spel ik speel.