Odletěl jsem do Dubaje, abych osobně pracoval s týmem $CODEC. Robotika bude příliš velkým odvětvím na to, abychom do ní nešli naplno. Studujte práci pro své tašky.

Důležitost cloudové sady SDK pro robotiku nemusí znít okázale, ale je naprosto zásadní pro pokrok v tomto odvětví. Pokud se pohybujete v technologických kruzích, uslyšíte o cloudových platformách denně, které jen zřídka podnítí představivost. Přesto pro humanoidní roboty a operátory ve fyzickém světě je sada nástrojů pro cloudovou simulaci základní nutností pro každého vývojáře, který se snaží rozšířit své školení. Přesné simulace virtuálního světa jsou v současné době jednou z nejžádanějších komodit v robotice. Výzkumníci provádějí nekonečné experimenty, aby zjistili, které kombinace reálných a syntetických dat generují nejpřesnější výsledky pro tréninkové úkoly Ano, společnosti jako Tesla mají obrovský náskok díky datům neuronových sítí, které shromáždily ze svých vozových parků, i když tato data jsou pouze nezpracovanou informací, dokud nejsou uvedena do praxe prostřednictvím realistických tréninkových simulací. Pro všechny ostatní není získání takové úrovně dat nebo dokonce hardwaru pro jejich napájení možností, pokud nejste masivně financovaná společnost. A právě zde přichází na řadu simulace cloudu. Přesunutím školení a testování robotů do cloudových virtuálních prostředí má kdokoli přístup k potřebným výpočtům a škálování. Cloudová platforma může centralizovat sdílení těchto simulací, výsledků a dat. V podstatě abstrahujete od přístupu za zavřenými dveřmi, ke kterým mají tyto miliardové společnosti přístup, rozsáhlých hardwarových komponent používaných v laboratořích a vynášení datových sad na veřejnost, kde se příspěvky open source stávají celkovým +EV pro inovace. Tento obchodní model se již osvědčil díky partnerství LeRobot (open source) společnosti Hugging Face se společností Nvidia za účelem propojení jejich frameworků, aby výzkumníci mohli sdílet modely, datové sady a simulační prostředí v cloudu. Konečným cílem je vytvořit datový setrvačník, protože lidé přispívají simulačními daty a vyškolenými politikami k otevření repozitářů, urychluje pokrok ostatních a na oplátku generuje globálně dostupná data. Hodně práce se do toho nalévá prostřednictvím zacelení mezery "od simulace ke skutečnému". Simulátory často zaostávaly za realitou, roboti se ve virtuálním světě učili chování, které se nepřeneslo do skutečného světa, protože fyzika nebo vizuální stránka nebyly dostatečně přesné. Tato mezera se nyní rychle uzavírá díky lepší věrnosti simulace a hybridním přístupům k trénování. Většina nejnovějších základních modelů v robotice (jako je Isaac GROOT od NVIDIA a Helix VLA od Figure) používá architekturu duálního systému, která napodobuje lidské poznávání. To samé platí pro to, jak trénují data ve světových simulátorech. Jedna část modelu je trénována na demonstračních datech z reálného světa, zatímco další část je trénována na obrovském množství syntetických dat generovaných pomocí vysoce věrných simulátorů. Kombinací fyzického a simulovaného tréninku se model učí přesné dovednosti, které lze lépe zobecnit. Skutečná data poskytují pravdu v AI, zatímco simulovaná data poskytují rozsah a rozmanitost, které je ve fyzickém světě nepraktické shromažďovat. Vývojáři mohou dokonce vyladit nebo odeslat trénované modely pomocí dalších skutečných nebo syntetických dat pro konkrétní úkoly, díky čemuž je trénovací řetězec extrémně flexibilní. Obrázky Helix VLA, který využívá přístup System 1/System 2, je vyškolen pouze na stovkách dálkově ovládaných hodin (rozšířených o simulaci a inteligentní značení), Helix dokáže zvládnout nové úkoly v domácnosti prostřednictvím přirozeného jazyka bez vlastního kódování. Demonstrace toho, jak multimodální modely a syntetické trénování dramaticky snižují potřeby dat. @codecopenflow uplatňuje stejný princip s Octo, otevřeným VLA integrovaným do sady Optr SDK, která umožňuje vnímání více kamer a ovládání pomocí jazyka s mnohem menšími datovými sadami a nižším výpočetním výkonem. Světové simulační platformy nyní generují obrovské objemy různorodých tréninkových dat, která dříve jednoduše nebyla dostupná. Isaac Sim od Nvidie (součást Isaac Lab) dokáže vzít jedinou lidskou demonstraci úkolu a rozvinout ji do tisíců simulovaných variant pomocí paralelních cloudových instancí. Představte si, že ukážete robotovi, jak ve skutečnosti zvedne jednu krabici, a poté simulátor vytvoří nespočet scénářů s různými krabicemi, světelnými podmínkami a mírnými fyzikálními úpravami, a to vše vytváří tréninkové zkušenosti, ze kterých se robot může učit. Vize@unmoyai na které velmi usilovně pracuje. V době, kdy je tato dovednost nasazena na fyzickém robotu, je prokázána v hromadném množství virtuálních zkoušek. Kombinací těchto bohatých syntetických datových souborů s dostatečným množstvím kalibračních dat v reálném světě vznikají mnohem přesnější a odolnější robotické mozky. To je to, k čemu je cloudová sada SDK společnosti Codec umístěna tím, že umožňuje uživatelům stahovat z velkých datových sad s otevřeným zdrojovým kódem a přispívat do nich (například propojení s centrem LeRobot společnosti Hugging Face). Každá simulace spuštěná v cloudu by se mohla stát novými tréninkovými daty, která zdokonalí globální model toho, jak roboti interagují se světem. Všechny tyto části naznačují, že humanoidi a roboti obecně se blíží k "okamžiku App Store". Robotický hardware bude k ničemu bez knihovny dovedností. Optr poskytuje jednotné API, takže autonomní agent ovládající webovou aplikaci, robotickou paži nebo simulovaného avatara používá stejný základní rámec a logiku. Tato abstrakce je dynamická, protože vývojáři mohou prototypovat úlohu v prostředí podobné simulátoru a poté nasadit stejnou logiku na skutečného robota s minimálními změnami. Díky tomu, že je Optr SDK založena na cloudu a otevřená, může fungovat jako základ pro trh robotiky. Vývojáři mohou vytvořit novou dovednost, aniž by vlastnili robota (díky cloudové sim), bezpečně ji otestovat ve virtuálních prostředích a poté ji publikovat pro ostatní. Ti, kteří tuto dovednost potřebují, jako je robotický startup nebo jednotlivec s domácím robotem, by ji mohli vytáhnout z knihovny a spustit ji na svých počítačích. Tento druh otevřeného trhu a motivačního modelu je rozbuškou pro ekonomiku vývojářů robotiky. Snižuje bariéru vstupu (kvůli cloudovým nástrojům není potřeba žádný drahý hardware ani laboratoře), podporuje spolupráci, protože příspěvky zlepšují sdílené datové sady a modely a poskytuje finanční motivaci jednotlivcům k řešení specializovaných problémů. Existuje mnoho možností ekonomického setrvačníku, které se z toho rodí (což můžete vidět z nedávných partnerství), ale to si nechám na samostatný zápis.

Každý den vidíme miliardové titulky o robotice. Ještě před 12 měsíci byly tyto společnosti a čísla 10-20x nižší. Pokud ještě není pečlivě zřejmé, jak úspěšným se tento sektor stane, věnujte víkend výzkumu, abyste nezůstali pozadu. Historie ukazuje, že největší hodnota v technologických vlnách často připadá na podpůrné vrstvy, Microsoft na PC, Apple na smartphonech, AWS na cloudu. Robotika nebude jiná, infra vrstva, na které vývojáři staví, zachytí více než jakákoli jednotlivá hardwarová hra. Jedním z častých témat, které slýchám od přátel, je, že se obávají, že nebudou dostatečně vystaveni tradiční robotice. Ano, budou šílené titulky o tom, že Figure AI udělá 200x z ocenění semen nebo ekvivalentu. Ale pokud jste pod polovinou 7 fíků, Web2 není tam, kde chcete být (pokud nemáte šílené informace/konexe). Kryptoměny znovu a znovu nabízely nejvíce asymetrické a co je důležitější, zrychlený růst. Je zde výrazně větší riziko, ale také přichází s luxusem, že nejste časově odolní, což je někdy samo o sobě horší. Nvidia je největší akcií na světě díky akceleraci AI. Když se ohlédnete zpět, dali byste přednost sázení na ai16z, Virtuals, AIXBT, GOAT v jejich první etapě, nebo lovu podceňovaných "základních her AI" na Robinhoodu? Možná jste si z dlouhodobého hlediska nechali více peněz, ale jsme tu pro uPNL, které zbavují spánek, že? Stejně jako v prvních směnách umělé inteligence nám byl dán velmi zvláštní okamžik, kdy nám vrchol technologických inovací zírá do tváře. To, jak se orientujete v jeho vývoji, je odrazem vašeho porozumění základům trhu a lidské chamtivosti. Stejně jako umělá inteligence se budeme setkávat s nekonečným vaporwarem, jak se budeme přibližovat k robotům pro všeobecné použití. Pro ty, kteří jsou ochotni házet kostkami a chytat lídry, budete dělat obrovské násobky, díky nimž budou počáteční investice Andrewa Kanga vypadat malé. Vím, kterou hru hraji.