Poleciałem do Dubaju, aby osobiście pracować z zespołem $CODEC. Robotyka będzie zbyt dużym sektorem, aby nie zainwestować w nią w pełni. Ucz się, pracując na swoje torby.

Znaczenie opartego na chmurze SDK dla robotyki może nie brzmieć efektownie, ale jest absolutnie kluczowe dla rozwoju tego sektora. Jeśli jesteś w kręgach technologicznych, codziennie słyszysz o platformach chmurowych, które rzadko pobudzają wyobraźnię. Jednak dla humanoidalnych robotów i operatorów w świecie fizycznym, zestaw narzędzi symulacji w chmurze jest podstawową koniecznością dla każdego dewelopera próbującego skalować swoje szkolenie. Dokładne symulacje wirtualnego świata są obecnie jednymi z najbardziej poszukiwanych towarów w robotyce. Naukowcy przeprowadzają niekończące się eksperymenty, aby określić, które kombinacje danych rzeczywistych i syntetycznych generują najbardziej precyzyjne wyniki dla zadań szkoleniowych. Tak, firmy takie jak Tesla mają ogromną przewagę dzięki danym z sieci neuronowych, które zgromadziły z swoich flot, chociaż te dane są po prostu surowymi informacjami, dopóki nie zostaną wprowadzone w praktykę poprzez realistyczne symulacje szkoleniowe. Dla wszystkich innych, zdobycie tego poziomu danych lub nawet sprzętu do ich obsługi po prostu nie jest opcją, chyba że jesteś firmą z ogromnym finansowaniem. W tym miejscu wkracza symulacja w chmurze. Przenosząc szkolenie i testowanie robotów do opartych na chmurze wirtualnych środowisk, każdy może uzyskać dostęp do potrzebnej mocy obliczeniowej i skalować. Platforma chmurowa może centralizować udostępnianie tych symulacji, wyników i danych. W zasadzie abstrahujesz od zamkniętego dostępu, do którego mają dostęp te miliardowe firmy, rozbudowanych komponentów sprzętowych używanych w laboratoriach i wprowadzasz zbiory danych do publicznego obiegu, gdzie wkłady open source stają się ogólnym +EV dla innowacji. Ten model biznesowy już się sprawdza, gdy inicjatywa open source LeRobot firmy Hugging Face współpracuje z Nvidią, aby połączyć swoje ramy, dzięki czemu badacze mogą dzielić się modelami, zbiorami danych i środowiskami symulacyjnymi w chmurze. Ostatecznym celem jest stworzenie koła danych, ponieważ ludzie przyczyniają się do danych symulacyjnych i wyuczonych polityk do otwartych repozytoriów, przyspiesza to postęp innych, co z kolei generuje więcej globalnie dostępnych danych. Wiele pracy jest wkładane w to poprzez zamykanie luki „symulacja do rzeczywistości”. Symulatory często nie dorównywały rzeczywistości, roboty uczyły się zachowań w wirtualnym świecie, które nie przenosiły się do rzeczywistego świata, ponieważ fizyka lub wizualizacje nie były wystarczająco dokładne. Ta luka teraz szybko się zamyka dzięki lepszej wierności symulacji i hybrydowym podejściom do szkolenia. Większość najnowszych modeli bazowych w robotyce (takich jak NVIDIA Isaac GROOT i Helix VLA firmy Figure) używa architektury podwójnego systemu, która naśladuje ludzką kognicję. To samo dotyczy sposobu, w jaki szkolą dane w symulacjach światowych. Jedna część modelu jest szkolona na danych z demonstracji ludzkich z rzeczywistego świata, podczas gdy druga część jest szkolona na ogromnej ilości danych syntetycznych generowanych przez symulatory o wysokiej wierności. Łącząc fizyczne i symulowane szkolenie, model uczy się dokładnych umiejętności, które lepiej się generalizują. Rzeczywiste dane dostarczają prawdy w AI, podczas gdy dane symulowane zapewniają skalę i różnorodność, które są niepraktyczne do zebrania w świecie fizycznym. Deweloperzy mogą nawet dostosować lub po-szkolić modele z dodatkowymi danymi rzeczywistymi lub syntetycznymi dla konkretnych zadań, co czyni proces szkolenia niezwykle elastycznym. Helix VLA firmy Figure, która korzysta z podejścia System 1/System 2, jest szkolona tylko na setkach godzin teleoperacji (wzbogaconych o symulację i inteligentne etykietowanie), Helix może obsługiwać nowe zadania domowe za pomocą naturalnego języka bez potrzeby kodowania. Demonstrując, jak multimodalne modele i syntetyczne szkolenie drastycznie zmniejszają potrzeby danych. @codecopenflow stosuje tę samą zasadę z Octo, otwartym VLA zintegrowanym z jego SDK Optr, umożliwiającym percepcję z wielu kamer i kontrolę kierowaną językiem przy znacznie mniejszych zbiorach danych i niższej mocy obliczeniowej. Platformy symulacji świata generują teraz ogromne ilości zróżnicowanych danych szkoleniowych, które wcześniej były po prostu niedostępne. Isaac Sim Nvidii (część Isaac Lab) może wziąć pojedynczą demonstrację ludzką zadania i przekształcić ją w tysiące symulowanych wariacji, korzystając z równoległych instancji w chmurze. Wyobraź sobie pokazanie robotowi, jak podnieść jedną skrzynkę w rzeczywistości, a następnie symulator tworzy niezliczone scenariusze z różnymi skrzynkami, warunkami oświetleniowymi i drobnymi poprawkami fizyki, wszystkie produkując doświadczenia szkoleniowe, z których robot może się uczyć. Wizja, nad którą @unmoyai ciężko pracuje. W momencie, gdy ta umiejętność jest wdrażana na fizycznym robocie, została udowodniona w masowych ilościach wirtualnych prób. Łączenie tych bogatych syntetycznych zbiorów danych z wystarczającą ilością danych kalibracyjnych z rzeczywistego świata produkuje znacznie dokładniejsze i bardziej odporne mózgi robotów. To jest to, do czego jest skierowane SDK w chmurze Codec, pozwalając użytkownikom zarówno korzystać z, jak i przyczyniać się do dużych zbiorów danych open source (na przykład, interfejsując z hubem LeRobot firmy Hugging Face). Każda symulacja uruchomiona w chmurze może stać się nowymi danymi szkoleniowymi, które ostrzą globalny model tego, jak roboty wchodzą w interakcje ze światem. Wszystkie elementy sugerują, że humanoidalne roboty i roboty ogólnie zbliżają się do „momentu App Store”. Sprzęt robotyczny będzie bezużyteczny bez biblioteki umiejętności. Optr zapewnia zunifikowane API, aby autonomiczny agent kontrolujący aplikację internetową, ramię robota lub symulowanego awatara mógł korzystać z tej samej podstawowej struktury i logiki. Ta abstrakcja jest dynamiczna, ponieważ deweloperzy mogą prototypować zadanie w środowisku symulacyjnym przypominającym grę, a następnie wdrożyć tę samą logikę do rzeczywistego robota z minimalnymi zmianami. Dzięki temu, że jest oparty na chmurze i otwarty, SDK Optr może działać jako fundament dla rynku robotyki. Deweloperzy mogą stworzyć nową umiejętność bez posiadania robota (dzięki symulacji w chmurze), przetestować ją bezpiecznie w wirtualnych środowiskach, a następnie opublikować ją dla innych. Ci, którzy potrzebują tej umiejętności, jak startup robotyczny lub osoba z robotem domowym, mogą ją pobrać z biblioteki i uruchomić na swoich maszynach. Tego rodzaju otwarty rynek i model zachęt to zapalnik dla gospodarki deweloperów robotyki. Obniża barierę wejścia (nie są potrzebne drogie sprzęty ani laboratoria dzięki narzędziom chmurowym), zachęca do współpracy, ponieważ wkłady poprawiają wspólne zbiory danych i modele oraz zapewnia motywację finansową dla osób rozwiązujących niszowe problemy. Istnieje wiele możliwości ekonomicznych, które mogą wyniknąć z tego (co można zobaczyć w ostatnich partnerstwach), ale to zostawię na osobny artykuł.

Codziennie widzimy nagłówki o wartości miliardów dolarów dotyczące robotyki. Jeszcze 12 miesięcy temu te firmy i liczby były 10-20 razy niższe. Jeśli nie jest już bolesnie oczywiste, jak udany ten sektor się stanie, poświęć weekend na badania, aby nie zostać w tyle. Historia pokazuje, że największa wartość w falach technologicznych często gromadzi się w warstwach umożliwiających, Microsoft w PC, Apple w smartfonach, AWS w chmurze. Robotyka nie będzie wyjątkiem, warstwa infrastruktury, na której budują deweloperzy, przechwyci więcej niż jakiekolwiek pojedyncze rozwiązanie sprzętowe. Jednym z powszechnych tematów, które słyszę od przyjaciół, jest to, że martwią się o niedostateczne zaangażowanie w tradycyjną robotykę. Tak, będą szalone nagłówki o Figure AI, które osiągnie 200x od wycen seedowych lub ich odpowiedników. Ale jeśli jesteś poniżej średnich 7 cyfr, Web2 to nie jest miejsce, w którym chcesz być (chyba że masz niesamowite informacje/połączenia). Czas po czasie, kryptowaluty oferowały najbardziej asymetryczny, a co ważniejsze, przyspieszony potencjał wzrostu. Istnieje znacznie większe ryzyko, ale wiąże się to również z luksusem braku „rug pull” w czasie, co czasami jest gorsze samo w sobie. Nvidia jest największą spółką na świecie z powodu przyspieszenia AI. Patrząc wstecz, czy wolałbyś postawić na ai16z, Virtuals, AIXBT, GOAT w ich pierwszej fazie, czy szukać niedowartościowanych „fundamentalnych rozwiązań AI” na Robinhood? Możliwe, że w dłuższej perspektywie miałbyś więcej pieniędzy, jednak jesteśmy tutaj dla deprywującego snu uPNL, prawda? Jak wczesne etapy AI, otrzymaliśmy bardzo wyjątkowy moment, w którym szczyt innowacji technologicznej patrzy nam prosto w twarz. Jak poradzisz sobie z jego postępem, jest odzwierciedleniem twojego zrozumienia podstaw rynkowych i ludzkiej chciwości. Podobnie jak w przypadku AI, będziemy spotykać się z nieskończonymi vaporware, gdy zbliżamy się do robotów ogólnego przeznaczenia. Dla tych, którzy są gotowi zaryzykować i złapać liderów, osiągniesz ogromne mnożniki, które sprawią, że inwestycje seedowe Andrew Kanga będą wyglądały na małe. Wiem, w jaką grę gram.