Znaczenie opartego na chmurze SDK dla robotyki może nie brzmieć efektownie, ale jest absolutnie kluczowe dla rozwoju tego sektora. Jeśli jesteś w kręgach technologicznych, codziennie słyszysz o platformach chmurowych, które rzadko pobudzają wyobraźnię. Jednak dla humanoidalnych robotów i operatorów w świecie fizycznym, zestaw narzędzi symulacji w chmurze jest podstawową koniecznością dla każdego dewelopera próbującego skalować swoje szkolenie. Dokładne symulacje wirtualnego świata są obecnie jednymi z najbardziej poszukiwanych towarów w robotyce. Naukowcy przeprowadzają niekończące się eksperymenty, aby określić, które kombinacje danych rzeczywistych i syntetycznych generują najbardziej precyzyjne wyniki dla zadań szkoleniowych. Tak, firmy takie jak Tesla mają ogromną przewagę dzięki danym z sieci neuronowych, które zgromadziły z swoich flot, chociaż te dane są po prostu surowymi informacjami, dopóki nie zostaną wprowadzone w praktykę poprzez realistyczne symulacje szkoleniowe. Dla wszystkich innych, zdobycie tego poziomu danych lub nawet sprzętu do ich obsługi po prostu nie jest opcją, chyba że jesteś firmą z ogromnym finansowaniem. W tym miejscu wkracza symulacja w chmurze. Przenosząc szkolenie i testowanie robotów do opartych na chmurze wirtualnych środowisk, każdy może uzyskać dostęp do potrzebnej mocy obliczeniowej i skalować. Platforma chmurowa może centralizować udostępnianie tych symulacji, wyników i danych. W zasadzie abstrahujesz od zamkniętego dostępu, do którego mają dostęp te miliardowe firmy, rozbudowanych komponentów sprzętowych używanych w laboratoriach i wprowadzasz zbiory danych do publicznego obiegu, gdzie wkłady open source stają się ogólnym +EV dla innowacji. Ten model biznesowy już się sprawdza, gdy inicjatywa open source LeRobot firmy Hugging Face współpracuje z Nvidią, aby połączyć swoje ramy, dzięki czemu badacze mogą dzielić się modelami, zbiorami danych i środowiskami symulacyjnymi w chmurze. Ostatecznym celem jest stworzenie koła danych, ponieważ ludzie przyczyniają się do danych symulacyjnych i wyuczonych polityk do otwartych repozytoriów, przyspiesza to postęp innych, co z kolei generuje więcej globalnie dostępnych danych. Wiele pracy jest wkładane w to poprzez zamykanie luki „symulacja do rzeczywistości”. Symulatory często nie dorównywały rzeczywistości, roboty uczyły się zachowań w wirtualnym świecie, które nie przenosiły się do rzeczywistego świata, ponieważ fizyka lub wizualizacje nie były wystarczająco dokładne. Ta luka teraz szybko się zamyka dzięki lepszej wierności symulacji i hybrydowym podejściom do szkolenia. Większość najnowszych modeli bazowych w robotyce (takich jak NVIDIA Isaac GROOT i Helix VLA firmy Figure) używa architektury podwójnego systemu, która naśladuje ludzką kognicję. To samo dotyczy sposobu, w jaki szkolą dane w symulacjach światowych. Jedna część modelu jest szkolona na danych z demonstracji ludzkich z rzeczywistego świata, podczas gdy druga część jest szkolona na ogromnej ilości danych syntetycznych generowanych przez symulatory o wysokiej wierności. Łącząc fizyczne i symulowane szkolenie, model uczy się dokładnych umiejętności, które lepiej się generalizują. Rzeczywiste dane dostarczają prawdy w AI, podczas gdy dane symulowane zapewniają skalę i różnorodność, które są niepraktyczne do zebrania w świecie fizycznym. Deweloperzy mogą nawet dostosować lub po-szkolić modele z dodatkowymi danymi rzeczywistymi lub syntetycznymi dla konkretnych zadań, co czyni proces szkolenia niezwykle elastycznym. Helix VLA firmy Figure, która korzysta z podejścia System 1/System 2, jest szkolona tylko na setkach godzin teleoperacji (wzbogaconych o symulację i inteligentne etykietowanie), Helix może obsługiwać nowe zadania domowe za pomocą naturalnego języka bez potrzeby kodowania. Demonstrując, jak multimodalne modele i syntetyczne szkolenie drastycznie zmniejszają potrzeby danych. @codecopenflow stosuje tę samą zasadę z Octo, otwartym VLA zintegrowanym z jego SDK Optr, umożliwiającym percepcję z wielu kamer i kontrolę kierowaną językiem przy znacznie mniejszych zbiorach danych i niższej mocy obliczeniowej. ...