Vikten av ett molnbaserat SDK för robotik kanske inte låter flashigt, men det är helt avgörande för att utveckla sektorn. Om du är i tekniska kretsar kommer du att höra om molnplattformar dagligen, vilket sällan väcker fantasin. Men för humanoida robotar och operatörer i den fysiska världen är ett verktyg för molnsimulering en grundläggande nödvändighet för alla utvecklare som försöker skala upp sin utbildning. Exakta simuleringar av virtuella världar är en av de mest eftertraktade varorna inom robotik just nu. Forskare kör oändliga experiment för att avgöra vilka kombinationer av verkliga och syntetiska data som genererar de mest exakta resultaten för träningsuppgifter Ja, företag som Tesla har ett enormt försprång tack vare de neurala nätverksdata som de har samlat in från sina flottor, även om dessa data helt enkelt är rå information tills den omsätts i praktiken genom realistiska träningssimuleringar. För alla andra är det helt enkelt inte ett alternativ att skaffa den nivån av data eller till och med hårdvaran för att driva den om du inte är ett massivt finansierat företag. Det är här molnsimulering kommer in. Genom att flytta robotträning och testning till molnbaserade virtuella miljöer kan vem som helst få tillgång till den beräkning och skalning som behövs. En molnplattform kan centralisera delningen av dessa simuleringar, resultat och data. Du abstraherar i huvudsak bort den stängda dörren som dessa miljarddollarföretag har tillgång till, de omfattande hårdvarukomponenterna som används i laboratorier och att föra fram datamängder i allmänhetens ljus där bidrag till öppen källkod blir en övergripande +EV till innovation. Denna affärsmodell har redan bevisat sig med Hugging Face's LeRobot (open source initiative) som samarbetar med Nvidia för att koppla ihop sina ramverk så att forskare kan dela modeller, dataset och simuleringsmiljöer i molnet. Slutmålet är att skapa ett svänghjul för data, eftersom människor bidrar med simuleringsdata och tränade policyer för att öppna lagringsplatser, påskyndar det andras framsteg och genererar i sin tur mer globalt tillgängliga data. Mycket arbete läggs ner på detta genom att överbrygga klyftan mellan "sim och riktigt". Simulatorer nådde ofta inte upp till verkligheten, robotar lärde sig beteenden i en virtuell värld som inte överfördes till den verkliga världen, eftersom fysiken eller det visuella inte var tillräckligt exakt. Det gapet minskar nu snabbt tack vare bättre simuleringsåtergivning och hybridträningsmetoder. De flesta av de senaste grundmodellerna inom robotik (som NVIDIA:s Isaac GROOT och Figures Helix VLA) använder en dubbel systemarkitektur som efterliknar mänsklig kognition. Samma sak gäller för hur de tränar data i världssimuleringar. En del av modellen är tränad på mänskliga demonstrationsdata från den verkliga världen, medan en annan del är tränad på en enorm mängd syntetisk data som genereras via högupplösta simulatorer. Genom att kombinera fysisk och simulerad träning lär sig modellen exakta färdigheter som generaliseras bättre. Verkliga data ger sanning i AI, medan simulerade data ger den skala och variation som är opraktisk att samla in i den fysiska världen. Utvecklare kan till och med finjustera eller publicera träningsmodeller med ytterligare verkliga eller syntetiska data för specifika uppgifter, vilket gör träningspipelinen extremt flexibel. Siffror Helix VLA, som använder System 1/System 2-metoden, tränas på endast hundratals fjärrstyrda timmar (förstärkt med simulering och smart märkning), Helix kan hantera nya hushållsuppgifter genom naturligt språk utan anpassad kodning. Demonstrera hur multimodala modeller och syntetisk träning minskar databehoven dramatiskt. @codecopenflow tillämpar samma princip med Octo, en öppen VLA som är integrerad i Optr SDK, vilket möjliggör flerkameraperception och språkstyrd kontroll med mycket mindre datamängder och lägre beräkning. ...