Importanța unui SDK bazat pe cloud pentru robotică poate să nu sune strălucitoare, dar este absolut crucială pentru avansarea sectorului. Dacă sunteți în cercurile tehnologice, veți auzi zilnic despre platformele cloud, care rareori stârnesc imaginația. Cu toate acestea, pentru roboții umanoizi și operatorii din lumea fizică, un set de instrumente de simulare în cloud este o necesitate de bază pentru orice dezvoltator care încearcă să-și scaleze antrenamentul. Simulările precise ale lumii virtuale sunt una dintre cele mai căutate mărfuri în robotică în acest moment. Cercetătorii desfășoară experimente nesfârșite pentru a determina ce combinații de date reale și sintetice generează cele mai precise rezultate pentru sarcinile de antrenament Da, companii precum Tesla au un avans masiv datorită datelor din rețelele neuronale pe care le-au adunat de la flotele lor, deși aceste date sunt pur și simplu informații brute până când sunt puse în practică prin simulări realiste de antrenament. Pentru toți ceilalți, achiziționarea acelui nivel de date sau chiar a hardware-ului pentru a-l alimenta pur și simplu nu este o opțiune decât dacă ești o companie finanțată masiv. Aici intervine simularea în cloud. Prin mutarea antrenamentului și testării roboților în medii virtuale bazate pe cloud, oricine poate accesa calculul și scalarea necesare. O platformă cloud poate centraliza partajarea acestor simulări, rezultate și date. În esență, abstracți accesul cu ușile închise la care au acces aceste companii de miliarde de dolari, componentele hardware extinse utilizate în laboratoare și aduceți seturile de date în lumina publică, unde contribuțiile open source devin un + EV general pentru inovație. Acest model de afaceri se dovedește deja cu LeRobot (inițiativă open source) de la Hugging Face care a colaborat cu Nvidia pentru a-și conecta cadrele, astfel încât cercetătorii să poată partaja modele, seturi de date și medii de simulare în cloud. Scopul final este de a crea un volant de date, pe măsură ce oamenii contribuie cu date de simulare și politici antrenate pentru a deschide depozite, accelerează progresul altora, generând la rândul său date mai accesibile la nivel global. O mulțime de muncă este canalizată în acest lucru prin eliminarea decalajului "sim la real". Simulatoarele nu erau adesea la înălțimea realității, roboții învățau comportamente într-o lume virtuală care nu se transferau în lumea reală, deoarece fizica sau imaginile nu erau suficient de precise. Acest decalaj se reduce acum rapid datorită unei mai bune fidelități a simulării și a abordărilor de antrenament hibrid. Majoritatea celor mai recente modele de bază în robotică (cum ar fi Isaac GROOT de la NVIDIA și Helix VLA de la Figure) folosesc o arhitectură de sistem dual care imită cogniția umană. Același lucru este valabil și pentru modul în care antrenează datele în simulările mondiale. O parte a modelului este antrenată pe date demonstrative umane din lumea reală, în timp ce o altă parte este antrenată pe o cantitate masivă de date sintetice generate prin simulatoare de înaltă fidelitate. Prin combinarea antrenamentului fizic și simulat, modelul învață abilități precise care generalizează mai bine. Datele reale oferă adevăr în AI, în timp ce datele simulate oferă scara și varietatea care nu este practic de adunat în lumea fizică. Dezvoltatorii pot chiar să regleze sau să posteze modele cu date reale sau sintetice suplimentare pentru sarcini specifice, făcând conducta de antrenament extrem de flexibilă. Figuri Helix VLA, care folosește abordarea System 1/System 2, este antrenat doar pe sute de ore teleoperate (augmentate prin simulare și etichetare inteligentă), Helix poate gestiona noi sarcini casnice prin limbaj natural fără codare personalizată. Demonstrarea modului în care modelele multimodale și antrenamentul sintetic reduc dramatic nevoile de date. @codecopenflow aplică același principiu cu Octo, un VLA deschis integrat în SDK-ul său Optr, permițând percepția cu mai multe camere și controlul ghidat de limbaj cu seturi de date mult mai mici și calcul mai mic. ...