Важность облачного SDK для робототехники может не звучать эффектно, но это абсолютно необходимо для продвижения сектора. Если вы находитесь в технологических кругах, вы будете слышать о облачных платформах ежедневно, которые редко вдохновляют воображение. Тем не менее, для гуманоидных роботов и операторов в физическом мире облачный инструмент симуляции является основной необходимостью для любого разработчика, пытающегося масштабировать свое обучение. Точные симуляции виртуального мира являются одним из самых востребованных товаров в робототехнике в настоящее время. Исследователи проводят бесконечные эксперименты, чтобы определить, какие комбинации реальных и синтетических данных генерируют наиболее точные результаты для обучающих задач. Да, такие компании, как Tesla, имеют огромное преимущество благодаря данным нейронной сети, которые они собрали со своих флотилий, хотя эти данные являются просто сырыми сведениями, пока они не будут применены на практике через реалистичные обучающие симуляции. Для всех остальных получение такого уровня данных или даже оборудования для его обработки просто не является вариантом, если вы не являетесь компанией с огромным финансированием. Вот где приходит облачная симуляция. Перемещая обучение и тестирование роботов в облачные виртуальные среды, любой может получить доступ к необходимым вычислениям и масштабированию. Облачная платформа может централизовать обмен этими симуляциями, результатами и данными. Вы по сути абстрагируете закрытый доступ, который имеют эти компании на миллиарды долларов, обширные аппаратные компоненты, используемые в лабораториях, и выводите наборы данных на общественное обозрение, где открытые источники становятся общим +EV для инноваций. Эта бизнес-модель уже доказывает свою состоятельность с помощью инициативы Hugging Face LeRobot (открытая инициатива), которая сотрудничает с Nvidia для соединения своих фреймворков, чтобы исследователи могли делиться моделями, наборами данных и симуляционными средами в облаке. Конечная цель — создать «колесо данных», поскольку люди вносят данные симуляции и обученные политики в открытые репозитории, это ускоряет прогресс других, в свою очередь генерируя более доступные данные на глобальном уровне. Много работы направлено на это через закрытие «разрыва между симуляцией и реальностью». Симуляторы часто не соответствовали реальности, роботы обучались поведению в виртуальном мире, которое не переносилось в реальный мир, потому что физика или визуальные эффекты были недостаточно точными. Этот разрыв сейчас быстро закрывается благодаря лучшей точности симуляции и гибридным подходам к обучению. Большинство последних базовых моделей в робототехнике (таких как NVIDIA’s Isaac GROOT и Figure’s Helix VLA) используют архитектуру двойной системы, которая имитирует человеческое восприятие. То же самое касается того, как они обучают данные в мировых симуляциях. Одна часть модели обучается на данных демонстрации человека из реального мира, в то время как другая часть обучается на огромном количестве синтетических данных, сгенерированных с помощью высокоточных симуляторов. Объединяя физическое и симулированное обучение, модель изучает точные навыки, которые лучше обобщаются. Реальные данные обеспечивают правду в ИИ, в то время как симулированные данные обеспечивают масштаб и разнообразие, которые невозможно собрать в физическом мире. Разработчики могут даже донастраивать или дополнительно обучать модели с помощью дополнительных реальных или синтетических данных для конкретных задач, что делает процесс обучения чрезвычайно гибким. Helix VLA, который использует подход System 1/System 2, обучается только на сотнях часов телеуправления (дополненных симуляцией и умной разметкой), Helix может справляться с новыми домашними задачами через естественный язык без специального кодирования. Это демонстрирует, как многомодальные модели и синтетическое обучение значительно сокращают потребности в данных. @codecopenflow применяет тот же принцип с Octo, открытым VLA, интегрированным в его Optr SDK, позволяя многокамерному восприятию и управлению на основе языка с гораздо меньшими наборами данных и меньшими вычислениями. ...