Прилетел в Дубай, чтобы поработать с командой $CODEC лично. Робототехника станет слишком большим сектором, чтобы не погрузиться в него с головой. Учитесь работать на свои активы.

Важность облачного SDK для робототехники может не звучать эффектно, но это абсолютно необходимо для продвижения сектора. Если вы находитесь в технологических кругах, вы будете слышать о облачных платформах ежедневно, которые редко вдохновляют воображение. Тем не менее, для гуманоидных роботов и операторов в физическом мире облачный инструмент симуляции является основной необходимостью для любого разработчика, пытающегося масштабировать свое обучение. Точные симуляции виртуального мира являются одним из самых востребованных товаров в робототехнике в настоящее время. Исследователи проводят бесконечные эксперименты, чтобы определить, какие комбинации реальных и синтетических данных генерируют наиболее точные результаты для обучающих задач. Да, такие компании, как Tesla, имеют огромное преимущество благодаря данным нейронной сети, которые они собрали со своих флотилий, хотя эти данные являются просто сырыми сведениями, пока они не будут применены на практике через реалистичные обучающие симуляции. Для всех остальных получение такого уровня данных или даже оборудования для его обработки просто не является вариантом, если вы не являетесь компанией с огромным финансированием. Вот где приходит облачная симуляция. Перемещая обучение и тестирование роботов в облачные виртуальные среды, любой может получить доступ к необходимым вычислениям и масштабированию. Облачная платформа может централизовать обмен этими симуляциями, результатами и данными. Вы по сути абстрагируете закрытый доступ, который имеют эти компании на миллиарды долларов, обширные аппаратные компоненты, используемые в лабораториях, и выводите наборы данных на общественное обозрение, где открытые источники становятся общим +EV для инноваций. Эта бизнес-модель уже доказывает свою состоятельность с помощью инициативы Hugging Face LeRobot (открытая инициатива), которая сотрудничает с Nvidia для соединения своих фреймворков, чтобы исследователи могли делиться моделями, наборами данных и симуляционными средами в облаке. Конечная цель — создать «колесо данных», поскольку люди вносят данные симуляции и обученные политики в открытые репозитории, это ускоряет прогресс других, в свою очередь генерируя более доступные данные на глобальном уровне. Много работы направлено на это через закрытие «разрыва между симуляцией и реальностью». Симуляторы часто не соответствовали реальности, роботы обучались поведению в виртуальном мире, которое не переносилось в реальный мир, потому что физика или визуальные эффекты были недостаточно точными. Этот разрыв сейчас быстро закрывается благодаря лучшей точности симуляции и гибридным подходам к обучению. Большинство последних базовых моделей в робототехнике (таких как NVIDIA’s Isaac GROOT и Figure’s Helix VLA) используют архитектуру двойной системы, которая имитирует человеческое восприятие. То же самое касается того, как они обучают данные в мировых симуляциях. Одна часть модели обучается на данных демонстрации человека из реального мира, в то время как другая часть обучается на огромном количестве синтетических данных, сгенерированных с помощью высокоточных симуляторов. Объединяя физическое и симулированное обучение, модель изучает точные навыки, которые лучше обобщаются. Реальные данные обеспечивают правду в ИИ, в то время как симулированные данные обеспечивают масштаб и разнообразие, которые невозможно собрать в физическом мире. Разработчики могут даже донастраивать или дополнительно обучать модели с помощью дополнительных реальных или синтетических данных для конкретных задач, что делает процесс обучения чрезвычайно гибким. Helix VLA, который использует подход System 1/System 2, обучается только на сотнях часов телеуправления (дополненных симуляцией и умной разметкой), Helix может справляться с новыми домашними задачами через естественный язык без специального кодирования. Это демонстрирует, как многомодальные модели и синтетическое обучение значительно сокращают потребности в данных. @codecopenflow применяет тот же принцип с Octo, открытым VLA, интегрированным в его Optr SDK, позволяя многокамерному восприятию и управлению на основе языка с гораздо меньшими наборами данных и меньшими вычислениями. Платформы симуляции мира теперь генерируют огромные объемы разнообразных обучающих данных, которые просто не были доступны ранее. Nvidia’s Isaac Sim (часть Isaac Lab) может взять одну человеческую демонстрацию задачи и создать тысячи симулированных вариаций, используя параллельные облачные экземпляры. Представьте, что вы показываете роботу, как поднять одну коробку в реальности, а затем симулятор создает бесчисленные сценарии с разными коробками, условиями освещения и небольшими изменениями физики, все производя обучающие опыты, из которых робот может учиться. Видение, к которому @unmoyai очень усердно стремится. К тому времени, когда этот навык будет развернут на физическом роботе, он был проверен в массовых количествах виртуальных испытаний. Объединение этих богатых синтетических наборов данных с достаточным количеством данных калибровки из реального мира дает гораздо более точные и устойчивые «мозги» роботов. Именно для этого предназначен облачный SDK Codec, позволяя пользователям как извлекать, так и вносить вклад в большие открытые наборы данных (например, взаимодействуя с хабом Hugging Face LeRobot). Каждая симуляция, выполненная в облаке, может стать новыми обучающими данными, которые уточняют глобальную модель того, как роботы взаимодействуют с миром. Все элементы указывают на то, что гуманоидные роботы и роботы в целом приближаются к «моменту App Store». Аппаратное обеспечение робота будет бесполезным без библиотеки навыков. Optr предоставляет унифицированный API, чтобы автономный агент, управляющий веб-приложением, роботизированной рукой или симулированным аватаром, все использовали один и тот же основной фреймворк и логику. Эта абстракция динамична, так как разработчики могут прототипировать задачу в игровом симуляционном окружении, а затем развернуть ту же логику на реальном роботе с минимальными изменениями. Будучи облачным и открытым, Optr SDK может служить основой для рынка робототехники. Разработчики могут создавать новый навык, не обладая роботом (благодаря облачной симуляции), безопасно тестировать его в виртуальных средах, а затем публиковать его для других. Тем, кто нуждается в навыке, например, стартапу в области робототехники или индивидууму с домашним роботом, можно извлечь его из библиотеки и запустить на своих машинах. Такой открытый рынок и модель стимулов являются искрой для экономики разработчиков робототехники. Это снижает барьер для входа (не требуется дорогое оборудование или лаборатории благодаря облачным инструментам), поощряет сотрудничество, поскольку вклады улучшают общие наборы данных и модели, и предоставляет финансовую мотивацию для индивидуумов решать нишевые проблемы. Существует множество возможностей для экономического «колеса» в дальнейшем, которые возникают из этого (что вы можете увидеть по недавним партнерствам), но я оставлю это для отдельной статьи.

Каждый день мы видим заголовки на миллиарды долларов о робототехнике. Всего 12 месяцев назад эти компании и цифры были в 10-20 раз ниже. Если вам еще не очевидно, насколько успешным станет этот сектор, посвятите выходные исследованию, чтобы не отстать. История показывает, что наибольшая ценность в технологических волнах часто накапливается в вспомогательных слоях: Microsoft в ПК, Apple в смартфонах, AWS в облаке. Робототехника не будет исключением, инфраструктурный слой, на котором строят разработчики, захватит больше, чем любая отдельная аппаратная игра. Одна общая тема, которую я слышу от друзей, заключается в том, что они беспокоятся о недостаточной экспозиции к традиционной робототехнике. Да, будут безумные заголовки о том, как Figure AI делает 200x от начальных оценок или эквивалент. Но если у вас меньше средней семизначной суммы, Web2 — это не то место, где вы хотите быть (если только у вас нет безумной информации/связей). Снова и снова криптовалюта предлагала наиболее асимметричный и, что более важно, ускоренный рост. Рисков значительно больше, но это также дает возможность не быть «временным рваным», что иногда хуже само по себе. Nvidia — крупнейшая акция в мире благодаря ускорению AI. Оглядываясь назад, вы бы предпочли сделать ставку на ai16z, Virtuals, AIXBT, GOAT на их первом этапе или искать недооцененные «фундаментальные AI-игры» на Robinhood? Вы могли бы сохранить больше денег в долгосрочной перспективе, однако мы здесь ради лишения сна uPNL, не так ли? Как и в ранних этапах AI, нам предоставлен очень особенный момент, когда вершина технологических инноваций смотрит нам прямо в лицо. Как вы будете управлять его прогрессом, отражает ваше понимание рыночных основ и человеческой жадности. Как и в случае с AI, мы столкнемся с бесконечным количеством «вымышленных» продуктов, когда мы приближаемся к универсальным роботам. Для тех, кто готов рискнуть и поймать лидеров, вы получите огромные множители, которые сделают инвестиции Эндрю Кана в семена выглядящими маленькими. Я знаю, в какую игру я играю.