热门话题
#
Bonk 生态迷因币展现强韧势头
#
有消息称 Pump.fun 计划 40 亿估值发币,引发市场猜测
#
Solana 新代币发射平台 Boop.Fun 风头正劲

Trissy
最后一次牛市
基于云的SDK在机器人技术中的重要性可能听起来并不引人注目,但它对推动该行业的发展至关重要。
如果你身处科技圈,你每天都会听到关于云平台的讨论,这些讨论很少能激发想象力。
然而,对于人形机器人和在物理世界中的操作员来说,云模拟工具包是任何试图扩展其训练的开发者的核心需求。
准确的虚拟世界模拟是目前机器人技术中最受追捧的商品之一。研究人员正在进行无尽的实验,以确定哪些真实和合成数据的组合能为训练任务生成最精确的结果。
是的,像特斯拉这样的公司由于从其车队收集的神经网络数据而拥有巨大的先发优势,尽管这些数据在通过现实训练模拟付诸实践之前,仅仅是原始信息。
对于其他人来说,获取那种级别的数据甚至是驱动它的硬件,除非你是一家资金雄厚的公司,否则根本不是一个选项。
这就是云模拟的用武之地。通过将机器人训练和测试转移到基于云的虚拟环境中,任何人都可以访问所需的计算能力并进行扩展。云平台可以集中共享这些模拟、结果和数据。
你实际上是在抽象化这些十亿美元公司所拥有的闭门访问权限,广泛的实验室硬件组件,并将数据集带入公众视野,使开源贡献成为创新的整体+EV。
这一商业模式已经通过Hugging Face的LeRobot(开源倡议)与Nvidia的合作得到了验证,以连接他们的框架,使研究人员能够在云上共享模型、数据集和模拟环境。
最终目标是创建一个数据飞轮,随着人们向开放库贡献模拟数据和训练策略,它加速了其他人的进展,从而生成更多全球可访问的数据。
大量工作正在通过缩小“模拟到现实”的差距而被投入其中。模拟器往往无法达到现实,机器人会在虚拟世界中学习到的行为无法转移到现实世界,因为物理或视觉效果不够准确。由于更好的模拟保真度和混合训练方法,这一差距现在正在迅速缩小。
机器人技术中最新的基础模型(如NVIDIA的Isaac GROOT和Figure的Helix VLA)使用双系统架构,模拟人类认知。它们在世界模拟中的数据训练方式也是如此。模型的一部分是在真实世界的人类演示数据上训练,而另一部分则是在通过高保真模拟器生成的大量合成数据上训练。
通过结合物理和模拟训练,模型学习到的准确技能具有更好的泛化能力。真实数据为AI提供了真相,而模拟数据则提供了在物理世界中收集不切实际的规模和多样性。开发者甚至可以使用额外的真实或合成数据对模型进行微调或后期训练,以针对特定任务,使训练管道极其灵活。
Figures Helix VLA使用系统1/系统2方法,仅在数百小时的远程操作训练(通过模拟和智能标记增强)上进行训练,Helix可以通过自然语言处理新家务任务,而无需自定义编码。这展示了多模态模型和合成训练如何显著减少数据需求。
@codecopenflow正在应用相同的原则,使用Octo,一个集成到其Optr SDK中的开放VLA,能够以更小的数据集和更低的计算能力实现多摄像头感知和语言引导控制。
世界模拟平台现在正在生成大量以前无法访问的多样化训练数据。Nvidia的Isaac Sim(Isaac Lab的一部分)可以利用单个人类演示的任务生成数千种模拟变体,使用并行云实例。
想象一下,向机器人展示如何在现实中拾起一个箱子,然后模拟器创建无数种不同箱子、光照条件和轻微物理调整的场景,所有这些都为机器人提供了可以学习的训练体验。这是@unmoyai正在努力实现的愿景。
当这一技能在物理机器人上部署时,它已经在大量虚拟试验中得到了验证。将这些丰富的合成数据集与足够的真实世界校准数据结合,能够产生更准确和更具韧性的机器人大脑。
这就是Codec的云SDK所定位的,通过让用户既可以从大型开源数据集中提取数据,也可以贡献数据(例如,与Hugging Face的LeRobot中心接口)。在云中进行的每次模拟运行都可能成为新的训练数据,从而提升全球模型对机器人如何与世界互动的理解。
所有的迹象表明,人形机器人和机器人技术总体上正接近一个“应用商店时刻”。没有技能库,机器人硬件将毫无用处。
Optr提供了一个统一的API,使得控制网页应用、机器人手臂或模拟化身的自主代理都可以使用相同的核心框架和逻辑。这种抽象是动态的,开发者可以在类似游戏的模拟环境中原型化任务,然后将相同的逻辑以最小的更改部署到真实机器人上。
通过基于云和开放的方式,Optr SDK可以作为机器人市场的基础。开发者可以在不拥有机器人的情况下(得益于云模拟)构建新技能,在虚拟环境中安全测试,然后将其发布给他人。那些需要该技能的人,比如机器人初创公司或拥有家庭机器人的个人,可以从库中提取并在他们的机器上运行。
这种开放市场和激励模型是机器人开发者经济的引爆点。它降低了进入门槛(由于云工具,无需昂贵的硬件或实验室),鼓励合作,因为贡献改善了共享的数据集和模型,并为个人解决小众问题提供了经济动机。
从中衍生出许多下游经济飞轮的可能性(你可以从最近的合作中看到),但我会将其留到另一个写作中。

32.6K
每天我们都能看到关于机器人技术的十亿美元头条新闻。
仅仅12个月前,这些公司和数字还低了10-20倍。
如果你还没有痛苦地意识到这个行业将会多么成功,那就花一个周末进行研究,以免被落在后面。
历史表明,科技浪潮中最大的价值往往积累在支持层上,微软在个人电脑上,苹果在智能手机上,AWS在云计算上。机器人技术也不会例外,开发者所构建的基础设施层将捕获的价值超过任何单一的硬件项目。
我从朋友那里听到的一个共同主题是,他们担心自己对传统机器人技术的投资不足。
是的,关于Figure AI从种子估值中实现200倍增长的疯狂头条新闻将会出现。但如果你的投资在中等七位数以下,Web2并不是你想要的地方(除非你有超强的信息/人脉)。
一次又一次,crypto提供了最不对称且更重要的是,加速的上行空间。风险显著更高,但它也带来了不被时间拖累的奢侈,这有时本身就是更糟糕的情况。
Nvidia是全球最大的股票,因为AI的加速。回想一下,你会更愿意在ai16z、Virtuals、AIXBT、GOAT的第一阶段下注,还是在Robinhood上寻找被低估的“基础AI项目”?
你可能在长远中保留了更多的钱,然而我们在这里是为了那些让人失眠的uPNL,不是吗?
就像AI的早期阶段一样,我们被赋予了一个非常特殊的时刻,科技创新的巅峰正直面而来。你如何驾驭其进展,反映了你对市场基本面和人类贪婪的理解。
就像AI一样,随着我们向通用机器人迈进,我们将面临无尽的虚假产品。对于那些愿意冒险并抓住领导者的人,你将获得超额的回报,使Andrew Kang的种子投资显得微不足道。
我知道我在玩哪个游戏。

10.78K
热门
排行
收藏