今年 6 月 1 日,,,,,英伟达 GTC 台北大会上,,,,,黄仁勋宣布了 Isaac GR00T 人形机械人参考平台。。它配备真人尺寸的机械人身体,,,,,集成灵巧手、感知与本体盘算,,,,,向全球研究机构开放。。
英伟达给出的理由很直接,,,,,通用物理智能的研究,,,,,需要一个统一的、靠近人的身体作为载体。。
芯片巨头亲自下场,,,,,为 AI 造了一具身体。。这意味着全球算力与 AI 生态的界说者,,,,,正式把「机械人本体是 AI 基础设施」写进了自己的蹊径图。。
机械人工业已往二十年的默认逻辑是先造机械、再装大脑,,,,,现在这个逻辑正在被倒转。。身体为智能服务,,,,,本体为 AI 而生,,,,,这条被称为 Robot for AI 的蹊径,,,,,正在成为具身智能的主要共识。。
统一个月,,,,,深度机智在这条蹊径上交出了新的验证效果。。
6 月 30 日,,,,,深度机智团队宣布论文Human-as-Humanoid。。他们在自研拟人机械人 PrimeU 上,,,,,实现了完全没有目的使命真机树模数据的情形下,,,,,仅凭从人类视频中转换而来的行动监视,,,,,零样本完成了倒水、放环、装袋、叠杯等重大真实操作使命。。
论文链接:https://arxiv.org/pdf/2606.32009项目链接:https://zgc-embodyai.github.io/Human-as-Humanoid/
都在喊 Robot for AI,,,,,为什么没人做成?????
具身智能现在最大的瓶颈,,,,,是数据。。
机械人要学会行动,,,,,需要海量的「视察 - 行动」配对数据。。这类数据的主流收罗方式至今仍是遥操作,,,,,由人戴着装备一条一条地「教」机械人。。但真机遥操速率慢、本钱高、受清静约束,,,,,场景也难以多样化。。为了突破数据瓶颈,,,,,智元机械人在上海投建了超 4000 平米的数据收罗工厂,,,,,多地也麋集结构具身智能数据收罗中心。。整个行业都在用重资产的方式,,,,,反抗一个结构性的欠缺。。
于是,,,,,越来越多团队把眼光投向了人类自己。。人类天天都在演示着最富厚、最自然的操作行为,,,,,若是人的行动履历能直接酿成机械人的训练数据,,,,,数据瓶颈就有了基础解法。;;;;;;迫恃缭 2024 年就说过,,,,,下一代机械人很可能是人形的,,,,,由于结构与人相似的机械人可以获得更多模拟训练数据。。这个判断在行业里被重复引用,,,,,Robot for AI 也因此成为宣布会上的高频词。。
讲清晰 Robot for AI 很容易,,,,,把它做成一个可运行、可验证、可一连迭代的工程闭环,,,,,此前没有任何一家公司完整做到。。 难点在于,,,,,数据、模子和机械人本体能不可真正咬合成一个系统。。人的视频里只有画面和人的行动,,,,,没有机械人可执行的行动标签;;;;;;人和机械人在体型、枢纽结构、手部形态、自由度、视角上全都差别;;;;;;任何一环对不齐,,,,,人类数据就只能停留在「帮模子明确天下」的层面,,,,,无法酿成机械人手上的行动能力。。
早在去年十月,,,,,深度机智就已对这一问题给出果真回应。。彼时,,,,,这家公司宣布了通用具身智能的焦点生长蹊径:以行动建模为中心的 Action-Centric Modeling、以人类数据为起点的 Human-Centric Data、为 AI 设计机械人本体的 Robot for AI,,,,,三大手艺判断组成一个完整的系统性战略。。今天转头看,,,,,这三个判断已经所有由深度机智自主兑现。。
放眼整个行业,,,,,敢于提前果真焦点手艺判断,,,,,又能所有自主兑现的公司,,,,,深度机智险些是唯逐一家。。
这条蹊径的内在逻辑,,,,,深度机智称之为人类学习范式:人类的真实验动履历是具身智能最大、最廉价、最多样的数据源,,,,,模子以行动建模为中心去消化这些数据,,,,,机械人本体则是承接这些数据。。
本体的角色由此爆发基础转变,,,,,它不再是一个展示终端,,,,,而是 AI 训练、迁徙和验证历程中的要害基础设施。。
跑通闭环,,,,,要过四关
把 Human-as-Humanoid 拆开看,,,,,它现实上回覆了四个层层递进的问题。。
第一,,,,,身体该怎么设计,,,,,人类数据的迁徙误差才最。。????
第二,,,,,人的视频,,,,,怎么酿成机械人能直接训练的行动标签?????
第三,,,,,模子怎么驾驭 60 个自由度,,,,,把这些标签学成稳固的操作能力?????
第四,,,,,学到的能力,,,,,能不可在真实天下里干活?????
为 AI 设计身体
人形机械人为什么要长得像人?????行业讲了许多年,,,,,谜底大多停留在「顺应人类情形」这类寻常之谈。。
大都机械人公司的做法是「为机械人装大脑」,,,,,先有一个本体,,,,,再去适配算法。。深度机智把顺序倒了过来,,,,,先界说 AI 需要什么样的身体,,,,,再去设计本体。。这是由于在人类学习范式的逻辑下,,,,,既然要用人的数据作为语料去预训练和驱念头械人,,,,,那么身体越靠近人,,,,,人类数据里的行动履历就越有可能被完整承接下来,,,,,跨越形态差别时的迁徙误差就越小。。
去年 9 月,,,,,深度机智就宣布了全球首个实现断电自主站立的工业级全自由度拟人体,,,,,并先后推出高自由度轮式拟人体机械人 Prime U 和教育版机械人 Prime Lite,,,,,现在 Prime 系列机械人产品已进入量产和商业交付阶段,,,,,在拟人体看法的提出和落地上,,,,,深度机智比英伟达早了九个月。。
本次研究使用的 PrimeU,,,,,是一个 60 自由度的上半身平台。。它的设计目的就是让人类数据在物理层面的迁徙误差降到最低。。
为此,,,,,深度机智比照 ANSUR II 人体丈量数据库,,,,,以第 50 百分位男性的身体参数为基准举行设计。。肩宽比例 0.97,,,,,臂展至中指指尖的可达长度比例 1.02,,,,,手掌长度比例准确到 1.00。。
这种刻意的尺寸对齐意味着,,,,,人类日常操作中手能够到的地方,,,,,PrimeU 的手臂也基本能够到;;;;;;人类操作时的抓握几何形状,,,,,与机械人手部的几何形状也坚持在相近的标准规模内。。
与此同时,,,,,机械人头部和腕部搭载与战略安排时完全相同型号的 RGB-D 相机,,,,,确保训练与安排阶段的视觉视察一致。。
PrimeU 包括两条 7 自由度机械臂、两只各 20 自由度的五指灵巧手(每指 4 个枢纽)、一个 3 自由度颈部,,,,,以及一个 3 自由度腰部,,,,,总计 60 个自由度。。
把人的行动,,,,,酿成机械人的行动
有了却构对齐的本体,,,,,下一环是把人类视频转化为 PrimeU 可直接训练的行动标签。。
收罗阶段,,,,,深度机智放弃了惯性动捕装备,,,,,只用摄像头。。操作者佩带动戴式相机提供第一视角流,,,,,外置 RGB 相机提供第三视角流。。前者作为战略训练和安排时的视察输入,,,,,后者提供遮挡较少的视觉证据,,,,,用于恢复上肢和手部运动。。
第一视角与第三视角同步收罗装置示意。。
比照实验显示,,,,,这套纯相机方案恢复出的人体要害点,,,,,稳固性反而凌驾了衣着式动捕系统,,,,,后者在近距离双手操作中会泛起显着的定位漂移,,,,,需要操作员重复赔偿和校准。。
这说明,,,,,在近距离双手操作场景中,,,,,纯视觉恢复比腾贵的惯性动捕更稳固。。收罗数据的门槛,,,,,被彻底拉低了。。
视频收罗完成后,,,,,系统以约每秒 20 帧的速率实时处理。。先从第三视角视频中追踪人体,,,,,恢复上肢枢纽和手部要害点位置;;;;;;再通太过阶段逆运动学(Staged IK)求解器,,,,,将恢复的人体骨架映射到 PrimeU 的枢纽空间,,,,,天生 60 自由度的控制器对齐行动序列,,,,,最终输出机械人可直接用于训练和执行的行动块(Action Chunk)。。
在收罗效率上,,,,,这套方案比遥操实现了 4.8 到 7.2 倍的原始演示吞吐量提升。;;;;;;痪浠八,,,,,网络一律规模的训练数据,,,,,人力本钱和时间本钱都可以大幅压缩。。
转换出的人类行动,,,,,机械人能不可「看懂」?????深度机智用只在人类转换数据上训练的行动分词器,,,,,去重修从未见过的真机轨迹。。效果,,,,,归一化平均误差仅 0.008,,,,,经正向运动学换算后的双手最后误差为 5.34 毫米,,,,,与纯机械人数据训练的 4.09 毫米处于统一量级。。
人类行动与机械人控制接口之间的漫衍差别,,,,,被压缩到了毫米级。。这意味着,,,,,机械人可以像学习自身数据一样,,,,,直接学习人类的行动履历。。
让模子驾驭 60 个自由度
将人类树模转化为机械人行动标签之后,,,,,还需要一个能够有用使用这些标签的模子。。
PhysDex 学习流程概览。。
深度机智开发了PhysDex,,,,,一套高自由度人形 VLA 战略。。它直接展望枢纽空间行动块,,,,,安排时无需在线求解 IK。。但纯枢纽空间监视会把 60 个枢纽当成自力回归目的,,,,,忽略它们通过运动学链配合决议腕部位置和指尖接触几何。。
为此,,,,,PhysDex 引入双空间分层运动学约束 DS-HKC,,,,,通过可微正向运动学层把展望行动映射到使命空间,,,,,在腕部位姿和十个指尖位置两个层级施加几何监视,,,,,无需任何特殊标注。。
消融实验批注,,,,,在相同训练预算下,,,,,加入 DS-HKC 约束的模子取得了更低且更平滑的逊ю失。。腕部与指尖的几何精度由此获得包管,,,,,学到的战略才华真正在真实硬件上执行。。
高自由度 VLA 行动学习的逊ю失比照。。FK 感知监视通过机械人运动学约束枢纽展望,,,,,从而降低逊ю失;;;;;;在相同训练预算下,,,,,基于 PhysBrain 初始化的 FK 感知模子取得了最低损失。。
七项使命,,,,,周全胜出 GR00T
那么,,,,,机械人究竟能不醒目活?????
深度机智直接举行真机验证。。以 1500 小时自收罗的人类树模作为预训练语料,,,,,所有经 Human-as-Humanoid 管线转换为 60 自由度行动标签,,,,,在七项双手操作使命上与 GR00T N1.7 比照。。
这七项使命分为两类:套圈游戏、魔方包装、叠杯子和倒水四项,,,,,仅使用人类树模举行目的使命后训练,,,,,不引入任何目的使命机械人数据;;;;;;体温枪丈量、拧灯胆和瓶盖松动三项因涉及细腻接触和强硬件依赖,,,,,加入少量真实机械人数据作为锚定。。
https://mp.weixin.qq.com/s/ljpogVzMsm5Nw9jpou5Zlg
效果显示,,,,,PhysDex 在所有七项使命上都取得了更高的「阶段 — 最终」综合评分,,,,,且在纯人类树模使命组中,,,,,优势更为突出。。
自 2025 年果真人类学习蹊径以来,,,,,深度机智始终沿着这个手艺逻辑一连推进。。先让机械人本体向人类对齐,,,,,再让模子从人类第一视角视频中建设物理认知,,,,,最后把这种认知转化为机械人可执行的行动指令。。
Human-as-Humanoid 正是这条蹊径的一大概害手艺兑现。。它证实晰经由合理的本体设计和行动转换链路,,,,,人类视频中的行动履历能够直接进入机械人枢纽空间,,,,,成为可执行、可学习的训练信号,,,,,无需目的使命的真机树模。。至此,,,,,深度机智完成了从数据、模子和本体安排的全栈手艺闭环。。
从时间线看,,,,,这条蹊径具备显着的前瞻性。。深度机智果真三大手艺判断时,,,,,行业主流的数据泉源仍是真机遥操作。。不到一年,,,,,人类数据的价值已被全行业关注,,,,,而深度机智已经先行完成了本体、数据链路和模子的系统性建设,,,,,并拿出了真机验证效果。。
这个领先优势还在扩大。。接下来,,,,,深度机智妄想攻关遮挡、运动模糊等难题条件下的纯第一视角骨架恢复,,,,,并通过天生合成交互视频扩展数据规模。。一旦高质量合成视频也能进入这条链路,,,,,数据飞轮的转速还会继续提升。。
Robot for AI 由此从一个口号,,,,,酿成一套可复现、可磨练、可迭代的工程要领。。接下来真正要比拼的,,,,,是谁能把数据、模子和本体之间的飞轮转得更快。。就现在的进度而言,,,,,深度机智已经占有先发位置。。
https://x.com/clankrmedia/status/2073414138907197600
https://blogs.nvidia.cn/blog/nvidia-open-humanoid-robot-reference-design/
只管我会败北,,,,,但至少我盛开过。。