凯时AG

WAIC机械人搭长城积木火爆展区, ,,, ,,这才是VLA+WM的最佳用法

作者:谢文天
宣布时间:2026-07-20 09:47:49
阅读量:75

WAIC机械人搭长城积木火爆展区, ,,, ,,这才是VLA+WM的最佳用法

距离 2026 天下人工智能大会(WAIC)正式开幕尚有不到 1 个小时的时间。。。。。

一项机械人拼搭长城的展示火爆全网。。。。。从彩排现场的照片来看, ,,, ,,围观者已经里三层外三层。。。。。原力灵机联合阶跃星辰, ,,, ,,用 6 台机械人挑战 15 小时一连作业, ,,, ,,搭建完成一座包括超 8 万个零件的长城模子 —— 最小组件不到 1 厘米宽, ,,, ,,制品长 3.5 米、宽 1.5 米、高 1.1 米。。。。。其中 4 台桌面机械人认真细腻零件的拼装, ,,, ,,2 台轮式机械人 Apex 认真将拼装完成的组件运输、组装。。。。。

这不是一次纯粹的 "炫技"。。。。。支持这 15 小时一连作业的, ,,, ,,是原力灵机同期宣布的通用基础模子 DM0.5, ,,, ,,以及为其提供强化学习闭环的天下模子 DW0.5。。。。。二者的组合, ,,, ,,指向统一个命题:具身智能的下一步突破, ,,, ,,不在于把简单模子参数堆得更高, ,,, ,,而在于让 "基础模子" 与 "后训练范式" 形成协力, ,,, ,,让效果语言。。。。。

It works, ,,, ,,比任何榜单都主要。。。。。

https://mp.weixin.qq.com/s/QlFXpJ5ai3GCHHjV0lDslw

亚毫米级细腻操作, ,,, ,,周全泛化的基础模子 DM0.5

在细腻零件拼装中, ,,, ,,机械人需要在 0.1–1 毫米标准内完成精准、稳固、可控的行动, ,,, ,,远超人手的心理极限(自然颤抖约 0.3–1 毫米)。。。。。支持这一精度的焦点是高精度感知、细密驱动与自主执行的组合, ,,, ,,实现 "稳、准、微"。。。。。与此同时, ,,, ,,模子展现出很强的泛化能力, ,,, ,,能针对差别组件调解行动, ,,, ,,并在蜕化时自主恢复。。。。。

DM0.5 在大规模高质量数据与模子架构上实现了周全升级, ,,, ,,标记着系统能力从古板的 "执行牢靠指令、单次行动重复", ,,, ,,跃升为 "明确意图、多维一连泛化、长时可靠运行"。。。。。

https://mp.weixin.qq.com/s/QlFXpJ5ai3GCHHjV0lDslw

相比上一代 DM0, ,,, ,,DM0.5 在三个偏向上做了却构性刷新:

历史信息融合。。。。。此前的模子只依赖目今帧做决议, ,,, ,,DM0.5 引入历史要害。。。。。 ,,, ,,为模子提供长达 1 分钟的使命历程影象, ,,, ,,同时保存了历史信息缺失时退化到目今视察战略的能力, ,,, ,,阻止 "影象" 酿成肩负。。。。。

具身推理使命扩展。。。。。DM0.5 在机械人数据中引入 11 种自回归使命, ,,, ,,把训练监视从简单的行动展望, ,,, ,,扩展为指令明确、时序推理与行动天生的联合监视, ,,, ,,直接提升长程使命中的指令遵照能力和行动连贯性。。。。。

动态轨迹对齐。。。。。针对机械人数据收罗节奏纷歧致的问题, ,,, ,,DM0.5 通过动态妄想将展望行动与真实轨迹做枯燥递增匹配, ,,, ,,让模子学习使命纪律自己, ,,, ,,而非收罗节奏 —— 抓取、放置等焦点行动的天生因此更平滑、更鲁棒。。。。。

在推理侧, ,,, ,,DM0.5 以 Action Chunk 为单位执行, ,,, ,,默认 10 步 Flow Matching 天生 50 步行动块, ,,, ,,优化后单卡 4090 上可达 10Hz, ,,, ,,单卡 H100 上可达 20Hz。。。。。

DM0.5 在多个榜单上取得领先:在 RoboChallenge Table30 V2 真机评测中取得 43% 的整体乐成率、54.42 的综合得分, ,,, ,,抵达 SOTA 体现;;;;;;在 LIBERO 仿真基准上平均得分 99.0, ,,, ,,凌驾 π0.5、GR00T N1.7 等主流基线;;;;;;在双臂协同基准 RoboTwin2.0 上以 93.5 分显著领先;;;;;;在导航基准 R2R 与 RxR 的 Val-Unseen 设置下, ,,, ,,DM0.5-Nav 在乐成率、SPL 等要害指标上同样排名第一。。。。。这些数字背后, ,,, ,,是统一套模子在操作、导航、影象型使命上的一致体现 —— 这正是长城搭建这类长程、高精度使命能够跑通的条件。。。。。

模子学会 "寸劲儿", ,,, ,,天下模子驱动的后训练流程

在现实拼装历程中, ,,, ,,积木匠艺的精度带来了拼装不乐成的问题。。。。。为此, ,,, ,,团队使用 DFOL2.0 后训练闭环框架, ,,, ,,并引入天下模子 DW0.5, ,,, ,,大幅提升了后训练效果 —— 模子在执行中模拟人类操作的 "寸劲儿", ,,, ,,阻止了按压错位的问题。。。。。

https://mp.weixin.qq.com/s/QlFXpJ5ai3GCHHjV0lDslw

模子学会“寸劲儿”

https://mp.weixin.qq.com/s/QlFXpJ5ai3GCHHjV0lDslw

模子自我纠错

若是说 DM0.5 解决的是 "模子能不可做对", ,,, ,,DW0.5 要回覆的则是另一个问题:具身模子的后训练闭环该怎么跑通。。。。。

Code Agent 之以是前进神速, ,,, ,,焦点原因是代码可以自我验证 —— 写完就能跑, ,,, ,,跑完就知道对错, ,,, ,,失败轨迹能直接沉淀为训练信号。。。。。具身智能恒久缺的正是这样一套闭环基础设施:真机 rollout 本钱高、难规;;;;;;;;;;;;人工反馈慢、标注本钱高;;;;;;古板仿真又保存难以回避的 sim-real gap, ,,, ,,透明反光、柔性形变、真实接触噪声都很难还原。。。。。

原力灵机给出的解法, ,,, ,,是把 DW0.5 酿成 VLA 后训练中的 "Learned Environment":VLA 基于目今视察采样候选行动, ,,, ,,DW0.5 天生对应的未来视觉 rollout, ,,, ,,Value Expert 对候选轨迹给出乐成概率与价值评分, ,,, ,,训练系统据此做战略筛选或直接举行强化学习后训练, ,,, ,,再用少量真机 rollout 一连校准天下模子。。。。。真实机械人是这套飞轮的起点, ,,, ,,而非唯一训练场。。。。。

要让天下模子真正进入训练闭环, ,,, ,,而不但是 "天生得像", ,,, ,,DW0.5 在三处做了要害取舍:

行动是强先验, ,,, ,,而非软提醒。。。。。常见做法把行动离散化成 token 塞进语言空间, ,,, ,,约束力有限。。。。。DW0.5 在 Mixture of Tokens 注重力结构中, ,,, ,,用 group-diagonal attention mask 做帧级绑定 —— 第 i 帧视频只能 attend 对应的第 i 组行动, ,,, ,,从盘算路径上就切断了视频帧与非对应行动之间的信息通路。。。。。

既模拟乐成, ,,, ,,也模拟失败。。。。。若训练数据只有专家乐成轨迹, ,,, ,,模子会形成过强的乐成先验, ,,, ,,实质上退化为视频天生器而非仿真器。。。。。DW0.5 的数据舷笼罩具身果真数据、自采数据、互联网视频、第一视角人类活动数据, ,,, ,,以及真机与仿真连系的 rollout, ,,, ,,同时包括乐成与失败案例, ,,, ,,并引入 RoboChallenge 的真实成败数据 —— 这是强化学习能够优化 reward 的条件。。。。。

Value Expert 把未来酿成可训练的反馈。。。。;;;;;;等耸姑 reward 自然希罕, ,,, ,,Value Expert 对候选轨迹给出乐成概率评分, ,,, ,,把希罕的效果信号酿成每一步可用的麋集反馈。。。。。

三项设计叠加的效果, ,,, ,,反映在评测数据上:DW0.5 在 EWMBench 上以 4.66 分排名第一, ,,, ,,在 WorldArena 上以 73.54 分排名第一, ,,, ,,在直接评估行动战略能力的 RoboTwin2.0 上取得 93.3 分, ,,, ,,同样是 SOTA—— 天生质量、交互动态建模、战略执行能力三项指标同时领先, ,,, ,,说明 DW0.5 不但是 "天生得像", ,,, ,,也具备稳固的行动输出能力。。。。。

DM0.5+DW0.5, ,,, ,,更强的应用模子

整体来看, ,,, ,,DM0.5 作为基础战略模子, ,,, ,,DW0.5 认真行动效果预演与价值反。。。。。 ,,, ,,RL 将两者链接。。。。。

基座模子 DM0.5 先天生一批初始行动, ,,, ,,推给天下模子 DW0.5—→DW0.5 当仿真器, ,,, ,,在虚拟情形里把这些行动会导向的未来 “跑” 出来, ,,, ,,批量天生乐成和失败的轨迹—→再由一个强化学习教练员 CFG-RL, ,,, ,,给每条轨迹的使命进度打分(乐成的价值一起走高, ,,, ,,失败的价值断崖下跌)—→打分和奖励实时回传, ,,, ,,更新模子权重, ,,, ,,喂出一个更强的 DM0.5这个循环里大部分数据由 DW0.5 在线天生, ,,, ,,不必所有靠真机翻来覆去高成外地去试。。。。。

从具身原生出发, ,,, ,,目的界说问题, ,,, ,,而不是手艺界说目的

已往一年, ,,, ,,具身天下模子是被重复讨论的偏向, ,,, ,,但大都事情的落点是 "天生得像不像"—— 更真实的画面、更长的时序一致性、更高的评测分数, ,,, ,,回覆的是评价问题, ,,, ,,而非训练问题。。。。。原力灵机的出发点差别:焦点问题始终是具身模子怎么真正走进场景, ,,, ,,天下模子只是解决这个问题的其中一种手段。。。。。

这个顺序上的差别, ,,, ,,决议了 DW0.5 从一最先就被设计成 "训练情形" 而非 "天生? ???? ?", ,,, ,,也决议了 DM0.5 的三项架构刷新所有指向长程使命的稳固执行, ,,, ,,而非单点能力的刷榜。。。。。长城模子的 15 小时一连搭建, ,,, ,,某种意义上正是这套 "效果导向" 要领论的一次压力测试 ——8 万多个零件、不到 1 厘米的最小组件精度、长达 15 小时的一连作业, ,,, ,,任何一个环节的影象丧失或行动漂移都会导致累积误差。。。。。而 DM0.5+DW0.5 组合下的最终交付效果, ,,, ,,验证的不是某一项简单指标, ,,, ,,而是基础模子与后训练范式协同之后, ,,, ,,系统在真实落地中更强的模子优势。。。。。

模子开源地点:

DM0.5GitHub:https://github.com/dexmal/opendmHugging Face:https://huggingface.co/Dexmal/DM05DW0.5GitHub:https://github.com/dexmal/opendwHugging Face:https://huggingface.co/Dexmal/DW05-Base

 

文章点评

未盘问到任何数据!

揭晓谈论

◎接待加入讨论, ,,, ,,请在这里揭晓您的看法、交流您的看法。。。。。

最新文章

热门文章

随机推荐

【网站地图】