WAIC机械人搭长城积木火爆展区,,,,,,这才是VLA+WM的最佳用法
距离 2026 天下人工智能大会(WAIC)正式开幕尚有不到 1 个小时的时间。。。。。
一项机械人拼搭长城的展示火爆全网。。。。。从彩排现场的照片来看,,,,,,围观者已经里三层外三层。。。。。原力灵机联合阶跃星辰,,,,,,用 6 台机械人挑战 15 小时一连作业,,,,,,搭建完成一座包括超 8 万个零件的长城模子 —— 最小组件不到 1 厘米宽,,,,,,制品长 3.5 米、宽 1.5 米、高 1.1 米。。。。。其中 4 台桌面机械人认真细腻零件的拼装,,,,,,2 台轮式机械人 Apex 认真将拼装完成的组件运输、组装。。。。。
这不是一次纯粹的 "炫技"。。。。。支持这 15 小时一连作业的,,,,,,是原力灵机同期宣布的通用基础模子 DM0.5,,,,,,以及为其提供强化学习闭环的天下模子 DW0.5。。。。。二者的组合,,,,,,指向统一个命题:具身智能的下一步突破,,,,,,不在于把简单模子参数堆得更高,,,,,,而在于让 "基础模子" 与 "后训练范式" 形成协力,,,,,,让效果语言。。。。。
It works,,,,,,比任何榜单都主要。。。。。
https://mp.weixin.qq.com/s/QlFXpJ5ai3GCHHjV0lDslw
亚毫米级细腻操作,,,,,,周全泛化的基础模子 DM0.5
在细腻零件拼装中,,,,,,机械人需要在 0.1–1 毫米标准内完成精准、稳固、可控的行动,,,,,,远超人手的心理极限(自然颤抖约 0.3–1 毫米)。。。。。支持这一精度的焦点是高精度感知、细密驱动与自主执行的组合,,,,,,实现 "稳、准、微"。。。。。与此同时,,,,,,模子展现出很强的泛化能力,,,,,,能针对差别组件调解行动,,,,,,并在蜕化时自主恢复。。。。。
DM0.5 在大规模高质量数据与模子架构上实现了周全升级,,,,,,标记着系统能力从古板的 "执行牢靠指令、单次行动重复",,,,,,跃升为 "明确意图、多维一连泛化、长时可靠运行"。。。。。
https://mp.weixin.qq.com/s/QlFXpJ5ai3GCHHjV0lDslw
相比上一代 DM0,,,,,,DM0.5 在三个偏向上做了却构性刷新:
历史信息融合。。。。。此前的模子只依赖目今帧做决议,,,,,,DM0.5 引入历史要害。。。。。,,,,,为模子提供长达 1 分钟的使命历程影象,,,,,,同时保存了历史信息缺失时退化到目今视察战略的能力,,,,,,阻止 "影象" 酿成肩负。。。。。
具身推理使命扩展。。。。。DM0.5 在机械人数据中引入 11 种自回归使命,,,,,,把训练监视从简单的行动展望,,,,,,扩展为指令明确、时序推理与行动天生的联合监视,,,,,,直接提升长程使命中的指令遵照能力和行动连贯性。。。。。
动态轨迹对齐。。。。。针对机械人数据收罗节奏纷歧致的问题,,,,,,DM0.5 通过动态妄想将展望行动与真实轨迹做枯燥递增匹配,,,,,,让模子学习使命纪律自己,,,,,,而非收罗节奏 —— 抓取、放置等焦点行动的天生因此更平滑、更鲁棒。。。。。
在推理侧,,,,,,DM0.5 以 Action Chunk 为单位执行,,,,,,默认 10 步 Flow Matching 天生 50 步行动块,,,,,,优化后单卡 4090 上可达 10Hz,,,,,,单卡 H100 上可达 20Hz。。。。。
DM0.5 在多个榜单上取得领先:在 RoboChallenge Table30 V2 真机评测中取得 43% 的整体乐成率、54.42 的综合得分,,,,,,抵达 SOTA 体现;;在 LIBERO 仿真基准上平均得分 99.0,,,,,,凌驾 π0.5、GR00T N1.7 等主流基线;;在双臂协同基准 RoboTwin2.0 上以 93.5 分显著领先;;在导航基准 R2R 与 RxR 的 Val-Unseen 设置下,,,,,,DM0.5-Nav 在乐成率、SPL 等要害指标上同样排名第一。。。。。这些数字背后,,,,,,是统一套模子在操作、导航、影象型使命上的一致体现 —— 这正是长城搭建这类长程、高精度使命能够跑通的条件。。。。。
模子学会 "寸劲儿",,,,,,天下模子驱动的后训练流程
在现实拼装历程中,,,,,,积木匠艺的精度带来了拼装不乐成的问题。。。。。为此,,,,,,团队使用 DFOL2.0 后训练闭环框架,,,,,,并引入天下模子 DW0.5,,,,,,大幅提升了后训练效果 —— 模子在执行中模拟人类操作的 "寸劲儿",,,,,,阻止了按压错位的问题。。。。。
https://mp.weixin.qq.com/s/QlFXpJ5ai3GCHHjV0lDslw
模子学会“寸劲儿”
https://mp.weixin.qq.com/s/QlFXpJ5ai3GCHHjV0lDslw
模子自我纠错
若是说 DM0.5 解决的是 "模子能不可做对",,,,,,DW0.5 要回覆的则是另一个问题:具身模子的后训练闭环该怎么跑通。。。。。
Code Agent 之以是前进神速,,,,,,焦点原因是代码可以自我验证 —— 写完就能跑,,,,,,跑完就知道对错,,,,,,失败轨迹能直接沉淀为训练信号。。。。。具身智能恒久缺的正是这样一套闭环基础设施:真机 rollout 本钱高、难规;;;;人工反馈慢、标注本钱高;;古板仿真又保存难以回避的 sim-real gap,,,,,,透明反光、柔性形变、真实接触噪声都很难还原。。。。。
原力灵机给出的解法,,,,,,是把 DW0.5 酿成 VLA 后训练中的 "Learned Environment":VLA 基于目今视察采样候选行动,,,,,,DW0.5 天生对应的未来视觉 rollout,,,,,,Value Expert 对候选轨迹给出乐成概率与价值评分,,,,,,训练系统据此做战略筛选或直接举行强化学习后训练,,,,,,再用少量真机 rollout 一连校准天下模子。。。。。真实机械人是这套飞轮的起点,,,,,,而非唯一训练场。。。。。
要让天下模子真正进入训练闭环,,,,,,而不但是 "天生得像",,,,,,DW0.5 在三处做了要害取舍:
行动是强先验,,,,,,而非软提醒。。。。。常见做法把行动离散化成 token 塞进语言空间,,,,,,约束力有限。。。。。DW0.5 在 Mixture of Tokens 注重力结构中,,,,,,用 group-diagonal attention mask 做帧级绑定 —— 第 i 帧视频只能 attend 对应的第 i 组行动,,,,,,从盘算路径上就切断了视频帧与非对应行动之间的信息通路。。。。。
既模拟乐成,,,,,,也模拟失败。。。。。若训练数据只有专家乐成轨迹,,,,,,模子会形成过强的乐成先验,,,,,,实质上退化为视频天生器而非仿真器。。。。。DW0.5 的数据舷笼罩具身果真数据、自采数据、互联网视频、第一视角人类活动数据,,,,,,以及真机与仿真连系的 rollout,,,,,,同时包括乐成与失败案例,,,,,,并引入 RoboChallenge 的真实成败数据 —— 这是强化学习能够优化 reward 的条件。。。。。
Value Expert 把未来酿成可训练的反馈。。。。;;等耸姑 reward 自然希罕,,,,,,Value Expert 对候选轨迹给出乐成概率评分,,,,,,把希罕的效果信号酿成每一步可用的麋集反馈。。。。。
三项设计叠加的效果,,,,,,反映在评测数据上:DW0.5 在 EWMBench 上以 4.66 分排名第一,,,,,,在 WorldArena 上以 73.54 分排名第一,,,,,,在直接评估行动战略能力的 RoboTwin2.0 上取得 93.3 分,,,,,,同样是 SOTA—— 天生质量、交互动态建模、战略执行能力三项指标同时领先,,,,,,说明 DW0.5 不但是 "天生得像",,,,,,也具备稳固的行动输出能力。。。。。
DM0.5+DW0.5,,,,,,更强的应用模子
整体来看,,,,,,DM0.5 作为基础战略模子,,,,,,DW0.5 认真行动效果预演与价值反。。。。。,,,,,RL 将两者链接。。。。。
基座模子 DM0.5 先天生一批初始行动,,,,,,推给天下模子 DW0.5—→DW0.5 当仿真器,,,,,,在虚拟情形里把这些行动会导向的未来 “跑” 出来,,,,,,批量天生乐成和失败的轨迹—→再由一个强化学习教练员 CFG-RL,,,,,,给每条轨迹的使命进度打分(乐成的价值一起走高,,,,,,失败的价值断崖下跌)—→打分和奖励实时回传,,,,,,更新模子权重,,,,,,喂出一个更强的 DM0.5这个循环里大部分数据由 DW0.5 在线天生,,,,,,不必所有靠真机翻来覆去高成外地去试。。。。。
从具身原生出发,,,,,,目的界说问题,,,,,,而不是手艺界说目的
已往一年,,,,,,具身天下模子是被重复讨论的偏向,,,,,,但大都事情的落点是 "天生得像不像"—— 更真实的画面、更长的时序一致性、更高的评测分数,,,,,,回覆的是评价问题,,,,,,而非训练问题。。。。。原力灵机的出发点差别:焦点问题始终是具身模子怎么真正走进场景,,,,,,天下模子只是解决这个问题的其中一种手段。。。。。
这个顺序上的差别,,,,,,决议了 DW0.5 从一最先就被设计成 "训练情形" 而非 "天生????",,,,,,也决议了 DM0.5 的三项架构刷新所有指向长程使命的稳固执行,,,,,,而非单点能力的刷榜。。。。。长城模子的 15 小时一连搭建,,,,,,某种意义上正是这套 "效果导向" 要领论的一次压力测试 ——8 万多个零件、不到 1 厘米的最小组件精度、长达 15 小时的一连作业,,,,,,任何一个环节的影象丧失或行动漂移都会导致累积误差。。。。。而 DM0.5+DW0.5 组合下的最终交付效果,,,,,,验证的不是某一项简单指标,,,,,,而是基础模子与后训练范式协同之后,,,,,,系统在真实落地中更强的模子优势。。。。。
模子开源地点:
DM0.5GitHub:https://github.com/dexmal/opendmHugging Face:https://huggingface.co/Dexmal/DM05DW0.5GitHub:https://github.com/dexmal/opendwHugging Face:https://huggingface.co/Dexmal/DW05-Base
@韩舒颖:多彩网38116,,,,,,端午节连休3天不调休@柳美珠:女子在博物馆看到“闺蜜”了
@何与颖:台网友:大陆人至心以为台湾人是同胞