给机械人造一座「数据工厂」,,,,,,小米 Robotics-U0 怎样破解具身智能最难的一道题???
“Xiaomi-Robotics-U0,,,,,,为具身智能行业搭建低本钱、可扩展的数据基础设施。。。”
作者丨赵翔国
编辑丨马广宇
天下各地,,,,,,有不少人正在给机械人当“幼教”。。。
在印度的一些工厂里,,,,,,有工人头戴摄像头完成装配、分拣和搬运,,,,,,将第一视角画面和完整操作历程纪录下来;;;;特斯拉 Optimus 的训练场里,,,,,,也有事情职员佩带装有多枚摄像头的头盔和背包,,,,,,在牢靠园地内重复拿杯子、擦桌子、拉窗帘;;;;一些数据公司付费约请通俗人拍摄自己叠衣服、洗碗和整理房间的历程。。。
他们在做的,,,,,,都是把人类早已习惯的行动重新树模、拆解和纪录,,,,,,让机械人从视察、模拟和重复训练最先,,,,,,学习怎样在真实天下行动。。。
已往一年,,,,,,机械人跑步、翻腾、格斗和叠衣服的视频一直刷屏,,,,,,证实机械人可以完成越来越重大的行动。。。但想要从一次展示走向恒久稳固运行,,,,,,机械人还要顺应差别情形、物体和使命,,,,,,并在失败中一连进化。。。
这一历程依赖一连运转的数据闭环,,,,,,包括数据收罗、筛选、存储、训练、仿真、验证和回灌,,,,,,而当下最先卡住行业进度的,,,,,,是数据收罗。。。
语言模子可以从互联网获得大宗文本和图片,,,,,,机械人却没有一律规模的“物理天下互联网”。。。具身模子训练需要同时收罗目的看到了什么、接纳了什么行动,,,,,,以及这个行动怎样改变了自身和周围情形。。。这类相互对应的视觉、行动和状态数据,,,,,,通常只能通过真机操作、人类遥操作或专门收罗获得。。。
但人工和真机收罗都很难快速扩大规模。。。继续增添装备、摄像头和收罗职员,,,,,,能够带来更多样本,,,,,,但训练时长、算力、存储本钱都会线性上涨,,,,,,更贫困的是,,,,,,低频和极端场景依然很难网络。。。
因此,,,,,,具身智能解决数据欠缺,,,,,,除了依赖扩大收罗规模,,,,,,也最先实验通过天生模子扩展训练数据,,,,,,但现有合成数据方案往往由多个模子划分认真差别环节,,,,,,使命之间相互割裂,,,,,,既增添了重漂后,,,,,,也容易在跨模子处理时破损场景的一致性。。。
小米正式宣布并开源的 Xiaomi-Robotics-U0 正是为相识决这一问题,,,,,,它将多类天生使命整合进统一套框架中,,,,,,可以完成具身场景天生、具身迁徙和机械人交互视频天生,,,,,,并保存通用文生图与图像编辑能力,,,,,,为机械人训练一连提供更多的可用的数据和场景。。。
作为具身领域全球首个统一天生模子,,,,,,Xiaomi-Robotics-U0 已经同时验证了天生质量、数据有用性和工程效率。。。
在由清华大学、北京大学等机构联合建设的 WorldArena 基准测试中,,,,,,U0 以匿名代号 UNIS 参评,,,,,,取得全球总分第一;;;;在真机评测中,,,,,,使用 U0 扩增数据训练后的机械人战略,,,,,,在未知光照、生疏配景等 OOD 场景下,,,,,,使命完成进度平均提升 26.3 %;;;;通过 FlashAR+ 推理加速方案,,,,,,U0 的天生效率较原始自回归范式提升 82.9 倍,,,,,,也将大规模生产具身数据的时间和算力本钱压缩到了可以大规模使用的水平。。。
小米 U0 的三项要害立异:统一、可控、高效
Xiaomi-Robotics-U0 最焦点的立异,,,,,,是全球首次在具身天生领域用一个统一模子笼罩四类天生使命,,,,,,将具身场景天生、具身迁徙、机械人交互视频天生,,,,,,以及通用文生图和图像编辑能力整合进统一个模子。。。
已往,,,,,,这些使命通常由差别模子划分完成。。。每个模子都有自己的数据名堂、训练方式和推理链路,,,,,,相互之间很难共享能力。。。一段真机数据经由多个系统处理后,,,,,,既增添了工程本钱,,,,,,也倒运于一连扩大数据规模。。。
U0 的做法,,,,,,是把这些使命放进统一个模子中。。。好比,,,,,,研究职员已经收罗了一段机械臂将耳机放入收纳盒的操作轨迹。。。U0 可以在保存原始行动关系的情形下,,,,,,替换耳机的外观、调解光照、改变桌面配景,,,,,,或者加入反光物体和其他视觉滋扰,,,,,,无需重新组织一次真机收罗。。。
模子还可以从零天生新的事情台和物体组合,,,,,,增补危险、极端或低频泛起的长尾情形。。;;;;等嗽谙质抵泻苣崖睦谋哐爻【,,,,,,可以先通过天生方式加入训练数据。。。
通用文生图和图像编辑能力被纳入统一架构,,,,,,则使得模子还可以使用通用视觉模子积累的知识。。。真实机械人数据笼罩的物体和情形始终有限,,,,,,但互联网视觉数据中包括海边、医院、客栈等差别场景,,,,,,也包括州材质和光照条件。。。这些视觉知识可以被用于扩展具身使命中的场景规模。。。
但数据能否批量天生,,,,,,和数据能否用于机械人训练,,,,,,是两回事。。。
通俗图像模子更关注天生效果是否切合指令。。。只要整体画面看起来合理,,,,,,哪怕物体泛起稍微位移,,,,,,通常仍可视为乐成。。。
但具身数据的要求更严酷。。;;;;当鄣奈恢谩⒓凶τ胛锾宓慕哟ス叵怠⒆烂娴目占浣峁,,,,,,以及差别摄像头画面之间的几何关系,,,,,,都要和原始行动轨迹对应。。。修改配景或光照时,,,,,,若是这些信息爆发转变,,,,,,天生画面就无法继续匹配原有行动标签,,,,,,也很难直接用于战略训练。。。
为此,,,,,,U0 设计了五维解耦的控制方式,,,,,,将天生历程拆分为事情台结构、远景操作物体、远景无关杂物、光照条件和配景信息五个维度。。。每个维度都可以通过自然语言自力控制,,,,,,只改变需要调解的变量,,,,,,同时只管保存其他结构和轨迹信息。。。
好比,,,,,,模子可以只改变光线,,,,,,不念头械臂和物体的位置;;;;也可以替换操作工具,,,,,,同时保存事情台结构和原始轨迹;;;;还可以增添桌面杂物,,,,,,用来测试机械人在有滋扰的情形中能否完成使命。。。
左侧为原始的多视角视察,,,,,,右侧为修改了光照、事情区、物体形貌等条件后,,,,,,模子天生的多视角视察
在解决统一性和可控性之后,,,,,,U0 还要解决天生效率和本钱的问题。。。若是天生一条数据需要过长时间和过多算力,,,,,,纵然模子能够笼罩更多使命,,,,,,也很难真正支持大规模使用。。。
Xiaomi-Robotics-U0 接纳了FlashAR+ 推理加速方案,,,,,,在 FlashAR 的基础上进一步适配图像编辑、具身迁徙和多参考图天生,,,,,,并连系对角并行解码与 vLLM 的分页 KV 缓存和批量调理能力,,,,,,提高推理速率和资源使用率。。。
凭证小米宣布的数据,,,,,,在 1024×1024 分辨率下,,,,,,U0 的单样本天生时间由 450.77 秒缩短至 5.44 秒,,,,,,天生效率提升约 82.9 倍。。。天生本钱的下降,,,,,,使一条真实轨迹批量衍生出大宗差别场景成为可能,,,,,,也让模子更容易安排在有限的算力资源上。。。
AR(自回归)和 FlashAR+ 的比照效果:
FlashAR+ 在坚持了天生质量的同时,,,,,,大幅度优化了推理效率
Xiaomi-Robotics-U0 的三项立异并不是自力的功效叠加,,,,,,它们配合推动了具身智能数据的 scaling,,,,,,统一架构买通了具身天生使命,,,,,,五维解耦包管扩增后的数据仍然可控、可用;;;;FlashAR+ 则把天生速率和算力本钱压缩到了能够支持大规模使用的水平。。。
Xiaomi-Robotics-U0 试图建设的,,,,,,正是这样一套统一、可控、低本钱的具身数据生产系统。。。
WorldArena 全球第一,,,,,,
可控性逾越 GPT-Image-2.0
机械人战略的泛化能力,,,,,,很洪流平上取决于训练数据是否足够多样。。。
此前,,,,,,NVIDIA Isaac Sim 等平台也实验用合成数据缓解数据缺乏,,,,,,但合成数据始终有一个难点:天生的情形和真实天下之间保存差别。。。
画面中的深度、物体位置、接触关系和运动纪律,,,,,,只要有一项泛起误差,,,,,,机械人在合成情形中学到的能力就可能无法迁徙到真机。。。
以是,,,,,,判断 U0 能不可用于更普遍的具身训练,,,,,,除了看它能天生什么,,,,,,还要看用这些数据训练出的机械人,,,,,,在真真相形中的体现。。。
从小米宣布的真机评测效果看,,,,,,使用 U0 扩增数据训练后,,,,,,机械人在未知光照、生疏配景平漫衍外场景中的使命完成进度平均提升了 26.3%,,,,,,在耳机收纳这样的细腻操作、毛巾折叠这样的可变形物体操作,,,,,,以及物品装箱这样的长流程使命中,,,,,,体现也都有提升。。。
面临反光物体、彩色灯光等视觉滋扰时,,,,,,只使用原始真机数据训练的战略更容易由于识别误差而障碍,,,,,,甚至直接失败。。。加入 U0 扩增数据后,,,,,,机械人纵然泛起了行动误差,,,,,,也能凭证后续视察重新判断情形并调解行动。。。
这些效果说明,,,,,,U0 所代表的数据扩增战略是有用的。。。 U0 在扩大数据量的同时,,,,,,也提升了对生疏情形的笼罩能力。。。原本只在正常光照和牢靠配景下收罗的一段轨迹,,,,,,经由物体、配景、光照和滋扰条件的扩增后,,,,,,可以资助机械人提前顺应更多转变,,,,,,并最终转化为机械人在真实场景中的性能提升。。。
同时,,,,,,在与目今顶尖闭源模子 GPT-Image-2.0 的比照中,,,,,,Xiaomi-Robotics-U0 也展现出了更好的可控性。。。
两类模子之间最显着的差别,,,,,,泛起在多视角几何和机械臂位姿的坚持上。。。GPT-Image-2.0 可以凭证文本指令替换物体和场景,,,,,,天生效果在视觉上也基本切合要求,,,,,,但在差别摄像头视角中,,,,,,物体位置有时会爆发偏移,,,,,,空间结构可能泛起变形,,,,,,机械臂姿态也纷歧定能完整保存。。。
GPT-Image-2.0 和 Xiaomi-Robotics-U0 的具身迁徙效果比照,,,,,,统一指令下,,,,,,GPT-Image-2.0 的机械臂位置泛起了过失
关于通俗图像编辑而言,,,,,,这些误差可能只会影响画面质量。。。但关于具身数据,,,,,,统一时刻的多个视角必需对应统一个真实空间,,,,,,机械臂和操作物体也必需继续匹配原始行动轨迹。。。只要其中一个视角爆发错位,,,,,,天生数据就很难继续使用原有行动标签,,,,,,也无法直接用于战略训练。。。
小米还对 U0 的场景天生和具身迁徙能力举行了单独评测。。。两项测试都设置了简朴和难题两档使命,,,,,,其中具身场景天生包括 400 个样本,,,,,,具身迁徙包括 300 个样本。。。凭证人工评测效果,,,,,,U0 在两类使命中的整体体现都优于加入比照的其他模子。。。
场景天生和具身迁徙总体效果比照图:在人工搭建的具身场景天生(分为 Easy 和 Hard,,,,,,各 200 个)和具身迁徙(分为 Easy 和Hard,,,,,,各 150 个)这两个 benchmark 中,,,,,,Xiaomi-Robotics-U0 在人类评测中均取得了显着的领先
在外部评测中,,,,,,U0 也以匿名代号 UNIS 加入了由清华大学、北京大学等机构联合建设的 WorldArena 基准测试。。。阻止 2026 年 7 月 15日,,,,,,该榜单共有 126 个模子参评,,,,,,UNIS 获得总分第一,,,,,,并在指令遵照、交互质量和视角一致性三个子项中排名第一。。。
WorldArena 榜单
一座低本钱的"具身数据工厂"
从更大的行业视角看,,,,,,U0 的开源解决了怎样低本钱生产有用数据的问题。。。
已往,,,,,,行业扩大具身数据规模,,,,,,主要依赖增添机械人数目、延伸真机运行时间、组织更多人工树模。。。数据增添与装备、人力和时间投入高度绑定,,,,,,规模越大,,,,,,本钱越高。。。
小米通过 U0 给出的路径是,,,,,,在已有真实数据的基础上继续天生新的场景和样本,,,,,,让数据扩张不再完全依赖新增收罗,,,,,,其立异性的通过统一的多模态自回归框架,,,,,,将具身场景天生、具身迁徙、机械人交互视频天生,,,,,,以及通用文生图和图像编辑四类能力整合进了统一个模子。。。
具身场景天生和具身迁徙直接肩负了扩展训练数据的作用,,,,,,机械人交互视频天生进一步使静态场景能够扩展为完整的机械人交互历程,,,,,,通用文生图和图像编辑能力则将互联网中积累的物体、情形和视觉知识引入具身使命,,,,,,为模子天生更富厚的开放天下场景。。。
U0 把场景天生、轨迹迁徙和交互视频放进了统一条数据处理链路。。。模子可以先结构事情台和物体,,,,,,再迁徙已有操作轨迹,,,,,,最后天生后续的机械人交互历程。。。这样一来,,,,,,具身数据的扩展不再依赖多个相互自力的工具。。。
在大都公司仍在围绕机械人本体、VLA 模子和真机数据收罗扩大投入时,,,,,,小米已经先一步进入数据基础设施层,,,,,,实验解决整个行业都要面临的数据本钱和长尾笼罩问题。。。
U0 像是一座可控、可用、低本钱的“具身数据工厂”。。。虽然真机收罗仍然不可替换,,,,,,机械人需要从现实天下获得真实的行动、接触和反馈,,,,,,天生模子也要依赖这些数据一直校准。。。但有了 U0 天生模子,,,,,,一条真实数据不再只能对应一个牢靠场景。。。它可以被扩展赴任别的情形、物体和视觉条件中,,,,,,形成更多训练样本。。。
当具身数据最先具备更高效率、更低本钱和更强可控性,,,,,,模子训练就不必完全受限于现实天下的收罗速率。。。行业也由此拥有了继续扩大数据规模、提高泛化能力,,,,,,并最终支持机械人规;;;;涞氐幕 。。
文章点评
未盘问到任何数据!
揭晓谈论
◎接待加入讨论,,,,,,请在这里揭晓您的看法、交流您的看法。。。