金磊 发自 上海量子位 | 公众号 QbitAI

一个新的国产VLA模子降生了，，，，并且只有1.5B。。。。

Size这么小，，，，能好用吗？？？？

来，，，，话未几说，，，，我们直接看效果：

视频地点：https://mp.weixin.qq.com/s/TWDuh4NmsamJ52E2A6ZpTw

在上面这个真机演示里，，，，两只机械臂围着桌面最先做三明治。。。。它们分工相助，，，，先取面包，，，，再夹起生菜、火腿和鸡蛋，，，，一层层叠到一起。。。。

再来看下另一段演示：

视频地点：https://mp.weixin.qq.com/s/TWDuh4NmsamJ52E2A6ZpTw

一只宇树机械狗收到“追随前面的人”这条指令后，，，，最先一起跟在目的死后。。。。

从室外走进办公楼，，，，再进入电梯、地下停车场，，，，机械狗始终没有跟丢。。。。就算周围一直有人经由，，，，情形和光线也在转变，，，，它照旧能认准一最先指定的谁人人。。。。

更要害的是，，，，这套能力直接跑在机械狗外地！

电梯和地下停车场往往是网络信号较量差的地方。。。。纵然进入弱网甚至无网情形，，，，机械狗依然能继续识别目的、妄想行动，，，，坚持追随。。。。

而在这两段Demo背后，，，，则是面壁智能在WAIC时代正式宣布并开源的MiniCPM-Robot系列模子。。。。

现在包括两个模子：

MiniCPM-RobotManip：也就是开头控制机械臂做三明治的通用VLA模子，，，，参数目只有1.5B。。。。MiniCPM-RobotTrack：主要认真机械人的跟踪与导航，，，，让机械人能够凭证自然语言指令，，，，在动态情形里一连跟住指定目的。。。。

和它们一起泛起的，，，，尚有开源具身智能推理框架PhyAI，，，，认真让这些模子更快地适配硬件、跑到真实机械人上。。。。

简朴来说，，，，一个认真让机械人“下手干活”，，，，一个认真让机械人“认准人、随着走”，，，，再配上一套认真高效推理的底座。。。。

面壁这次端出来的，，，，已经是一套逐渐成形的具身智能组合。。。。

跻身第一梯队，，，，延迟靠近一半

先来看MiniCPM-RobotManip。。。。

虽然参数目只有1.5B，，，，但在LIBERO、Calvin、RoboTwin2等主流VLA评测里，，，，它的整体体现已经进入第一梯队，，，，与π0.5等模子处在相近水平。。。。

真正把差别拉开的，，，，是对机械人影象力的磨练。。。。

许多VLA模子在执行行动时，，，，主要凭证目今这一帧画面做判断。。。。

好比让机械人点击画面里的第二个按钮5次。。。。

若是它看不到前面的画面，，，，也记不住自己已经按过一再，，，，就很容易按一下便停，，，，或者一直按下去。。。。

MiniCPM-RobotManip会把历史视察和此前执行过的行动一起纳入判断。。。。它知道使命已经举行到哪一步，，，，也知道什么时间应该停下来。。。。

在专门考察上下文影象的RMBench中，，，，π0.5的效果约为10分，，，，靠近随机水平，，，，MiniCPM-RobotManip则抵达约53分。。。。

这项能力对真实机械人很主要。。。。

叠衣服、料理桌面、做三明治，，，，看起来都是日常小事，，，，拆开后却包括一连串行动。。。；；；等酥豢囱矍，，，，很容易做到一半便“失忆”；；；能记着此前的状态，，，，才有时机把长使命完整做完。。。。

除了记得住，，，，机械人还得反映快。。。。

面壁给出的单帧推理比照中，，，，在H100显卡、bf16精度下，，，，MiniCPM-RobotManip单次决议延迟约为120毫秒，，，，π0.5约为234毫秒，，，，前者靠近后者的一半。。。。

这里的“本钱减半”，，，，主要是体现在推理延迟和盘算量上。。。。

谈天模子多想一秒，，，，用户通；；；鼓艿。。。；；；当勖孔鲆徊蕉纪Ａ粢幻，，，，行动马上就会变得僵硬，，，，整个使命的完成时间也会被拉长。。。。

对VLA来说，，，，能不可在有限算力下快速输出下一步行动，，，，和榜单分数一样主要。。。。

MiniCPM-RobotTrack也走了类似的小尺寸模子蹊径。。。。

它以MiniCPM4-0.5B为基础，，，，整体参数规模为0.9B，，，，主要测试三种真实场景。。。。

第一种是单目的跟踪。。。。给它一句明确指令，，，，机械狗一连随着指定的人。。。。

第二种是多人滋扰。。。。周围几个人同时移动、交织甚至交流位置，，，，模子依然要认准最初的目的。。。。

第三种更难，，，，指令自己可能较量模糊。。。。好比只说“随着穿黑衣服的人”，，，，现场又恰恰有多个衣着相近的人，，，，模子需要连系画面明确人类究竟指的是谁。。。。

在没有举行下游强化学习优化的情形下，，，，MiniCPM-RobotTrack在三类使命上的追踪率划分抵达89.8%、73.4%和80.4%，，，，均取得开源方案中的最优效果。。。。

相比OpenTrackVLA，，，，三项追踪率划分提高7.0、14.6和6.5个百分点。。。。

在相同的单视角、纯SFT设定下，，，，与闭源模子TrackVLA++相比，，，，它在单目的跟踪和模糊目的跟踪上的追踪率划分横跨8.8和17.0个百分点，，，，模糊目的跟踪的乐成率抵达58.0%。。。。

参数小，，，，体现却没有显着落伍。。。。

机械人模子的竞争，，，，也最先从纯粹拼规模，，，，转向拼单位算力究竟能换来几多能力。。。。

把机械人看到的天下压缩一下

MiniCPM-RobotManip能把尺寸压到1.5B，，，，背后离不开面壁已往在多模态模子上的积累。。。。

它基于MiniCPM-V 4.6训练而来（开源不到2个月，，，，下载量已突破200万）。。。。

面壁的MiniCPM-V/O系列已经一连迭代两年多，，，，开源总下载量凌驾2500万。。。。已往积累的图像明确、视频明确和多模态信息处理能力，，，，现在被进一步搬到了机械人身上。。。。

机械人执行一次行动，，，，需要处理的信息着实许多。。。。

一台双臂机械人通；；；嵬蔽杖錾阆裢返幕，，，，包括两个腕部相机和一个主视角相机，，，，再加上一段文字指令，，，，最后输出一个可以执行的行动。。。。

并且，，，，这个历程一秒要重复好一再。。。。

若是每一张图片都被转换成大宗视觉Token，，，，机械人运行得越久，，，，需要处理的历史信息就越多，，，，盘算量很快就会堆起来。。。。

MiniCPM-RobotManip接纳的步伐，，，，是只管压缩视觉Token。。。。

桌面纹理、墙面图案等和目今使命关系不大的信息，，，，不必占用太多Token。。。。模子用更短的数据体现保存要害内容，，，，单次推理需要处理的信息量也随之下降。。。。

信息少了，，，，推理自然更快。。。。对应到机械臂上，，，，就是期待时间更短，，，，行动衔接更顺。。。。

视觉Token压缩尚有一个更大的用处，，，，可以资助机械人以更低本钱保存历史影象。。。。

通例要领每获得一张新画面，，，，都要把此前的历史重新盘算一遍。。。。使命越长，，，，盘算量增添得越快。。。。

MiniCPM-RobotManip接纳流式盘算，，，，前面已经处理过的信息可以继续复用，，，，新画面进来后，，，，只需要接着往下盘算。。。。

这就有点像看一连剧的感受了。。。。

通俗做法每更新一集，，，，都要从第一集重新看起；；；流式盘算则会记着之前的剧情，，，，直接从最新一集接着看。。。。

机械人因此可以带着更长的历史继续执行使命，，，，同时阻止盘算量一起暴涨。。。。

1.5B的尺寸，，，，也和机械人的现实运行需求有关。。。。

面壁在将约200毫秒视为机械人操作体验的一道临界线。。。。再慢下去，，，，机械臂和机械狗的卡顿感就会显着增添。。。。

目今大都VLA基础模子都控制在4B以内。。。。模子继续做大能带来几多真实操作收益，，，，行业仍在验证。。。。

到了MiniCPM-RobotTrack这里，，，，轻量化的思绪又换了一种实现方式。。。。

它把视觉画面、自然语言指令和机械人的控制决议放进统一个模子里统一处理。。。。

用户说一句“随着前面穿黑衣服的人”，，，，模子会直接连系摄像头画面明确指令，，，，再把判断转换成机械狗的运动控制。。。。

整个历程不需要特殊装置一套目的检测？？？？椤⒁惶资侗鹉？？？？，，，，再接一套跟踪系统。。。。也不必外接开发板，，，，只靠宇树Go2 Edu原装摄像头和外地算力，，，，就能完成单目的跟踪、多人滋扰跟踪和模糊目的跟踪。。。。

不过，，，，真实天下总会泛起训练集里很少见的情形。。。。

目的可能突然从镜头前横穿已往，，，，也可能快速转弯，，，，被其他人短暂盖住。。。。几个人同时交织走动时，，，，机械狗还要阻止跟错人。。。。

这类场景数目少，，，，却最容易让模子翻车。。。。以是，，，，面壁为此搭建了一套自进化数据管线。。。。

团队先对原始数据举行检查和洗濯，，，，把异常轨迹、过失行动和无效交互剔除掉。。。。随后让模子进入仿真和真实机械人情形，，，，在一连运行中自动袒露自己的薄弱环节。。。。

系统再把这些容易蜕化的场景集中网络起来，，，，通过专家战略举行纠偏，，，，放回下一轮训练。。。。

说得通俗一点，，，，这就像给机械狗准备了一本会自动更新的错题本。。。。

经由一轮轮闭环训练，，，，目的横穿、快速转向、短时遮挡、多人交织这些长尾问题，，，，也能一直获得增强。。。。

模子训好了，，，，装到真机上仍然有一道关。。。。

摄像头收罗、画面编码、模子推理、行动天生、指令传输，，，，任何一个环节慢下来，，，，最终都会反映在机械狗的行动上。。。。

面壁围绕宇树Go2的完整运行链路做了系统级优化。。。。现在MiniCPM-RobotTrack在机械狗原生外地算力上可以稳固抵达5Hz以上，，，，端到端响应延迟约180毫秒。。。。

这次开源的内容也不但有模子权重，，，，还包括情形装置、模子加载、摄像头接入、文本指令输入、控制接口和一键启动剧本。。。。

准备一台Go2 Edu，，，，就能凭证开源流程把模子安排起来。。。。

外地安排的利益，，，，在电梯和停车场的演示里体现得很直接。。。。

机械人不必期待画面上传云端，，，，也不必等远程服务器返回效果。。。。摄像头数据和用户指令留在外地，，，，网络信号变差后，，，，完整功效依然可以继续运行。。。。

直接拔掉网卡，，，，机械狗照样能凭证摄像头画面和文字指令，，，，完成目的识别、一连跟踪和运动控制。。。。

除了MiniCPM-Robot系列之外，，，，这次尚有一项容易被忽略的宣布——PhyAI。。。。

它是一款面向Physical AI的开源推理框架，，，，由明体科技联合北京邮电大学、北京大学研发。。。。

具身模子想从实验室跑到真实机械人上，，，，中心还要经由硬件适配、量化、算子优化和安排。。。。

差别VLA、天下模子的结构差别很大。。。。每宣布一个新模子，，，，再重新适配一次，，，，时间和工程本钱都不低。。。。

PhyAI想做的，，，，就是把这段路缩短。。。。

在RTX 5090上运行π0、π0.5和GR00T时，，，，PhyAI相较模子官方客栈划分实现约2.85倍、1.82倍和2.28倍加速。。。。

适配MiniCPMRobot系列模子时，，，，PhyAI先通过CUDA Graph把推理帧率从10.12Hz提高到33.28Hz，，，，再加入为模子定制的融合算子，，，，在NVIDIA H20上进一步提高到36.77Hz。。。。

前面是模子效果，，，，这里解决的是工程效率。。。。

模子醒目活，，，，还得尽快跑上硬件，，，，跑得足够快，，，，才华真正进入更多机械人。。。。

机械人需要又好又自制的大脑

具身智能行业历来不缺精彩Demo。。。。真正难的是脱离展台之后，，，，机械人还能不可稳固事情。。。。

清华大学人工智能学院助理教授、面壁智能多模态首席科学家姚远在访谈中也提到：

现阶段不少机械人Demo会围绕简单使命收罗大宗数据，，，，再举行针对性优化，，，，展示效果并不可完全代表基础模子的真实进度。。。。面壁更看重模子的基础性、泛化性和通用性，，，，希望先把数据、Infra和工程链路打磨好，，，，让基础能力提升后自然笼罩更多场景。。。。沿着大语言模子的生长履历，，，，具身智能最终也要走向“先通后专”，，，，先明确物理天下的基本知识，，，，再成为做饭、叠衣服或仓储作业等详细领域的专家。。。。

展馆、园区和工厂里，，，，网络信号不会一直满格。。。；；；等嘶挂媪僖私、数据合规、使命失败和异；；；指吹纫涣质滴侍。。。。

榜单分数再高，，，，走到地下停车场便停摆，，，，落地空间依然有限。。。。

这也是面壁把端侧能力放在主要位置的原因。。。。

在与乐聚机械人的相助中，，，，面壁把端侧多模态大模子、夸父机械人本体和导航系统组合到了一起，，，，推出展厅导览Agent和园区巡检Agent。。。。

展厅导览机械人在无网情形下，，，，也能基于外地知识库完成离线解说和自由问答。。。。它可以明确展厅情形和人的指令，，，，妄想导览蹊径，，，，同时完成避障。。。。

园区巡检机械人则可以识别车辆违停、路面异常和公共设施问题。。。。敏感画面直接在外地处理，，，，数据留在客户侧。。。。

与吉祥汽车的相助，，，，则进一步走进了生产仓储场景。。。。

面壁和吉祥配合训练VLA模子，，，，再通过RoboHarness把VLM、VLA、机械人本体和导航系统接到一起，，，，让机械人执行仓储中的长程使命。。。。

RoboHarness可以明确成物理天下里的Agent执行框架。。。。

上层VLM认真妄想使命，，，，VLA和导航系统作为可以挪用的工具。。。？？？？蚣芑够嶂卫沓な姑纳舷挛暮陀跋，，，，遇到失败时举行重试和恢复。。。。

机械人每完成一次使命，，，，运行数据还会进入可治理的数据闭环，，，，继续资助模子进化。。。。

到这里，，，，面壁此次在WAIC带来的具身智能蹊径已经较量清晰了。。。。

MiniCPM-RobotManip认真操作，，，，让机械臂明确使命、记着历程，，，，再把事情做完。。。。MiniCPM-RobotTrack认真跟踪导航，，，，让机械狗在重大情形里认准目的，，，，断网也能继续走。。。。PhyAI认真把模子更快地安排到真实硬件上。。。。

再往外，，，，乐聚和吉祥的相助最先把模子、本体、导航和详细营业流程接起来。。。。

大语言模子时代，，，，人们习习用参数目判断能力。。。。但机械人真正走进物理天下后，，，，参数只是其中一个数字。。。。

它还得反映够快、记得住、断网能跑，，，，数据留得下来，，，，遇到意外能够恢复，，，，本钱也要控制在企业愿意恒久使用的规模内。。。。

从这个角度看，，，，1.5B和0.9B的意义，，，，也就不止是“小”。。。。它们更像是在回覆一个很现实的问题：

当AI真正长脱手脚，，，，除了智慧，，，，还得跑得动、用得起，，，，最后把活干完。。。。

GitHub链接：https://github.com/OpenBMB/MiniCPM-Robot

HuggingFace链接：https://huggingface.co/openbmb/MiniCPM-RobotManiphttps://huggingface.co/openbmb/MiniCPM-RobotTrack