金磊 发自 上海量子位 | 公众号 QbitAI
一个新的国产VLA模子降生了，，， ，，并且只有1.5B。。。。。
Size这么小，，， ，，能好用吗？？？？？ ？
来，，， ，，话未几说，，， ，，我们直接看效果：
视频地点：https://mp.weixin.qq.com/s/TWDuh4NmsamJ52E2A6ZpTw
在上面这个真机演示里，，， ，，两只机械臂围着桌面最先做三明治。。。。。它们分工相助，，， ，，先取面包，，， ，，再夹起生菜、火腿和鸡蛋，，， ，，一层层叠到一起。。。。。
再来看下另一段演示：
视频地点：https://mp.weixin.qq.com/s/TWDuh4NmsamJ52E2A6ZpTw
一只宇树机械狗收到“追随前面的人”这条指令后，，， ，，最先一起跟在目的死后。。。。。
从室外走进办公楼，，， ，，再进入电梯、地下停车场，，， ，，机械狗始终没有跟丢。。。。。就算周围一直有人经由，，， ，，情形和光线也在转变，，， ，，它照旧能认准一最先指定的谁人人。。。。。
更要害的是，，， ，，这套能力直接跑在机械狗外地！
电梯和地下停车场往往是网络信号较量差的地方。。。。。纵然进入弱网甚至无网情形，，， ，，机械狗依然能继续识别目的、妄想行动，，， ，，坚持追随。。。。。
而在这两段Demo背后，，， ，，则是面壁智能在WAIC时代正式宣布并开源的MiniCPM-Robot系列模子。。。。。
现在包括两个模子：
MiniCPM-RobotManip：也就是开头控制机械臂做三明治的通用VLA模子，，， ，，参数目只有1.5B。。。。。MiniCPM-RobotTrack：主要认真机械人的跟踪与导航，，， ，，让机械人能够凭证自然语言指令，，， ，，在动态情形里一连跟住指定目的。。。。。
和它们一起泛起的，，， ，，尚有开源具身智能推理框架PhyAI，，， ，，认真让这些模子更快地适配硬件、跑到真实机械人上。。。。。
简朴来说，，， ，，一个认真让机械人“下手干活”，，， ，，一个认真让机械人“认准人、随着走”，，， ，，再配上一套认真高效推理的底座。。。。。
面壁这次端出来的，，， ，，已经是一套逐渐成形的具身智能组合。。。。。
跻身第一梯队，，， ，，延迟靠近一半
先来看MiniCPM-RobotManip。。。。。
虽然参数目只有1.5B，，， ，，但在LIBERO、Calvin、RoboTwin2等主流VLA评测里，，， ，，它的整体体现已经进入第一梯队，，， ，，与π0.5等模子处在相近水平。。。。。
真正把差别拉开的，，， ，，是对机械人影象力的磨练。。。。。
许多VLA模子在执行行动时，，， ，，主要凭证目今这一帧画面做判断。。。。。
好比让机械人点击画面里的第二个按钮5次。。。。。
若是它看不到前面的画面，，， ，，也记不住自己已经按过一再，，， ，，就很容易按一下便停，，， ，，或者一直按下去。。。。。
MiniCPM-RobotManip会把历史视察和此前执行过的行动一起纳入判断。。。。。它知道使命已经举行到哪一步，，， ，，也知道什么时间应该停下来。。。。。
在专门考察上下文影象的RMBench中，，， ，，π0.5的效果约为10分，，， ，，靠近随机水平，，， ，，MiniCPM-RobotManip则抵达约53分。。。。。
这项能力对真实机械人很主要。。。。。
叠衣服、料理桌面、做三明治，，， ，，看起来都是日常小事，，， ，，拆开后却包括一连串行动。。。。；；；；等酥豢囱矍，，， ，，很容易做到一半便“失忆”；；；；能记着此前的状态，，， ，，才有时机把长使命完整做完。。。。。
除了记得住，，， ，，机械人还得反映快。。。。。
面壁给出的单帧推理比照中，，， ，，在H100显卡、bf16精度下，，， ，，MiniCPM-RobotManip单次决议延迟约为120毫秒，，， ，，π0.5约为234毫秒，，， ，，前者靠近后者的一半。。。。。
这里的“本钱减半”，，， ，，主要是体现在推理延迟和盘算量上。。。。。
谈天模子多想一秒，，， ，，用户通；；；；鼓艿。。。。；；；；当勖孔鲆徊蕉纪Ａ粢幻，，， ，，行动马上就会变得僵硬，，， ，，整个使命的完成时间也会被拉长。。。。。
对VLA来说，，， ，，能不可在有限算力下快速输出下一步行动，，， ，，和榜单分数一样主要。。。。。
MiniCPM-RobotTrack也走了类似的小尺寸模子蹊径。。。。。
它以MiniCPM4-0.5B为基础，，， ，，整体参数规模为0.9B，，， ，，主要测试三种真实场景。。。。。
第一种是单目的跟踪。。。。。给它一句明确指令，，， ，，机械狗一连随着指定的人。。。。。
第二种是多人滋扰。。。。。周围几个人同时移动、交织甚至交流位置，，， ，，模子依然要认准最初的目的。。。。。
第三种更难，，， ，，指令自己可能较量模糊。。。。。好比只说“随着穿黑衣服的人”，，， ，，现场又恰恰有多个衣着相近的人，，， ，，模子需要连系画面明确人类究竟指的是谁。。。。。
在没有举行下游强化学习优化的情形下，，， ，，MiniCPM-RobotTrack在三类使命上的追踪率划分抵达89.8%、73.4%和80.4%，，， ，，均取得开源方案中的最优效果。。。。。
相比OpenTrackVLA，，， ，，三项追踪率划分提高7.0、14.6和6.5个百分点。。。。。
在相同的单视角、纯SFT设定下，，， ，，与闭源模子TrackVLA++相比，，， ，，它在单目的跟踪和模糊目的跟踪上的追踪率划分横跨8.8和17.0个百分点，，， ，，模糊目的跟踪的乐成率抵达58.0%。。。。。
参数小，，， ，，体现却没有显着落伍。。。。。
机械人模子的竞争，，， ，，也最先从纯粹拼规模，，， ，，转向拼单位算力究竟能换来几多能力。。。。。
把机械人看到的天下压缩一下
MiniCPM-RobotManip能把尺寸压到1.5B，，， ，，背后离不开面壁已往在多模态模子上的积累。。。。。
它基于MiniCPM-V 4.6训练而来（开源不到2个月，，， ，，下载量已突破200万）。。。。。
面壁的MiniCPM-V/O系列已经一连迭代两年多，，， ，，开源总下载量凌驾2500万。。。。。已往积累的图像明确、视频明确和多模态信息处理能力，，， ，，现在被进一步搬到了机械人身上。。。。。
机械人执行一次行动，，， ，，需要处理的信息着实许多。。。。。
一台双臂机械人通；；；；嵬蔽杖錾阆裢返幕，，， ，，包括两个腕部相机和一个主视角相机，，， ，，再加上一段文字指令，，， ，，最后输出一个可以执行的行动。。。。。
并且，，， ，，这个历程一秒要重复好一再。。。。。
若是每一张图片都被转换成大宗视觉Token，，， ，，机械人运行得越久，，， ，，需要处理的历史信息就越多，，， ，，盘算量很快就会堆起来。。。。。
MiniCPM-RobotManip接纳的步伐，，， ，，是只管压缩视觉Token。。。。。
桌面纹理、墙面图案等和目今使命关系不大的信息，，， ，，不必占用太多Token。。。。。模子用更短的数据体现保存要害内容，，， ，，单次推理需要处理的信息量也随之下降。。。。。
信息少了，，， ，，推理自然更快。。。。。对应到机械臂上，，， ，，就是期待时间更短，，， ，，行动衔接更顺。。。。。
视觉Token压缩尚有一个更大的用处，，， ，，可以资助机械人以更低本钱保存历史影象。。。。。
通例要领每获得一张新画面，，， ，，都要把此前的历史重新盘算一遍。。。。。使命越长，，， ，，盘算量增添得越快。。。。。
MiniCPM-RobotManip接纳流式盘算，，， ，，前面已经处理过的信息可以继续复用，，， ，，新画面进来后，，， ，，只需要接着往下盘算。。。。。
这就有点像看一连剧的感受了。。。。。
通俗做法每更新一集，，， ，，都要从第一集重新看起；；；；流式盘算则会记着之前的剧情，，， ，，直接从最新一集接着看。。。。。
机械人因此可以带着更长的历史继续执行使命，，， ，，同时阻止盘算量一起暴涨。。。。。
1.5B的尺寸，，， ，，也和机械人的现实运行需求有关。。。。。
面壁在将约200毫秒视为机械人操作体验的一道临界线。。。。。再慢下去，，， ，，机械臂和机械狗的卡顿感就会显着增添。。。。。
目今大都VLA基础模子都控制在4B以内。。。。。模子继续做大能带来几多真实操作收益，，， ，，行业仍在验证。。。。。
到了MiniCPM-RobotTrack这里，，， ，，轻量化的思绪又换了一种实现方式。。。。。
它把视觉画面、自然语言指令和机械人的控制决议放进统一个模子里统一处理。。。。。
用户说一句“随着前面穿黑衣服的人”，，， ，，模子会直接连系摄像头画面明确指令，，， ，，再把判断转换成机械狗的运动控制。。。。。
整个历程不需要特殊装置一套目的检测？？？？？ ？椤⒁惶资侗鹉？？？？？ ？，，， ，，再接一套跟踪系统。。。。。也不必外接开发板，，， ，，只靠宇树Go2 Edu原装摄像头和外地算力，，， ，，就能完成单目的跟踪、多人滋扰跟踪和模糊目的跟踪。。。。。
不过，，， ，，真实天下总会泛起训练集里很少见的情形。。。。。
目的可能突然从镜头前横穿已往，，， ，，也可能快速转弯，，， ，，被其他人短暂盖住。。。。。几个人同时交织走动时，，， ，，机械狗还要阻止跟错人。。。。。
这类场景数目少，，， ，，却最容易让模子翻车。。。。。以是，，， ，，面壁为此搭建了一套自进化数据管线。。。。。
团队先对原始数据举行检查和洗濯，，， ，，把异常轨迹、过失行动和无效交互剔除掉。。。。。随后让模子进入仿真和真实机械人情形，，， ，，在一连运行中自动袒露自己的薄弱环节。。。。。
系统再把这些容易蜕化的场景集中网络起来，，， ，，通过专家战略举行纠偏，，， ，，放回下一轮训练。。。。。
说得通俗一点，，， ，，这就像给机械狗准备了一本会自动更新的错题本。。。。。
经由一轮轮闭环训练，，， ，，目的横穿、快速转向、短时遮挡、多人交织这些长尾问题，，， ，，也能一直获得增强。。。。。
模子训好了，，， ，，装到真机上仍然有一道关。。。。。
摄像头收罗、画面编码、模子推理、行动天生、指令传输，，， ，，任何一个环节慢下来，，， ，，最终都会反映在机械狗的行动上。。。。。
面壁围绕宇树Go2的完整运行链路做了系统级优化。。。。。现在MiniCPM-RobotTrack在机械狗原生外地算力上可以稳固抵达5Hz以上，，， ，，端到端响应延迟约180毫秒。。。。。
这次开源的内容也不但有模子权重，，， ，，还包括情形装置、模子加载、摄像头接入、文本指令输入、控制接口和一键启动剧本。。。。。
准备一台Go2 Edu，，， ，，就能凭证开源流程把模子安排起来。。。。。
外地安排的利益，，， ，，在电梯和停车场的演示里体现得很直接。。。。。
机械人不必期待画面上传云端，，， ，，也不必等远程服务器返回效果。。。。。摄像头数据和用户指令留在外地，，， ，，网络信号变差后，，， ，，完整功效依然可以继续运行。。。。。
直接拔掉网卡，，， ，，机械狗照样能凭证摄像头画面和文字指令，，， ，，完成目的识别、一连跟踪和运动控制。。。。。
除了MiniCPM-Robot系列之外，，， ，，这次尚有一项容易被忽略的宣布——PhyAI。。。。。
它是一款面向Physical AI的开源推理框架，，， ，，由明体科技联合北京邮电大学、北京大学研发。。。。。
具身模子想从实验室跑到真实机械人上，，， ，，中心还要经由硬件适配、量化、算子优化和安排。。。。。
差别VLA、天下模子的结构差别很大。。。。。每宣布一个新模子，，， ，，再重新适配一次，，， ，，时间和工程本钱都不低。。。。。
PhyAI想做的，，， ，，就是把这段路缩短。。。。。
在RTX 5090上运行π0、π0.5和GR00T时，，， ，，PhyAI相较模子官方客栈划分实现约2.85倍、1.82倍和2.28倍加速。。。。。
适配MiniCPMRobot系列模子时，，， ，，PhyAI先通过CUDA Graph把推理帧率从10.12Hz提高到33.28Hz，，， ，，再加入为模子定制的融合算子，，， ，，在NVIDIA H20上进一步提高到36.77Hz。。。。。
前面是模子效果，，， ，，这里解决的是工程效率。。。。。
模子醒目活，，， ，，还得尽快跑上硬件，，， ，，跑得足够快，，， ，，才华真正进入更多机械人。。。。。
机械人需要又好又自制的大脑
具身智能行业历来不缺精彩Demo。。。。。真正难的是脱离展台之后，，， ，，机械人还能不可稳固事情。。。。。
清华大学人工智能学院助理教授、面壁智能多模态首席科学家姚远在访谈中也提到：
现阶段不少机械人Demo会围绕简单使命收罗大宗数据，，， ，，再举行针对性优化，，， ，，展示效果并不可完全代表基础模子的真实进度。。。。。面壁更看重模子的基础性、泛化性和通用性，，， ，，希望先把数据、Infra和工程链路打磨好，，， ，，让基础能力提升后自然笼罩更多场景。。。。。沿着大语言模子的生长履历，，， ，，具身智能最终也要走向“先通后专”，，， ，，先明确物理天下的基本知识，，， ，，再成为做饭、叠衣服或仓储作业等详细领域的专家。。。。。
展馆、园区和工厂里，，， ，，网络信号不会一直满格。。。。；；；；等嘶挂媪僖私、数据合规、使命失败和异；；；；指吹纫涣质滴侍。。。。。
榜单分数再高，，， ，，走到地下停车场便停摆，，， ，，落地空间依然有限。。。。。
这也是面壁把端侧能力放在主要位置的原因。。。。。
在与乐聚机械人的相助中，，， ，，面壁把端侧多模态大模子、夸父机械人本体和导航系统组合到了一起，，， ，，推出展厅导览Agent和园区巡检Agent。。。。。
展厅导览机械人在无网情形下，，， ，，也能基于外地知识库完成离线解说和自由问答。。。。。它可以明确展厅情形和人的指令，，， ，，妄想导览蹊径，，， ，，同时完成避障。。。。。
园区巡检机械人则可以识别车辆违停、路面异常和公共设施问题。。。。。敏感画面直接在外地处理，，， ，，数据留在客户侧。。。。。
与吉祥汽车的相助，，， ，，则进一步走进了生产仓储场景。。。。。
面壁和吉祥配合训练VLA模子，，， ，，再通过RoboHarness把VLM、VLA、机械人本体和导航系统接到一起，，， ，，让机械人执行仓储中的长程使命。。。。。
RoboHarness可以明确成物理天下里的Agent执行框架。。。。。
上层VLM认真妄想使命，，， ，，VLA和导航系统作为可以挪用的工具。。。。？？？？？ ？蚣芑够嶂卫沓な姑纳舷挛暮陀跋，，， ，，遇到失败时举行重试和恢复。。。。。
机械人每完成一次使命，，， ，，运行数据还会进入可治理的数据闭环，，， ，，继续资助模子进化。。。。。
到这里，，， ，，面壁此次在WAIC带来的具身智能蹊径已经较量清晰了。。。。。
MiniCPM-RobotManip认真操作，，， ，，让机械臂明确使命、记着历程，，， ，，再把事情做完。。。。。MiniCPM-RobotTrack认真跟踪导航，，， ，，让机械狗在重大情形里认准目的，，， ，，断网也能继续走。。。。。PhyAI认真把模子更快地安排到真实硬件上。。。。。
再往外，，， ，，乐聚和吉祥的相助最先把模子、本体、导航和详细营业流程接起来。。。。。
大语言模子时代，，， ，，人们习习用参数目判断能力。。。。。但机械人真正走进物理天下后，，， ，，参数只是其中一个数字。。。。。
它还得反映够快、记得住、断网能跑，，， ，，数据留得下来，，， ，，遇到意外能够恢复，，， ，，本钱也要控制在企业愿意恒久使用的规模内。。。。。
从这个角度看，，， ，，1.5B和0.9B的意义，，， ，，也就不止是“小”。。。。。它们更像是在回覆一个很现实的问题：
当AI真正长脱手脚，，， ，，除了智慧，，， ，，还得跑得动、用得起，，， ，，最后把活干完。。。。。
GitHub链接：https://github.com/OpenBMB/MiniCPM-Robot
HuggingFace链接：https://huggingface.co/openbmb/MiniCPM-RobotManiphttps://huggingface.co/openbmb/MiniCPM-RobotTrack
天舟九号货运飞船顺遂撤离空间站组合体