刷题、话术包装、资源置换。。。。。

定焦One（dingjiaoone）原创

作者 | 王璐

编辑 | 魏佳

具身智能赛道一连吸引资源眼光的同时，，，，
，，种种相关榜单也越来越多。。。。。当“第一”险些成为各家标配时，，，，
，，榜单尚有可信度吗？？？？

一个多月前，，，，
，，千寻智能就履历了尴尬时刻。。。。。6月初，，，，
，，其具身基座模子Spirit v1.6在RoboArena榜单上以1918分的效果凌驾了英伟达Cosmos3的1880分，，，，
，，一度位居“天下第一”；；；；紧接着，，，，
，，千寻宣布完成15亿元A+轮融资，，，，
，，三个月内累计完成四轮麋集融资，，，，
，，总额靠近50亿元，，，，
，，创下具身智能赛道的融资频率新高。。。。。

不过，，，，
，，业内对评测数据的质疑险些从越日就最先升温。。。。。有视察者指出，，，，
，，在310次评测纪录中，，，，
，，有72%的分数来自两个账号。。。。。更值得关注的是，，，，
，，RoboArena官方随后宣布声明，，，，
，，经回溯视察后移除了部分存疑的评测数据，，，，
，，并更新了榜单排名。。。。。Spirit v1.6也随之从榜单上除名。。。。。

但这一事务并未浇灭玩家们的热情，，，，
，，掀开近半年的行业新闻，，，，
，，星动纪元、原力灵机、极佳视界、智元、跨维、鹿明……险些每一家头部公司手里都攥着一个“第一”，，，，
，，且这些“第一”维度各不相同。。。。。

这一情形或许不难明确，，，，
，，具身智能现在手艺蹊径还没统一、真机乐成率大多卡在五六成，，，，
，，外界想判断一家公司究竟行不可，，，，
，，很洪流平上只能依赖榜单。。。。？？？？傻狈竦募扔懈咝！⒒挂灿忻教，，，，
，，各家标准各不相同、有的还牵涉商单和利益关系时，，，，
，，榜单自己还能不可当尺子用，，，，
，，就成了一个问题。。。。。

一位关注具身赛道的投资人坦言，，，，
，，榜单更偏市场行为，，，，
，，最多算投资决议的一个参考，，，，
，，他关于千寻这件事并不受惊。。。。。在他看来，，，，
，，真正在意名次的，，，，
，，往往不是以财务或手艺为出发点的机构，，，，
，，而是一些地方指导基金或偏国资的资金，，，，
，，一个“第一”，，，，
，，可能正是他们“写在报告里一个较量好的入口”。。。。。但也有投资人持差别看法，，，，
，，他们以为在手艺门槛高、信息差池称的早期赛道，，，，
，，榜单至少提供了一个横向较量的起点。。。。。

当“第一”的数目比认真做机械人的公司还多时，，，，
，，这些榜单究竟是在测手艺，，，，
，，照旧在测讲故事的能力？？？？哪些榜单还值得看？？？？

01.手艺蹊径还没统一，，，，
，，祖先手一个“第一”

我们先来盘一盘现在市面上的榜单，，，，
，，建设一个大致印象。。。。。据不完全统计，，，，
，，现在具身智能的活跃榜单高达20余个。。。。。按评测内容，，，，
，，这些榜单大致可以分成三类。。。。。

VLA操作综合榜，，，，
，，考察机械人能不可真干活，，，，
，，跑的是使命乐成率，，，，
，，代表榜单是RoboChallenge Table30、MolmoSpaces；；；；

天下模子榜，，，，
，，考的是脑内推演对差池，，，，
，，考察模子对物理天下的推演，，，，
，，不考机械人手脚利倒运索，，，，
，，代表是World Arena和WorldModelBench；；；；

专项基准榜，，，，
，，考察“极端情形下会不会露馅”，，，，
，，针对单点极端能力，，，，
，，好比双臂协同、仿真到真机迁徙，，，，
，，代表是RoboTwin 2.0、SimplerEnv、LIBERO 和 CALVIN。。。。。它的价值在于，，，，
，，在综合榜照不到的极端场景里，，，，
，，把模子的短板逼出来。。。。。

需要说明的是，，，，
，，这三类榜单各有着重、互不替换。。。。。真机榜测执行、天下模子榜测推演、专项榜测界线，，，，
，，没有任何一个能笼罩具身智能的所有能力。。。。。

有了这层坐标，，，，
，，近半年具身基座模子的战报就能对号入座。。。。。若是把近两个月具身基座模子的战报汇总，，，，
，，可以获得一份相当壮观的名单。。。。。

今年5月，，，，
，，星动纪元Era0宣称拿下RoboChallenge Table30第一；；；；智元GE-Sim 2.0是World Arena Track1第一；；；；跨维DSCFuncWorld是World Arena Track2第一。。。。。进入6月，，，，
，，千寻Spirit v1.6拿下RoboArena第一（后被除名），，，，
，，鹿明Prime R0登顶MolmoSpaces。。。。。险些每一家都是第一，，，，
，，并且都有详细榜单排名作背书。。。。。

而乱象，，，，
，，也是从种种榜单最先的。。。。。

最显着的是，，，，
，，榜首像流水席，，，，
，，“第一名”替换频仍。。。。。

RoboChallenge Table30的榜首，，，，
，，已往半年里至少换了四次：先是千寻Spirit v1.5以50.33%的乐成率刷新纪录，，，，
，，很快又被极佳视界GigaBrain-0.1、美国波士顿动力Atlas、星动纪元Era0先后逾越。。。。。

这个速率，，，，
，，比大语言模子的主流榜单更新快得多。。。。。2023年到2025年，，，，
，，GPT-4、Claude 3、Gemini 1.5在MMLU、GSM8K等榜单上的榜首位置，，，，
，，通常能守数月甚至一年，，，，
，，即即是2020年到2022年的高速迭代期，，，，
，，GPT-3、PaLM也是以月为换榜周期。。。。。“当下的具身智能，，，，
，，单个模子能霸榜一周就算禁止易。。。。。”一家头部具身智能公司的从业者米范体现。。。。。

其将主要原因归结为两点。。。。。一是物理天下的随机性，，，，
，，统一个模子在真机上跑两次，，，，
，，乐成率差三到五个百分点很正常，，，，
，，光照、物体位置、机械臂公差都会影响效果，，，，
，，而MMLU这类大语言模子榜单是牢靠问题、确定性判分，，，，
，，统一模子跑一百次分数险些稳固。。。。。二是测试使命的果真水平，，，，
，，像RoboChallenge的Table30，，，，
，，30项使命漫衍是果真的，，，，
，，各家可以照着使命专门采数据、微调模子再提交，，，，
，，榜首的“保质期”于是被压到了以周计。。。。。

更让人疑惑的，，，，
，，是统一个榜里会同时冒出好几个“第一”。。。。。

World Arena就是典范，，，，
，，智元GE-Sim 2.0、跨维DSCFuncWorld对外都称自己“登顶World Arena”，，，，
，，但事实是，，，，
，，这个榜单含有多条赛道，，，，
，，智元GE-Sim 2.0在Track1（感知与行动响应）以68.26分排第一，，，，
，，跨维DSCFuncWorld在Track2（数据引擎）排第一。。。。。“第一”分属差别个子榜，，，，
，，对外却被统一写成了统一句话。。。。。

对不熟悉赛道划分的读者来说，，，，
，，两家并列的“World Arena第一”的说法险些无法分辨，，，，
，，甚至会嫌疑是不是有人在说谎，，，，
，，但着实谁都没说错，，，，
，，只是不敷准确。。。。。

尚有一层更模糊的地带是，，，，
，，榜单性子混杂，，，，
，，“第一”的含金量却被默认成统一档，，，，
，，容易爆发误导。。。。。

一些公司的对外口径里，，，，
，，经；；；；嵬绷谐觥澳衬Ｗ釉赗oboChallenge排名第一”，，，，
，，和“在某具身智能媒体的测评中也位居第一”。。。。。前者是7×24小时真机跑出来的乐成率，，，，
，，后者可能只是编辑部闭门讨论、甚至商务相助敲定的名单，，，，
，，两者被并排放进一句话，，，，
，，含金量却被默认成了统一档。。。。。

其中最模糊的是“工业榜”，，，，
，，有些榜单顶着“工业”二字，，，，
，，但既不是真机锁死的硬榜，，，，
，，也不是学术机构背书的benchmark，，，，
，，而是咨询公司或媒体合办的打分榜。。。。。类似情形也在大语言模子圈泛起过，，，，
，，但随着学术榜、商业测评、媒体榜逐渐分层，，，，
，，“双料第一”才逐步被拆掉，，，，
，，而具身智能，，，，
，，眼下正处在谁人尚未分层的阶段。。。。。

三种征象叠加，，，，
，，效果就是榜单“第一”严重通货膨胀。。。。。并且这种通胀不但停留在营销层面，，，，
，，一个“第一”的头衔往往能换来关注度、资源和实打实的估值溢价。。。。。

02.一个“第一”是怎么造出来的？？？？

既然榜单能撬动真金白银，，，，
，，怎样把第一造出来，，，，
，，也形成了“潜规则”。。。。。业内人士先容，，，，
，，虽然千寻Spirit v1.6属于极端个例，，，，
，，但行业里造“第一”的征象并不少，，，，
，，手法大致有三种。。。。。

本钱最低、也最普遍的一种方式是话术包装，，，，
，，“单科第一”成了“总分第一”，，，，
，，焦点是省掉要害限制词。。。。。

好比现实拿的是“RoboTwin 2.0双臂协同VLA类Clean档第一”，，，，
，，对外就酿成“登顶RoboTwin 2.0”；；；；现实是“LIBERO-Plus场景泛化专项第一”，，，，
，，对外就成了“LIBERO-Plus榜首”。。。。。数据没造假、效果也是真的，，，，
，，但“第一”所指代的规模被人为放大了。。。。。

第二种方式是使用“刷题”等方式直接干预效果。。。。。

一条是“照着考题练”。。。。。榜单果真的使命漫衍、评分标准、情形参数，，，，
，，都可以拿来做定向后训练，，，，
，，在一些使命相对牢靠的榜上尤其显着，，，，
，，各家可以通过重复“刷题”、过拟合到特定场景换来高分。。。。。

米范体现，，，，
，，具身领域的部分榜单的测试使命是果真的，，，，
，，各家可以针对这些使命专门收罗数据、微调模子后再提交，，，，
，，这在具身圈被视为正常迭代，，，，
，，不算作弊，，，，
，，和LLM领域的“数据泄露、数据污染”有实质区别。。。。。

另一条是钻评测机制的误差。。。。。有些榜权威性很高，，，，
，，机制却有空子可钻。。。。。好比RoboArena接纳开放注册、漫衍式评测，，，，
，，本意是让更多人加入，，，，
，，却留下了三个空子。。。。。

图源 / RoboArena官网

一是评测者身份无门槛。。。。。任何人都能注册当裁判，，，，
，，短期内大宗新账号集中评测统一个模子，，，，
，，就能把它的Elo分数快速推高；；；；

二是匹配不强制全笼罩，，，，
，，随机分配敌手不即是必需跟同期在榜者都打一轮，，，，
，，评测者领使命时，，，，
，，A 是牢靠的，，，，
，，B 是从分数相近的模子里随机抽，，，，
，，样本不敷大时两个模子完全可能一次都排不上。。。。。好比Spiritv1.6早期与DreamZero交手，，，，
，，23场后息兵，，，，
，，与5月30日入榜的英伟达Cosmos3-Nano-Policy为零对战；；；；

三是集中刷评，，，，
，，用多个账号麋集评测自家模子，，，，
，，把负面纪录降低。。。。。好比Spirit v1.6的310次评测纪录中，，，，
，，72%的分数来自于ECUST和Robotics Lab两个账号，，，，
，，它们用224场评测刷出97%胜率，，，，
，，把Spirit v1.6推上第一，，，，
，，但英伟达用同样条件自测21次，，，，
，，胜率0%，，，，
，，两组数据摆在一起，，，，
，，直接让从业者爆发嫌疑。。。。。

事后，，，，
，，RoboArena补了规则：评测者必需是无利益关联的第三方，，，，
，，堵住自刷账号的入口，，，，
，，评测完成率低于20%的账号标为可疑，，，，
，，堵住选择性匹配。。。。。而处理后，，，，
，，千寻跌出榜单。。。。。

尚有一种方式最隐藏也最泛滥，，，，
，，是资源置换，，，，
，，把榜单直接做成生意。。。。。

不少媒体榜评选标准并不透明，，，，
，，有的爽性与被评工具保存商务相助，，，，
，，双方联合发一份“权威报告”，，，，
，，把媒体榜和学术benchmark并排包装。。。。。它不涉及手艺，，，，
，，也不涉及数据，，，，
，，只涉及预算和关系。。。。。不止一位从业者体现，，，，
，，刷榜、买榜等征象并不少见。。。。。

这三种手法往往叠加，，，，
，，先靠针对性训练或钻空子把分数刷上去，，，，
，，再用赛道偷换掩饰泉源，，，，
，，最后用话术对外撒播，，，，
，，须要时再买个媒体榜背书。。。。。层层包装之下，，，，
，，“第一”就成了。。。。。

这些手法在行业内部并不是神秘。。。。。真正的问题在于，，，，
，，看透它们需要一定的手艺功底，，，，
，，手艺越重大，，，，
，，外行越难分辨，，，，
，，故事就越容易讲。。。。。

03.去掉水分，，，，
，，还该信什么？？？？

不止一位具身智能从业者坦言，，，，
，，他们当下已经不太关注榜单排名了，，，，
，，由于榜单能刷、能买，，，，
，，即便一切合规，，，，
，，物理情形的重大性也让数据很难做到百分百准确。。。。。

更深一层的问题是，，，，
，，这个行业现在还没有一把“通用的尺子”。。。。。

具身智能从业者gashero用“炒鸡蛋”和“拌凉菜”打了一个例如：机械人A善于炒鸡蛋、乐成率90%，，，，
，，机械人B善于拌凉菜、乐成率85%，，，，
，，但不可就此说A比B强。。。。。炒鸡蛋磨练抓取和翻锅，，，，
，，拌凉菜磨练精准倒料和搅拌，，，，
，，两件事手艺差别、难度差别、评价标准也差别。。。。。当下的具身智能赛道还没有一个统一标准，，，，
，，能把“炒鸡蛋的能力”和“拌凉菜的能力”折算进统一个打分系统里。。。。。

不过，，，，
，，这不代表榜简单无是处。。。。。从业者普遍以为，，，，
，，榜单仍有其参考价值，，，，
，，要害在于知道什么值得看，，，，
，，以及看完之后还该看什么。。。。。

图源 / RoboChallenge官网

综合业内共识，，，，
，，真正可信的榜单，，，，
，，概略同时具备三个特征。。。。。

一是分项透明，，，，
，，不是只甩一个“第一”。。。。。

岂论综合榜照旧专项榜，，，，
，，可信的做法都是把细项逐一拆开。。。。。以RoboChallenge Table30为例，，，，
，，它测的是30项日常使命的综合乐成率，，，，
，，可信之处在于，，，，
，，不但告诉读者64.33%这个综合数字，，，，
，，还让读者看到30项里哪几项做得好、哪几项掉链子。。。。。只报总分、不报细项的榜，，，，
，，价值要大打折扣。。。。。

二是评测由第三方掌控，，，，
，，且有反刷题设计。。。。。

MolmoSpaces不允许微调，，，，
，，模子直接“裸考”；；；；LIBERO-Plus则加了光照突变、配景杂乱、相机角度转变等极端扰动，，，，
，，专门防止靠死记硬背拿分。。。。。它们的配合特点，，，，
，，是让刷题变难，，，，
，，让泛化成为真正的门槛。。。。。

三是看评测机制，，，，
，，而不是看更新频率。。。。。

更新慢的榜单纷歧定可靠，，，，
，，更新快的榜单也纷歧定可刷。。。。。有些榜更新慢，，，，
，，可能由于真机评测本钱极高，，，，
，，好比RoboChallenge一次完整评测周期可能要数周，，，，
，，30项使命每项跑10次，，，，
，，一共300次真机实验，，，，
，，7×24小时一连运行，，，，
，，这是物理天下的本钱约束。。。。。而有些榜更新快，，，，
，，则是机制设计。。。。。好比RoboArena接纳了Elo评分系统举行动态排名，，，，
，，天天都有新对战数据进来，，，，
，，排名自然天天更新。。。。。这种快自己不是问题，，，，
，，它的可信度取决于机制是否严密、误差是否被补上。。。。。

可是，，，，
，，既然圈内都知道榜单有水分，，，，
，，为什么各人还在拼命刷？？？？

谜底在于行业当下的阶段。。。。。

眼下这场“第一”的争取战，，，，
，，实质上是资源焦虑的产品。。。。。今年是具身基座模子麋集迭代的一年，，，，
，，早期赛道出货量、营收、订单量都不稳固，，，，
，，只能拿榜单顶上。。。。。融资导向的阶段没变，，，，
，，刷榜这件事就不会停。。。。。

当行业进入下一阶段，，，，
，，评判的标尺会自然切换，，，，
，，例如每年交付几多台、有哪些牢靠客户、是否能盈利。。。。。到那时间，，，，
，，“第一”的通货膨胀会自然消逝，，，，
，，榜单也会退回它本该在的位置。。。。。

或许，，，，
，，那些不忙着刷榜、只顾着把机械人送进产线的公司，，，，
，，才是行业真正的谜底。。。。。

*题图由「定焦One」拍摄。。。。。应受访者要求，，，，
，，文中米范为假名。。。。。

孙添益体现，，，，
，，2022年1月，，，，
，，《中华人民共和国家庭教育增进法》正式施行。。。。。作为一套家庭教育丛书，，，，
，，《人生四养》的出书刊行恰逢其时，，，，
，，其构建人生生长的心性图谱，，，，
，，适合家庭教育与自我修心。。。。。中华文化指引人们通过修心养性，，，，
，，实现明心见性，，，，
，，而以《人生四养》为焦点的心灵生长式教育，，，，
，，与中华文化的传道脉络相一致，，，，
，，其目的是把孩子作育成为“周全生长的人”。。。。。(完)