作者｜Ado微信｜ Ado__rs
7月2日，，，，，，字节 Seed 宣布了一个 Agent评测项目 EdgeBench。。。。 ？？？？？？雌鹄从质且桓 benchmark，，，，，，但它问了一个其他榜单不问的问题。。。。 。
给模子一道题，，，，，，做对了得分，，，，，，做错了不得分。。。。 。这是绝大大都 benchmark 现在的事情方式，，，，，，越来越像高考。。。。 。
但真实天下里，，，，，，人不是这么用 AI 的。。。。 。
你不会给 Claude Code出一道题然后等它交卷。。。。 。你会给它一个项目、一个代码库、一批数据，，，，，，然后它在那里折腾好几个小时，，，，，，探索、犯错、读反馈、修正、再试。。。。 。你更体贴的是它浸泡在现实使命情形里一段时间之后，，，，，，能不可比刚进来时更强。。。。 。
但目今的 benchmark 险些测不出这些工具。。。。 。它们丈量的是静态能力，，，，，，模子被冻结的那一刻就知道的工具。。。。 。至于从反馈里一连前进的能力、在长周期里积累履历的能力、在生疏情形里探索出偏向的能力，，，，，，全在盲区里。。。。 。
EdgeBench 的切口就是把盲区里的工具放进评测，，，，，，解答一个问题：把Agent扔进一个生疏情形，，，，，，12小时后，，，，，，你能变强几多 ？？？？？？
134个使命横跨六大领域：科学/ML、软件工程、组合优化、专业知识事情、形式化数学、交互式游戏
为此，，，，，，Seed 团队搭了一个叫 EdgeBench 的实验平台。。。。 。这是一个情形学习视察舱。。。。 。134 个使命，，，，，，每个使命设计合约让 Agent 至少跑 12 小时。。。。 。
它的设计围绕四个焦点维度睁开：
5 个前沿模子（Claude Opus 4.8、GPT-5.5、GPT-5.4、GLM-5.1、DeepSeek-V4-Pro）在上面总共跑了约 38,000 小时。。。。 。
经费在燃烧。。。。 。但最终的效果价值重大：
他们找到了 Agent 的 Scaling law。。。。 。
四个发明：公式、路径、实质、速率
1 ）agent学习有一条被写死的数学公式
134 个使命平均：5 个模子的学习曲线被 log-sigmoid 函数高精度拟合
这是全篇论文的“灵魂发明”。。。。 。
此前我们大多默认情形学习是一件杂乱的事，，，，，，差别使命、差别模子、差别战略，，，，，，纪律自然也差别。。。。 。但他们的数据给出了意料之外的谜底：
134 个使命的平均学习曲线，，，，，，被统一个函数以 R? = 0.998 的精度准确拟合。。。。 。
R? = 0.998 是什么意思 ？？？？？？ 在人机交互和重大系统研究里，，，，，，你能看到 R? = 0.3 就已经敢写论文了。。。。 。0.998 实质上不是一个"拟合问题"，，，，，，这是一个发明。。。。 。若是我知道一个 Agent 前两小时的前进速率，，，，，，在使命荟萃的平均意义上，，，，，，我就能较量准确地展望它 12 小时后的水平。。。。 。
曲线展示被测模子的学习体感大致都是：一最先慢、找到感受后爆发、靠近天花板时又放缓。。。。 。这和任何有过深度学习或深度事情履历的人的体验完全吻合。。。。 。
并且，，，，，，这个纪律跨标准建设：无论是 12 小时、28 小时照旧 72 小时的实验窗口，，，，，，拟合精度所有坚持在 R? ≥ 0.993。。。。 ？？？？？？缌煊蛞步ㄉ瑁毫笫姑易甯髯阅夂，，，，，，R? 在 0.972 到 0.998 之间。。。。 。
2）没有“标准”的生长路径
这个发明更有现实意义。。。。 。
把 134 个使命的单使命学习曲线拉开来看，，，，，，你会发明一件反直觉的事：虽然平均曲线是漂亮的 log-sigmoid，，，，，，但单条曲线之间差别极大。。。。 。
- 有的使命：Agent 一上来就稳步提升，，，，，，曲线清洁
- 有的使命：前几个小时纹丝不动，，，，，，突然在某个时刻分数跳升
- 有的使命：先涨后跌再涨
- 有的使命：一最先快速上升，，，，，，然后进入漫长的平台期
差别的学习战略和试错范式，，，，，，在统一个评分框架下会爆发截然差别的生长路径。。。。 。
Agent不但是“学得快”和“学得慢”的区别。。。。 。它们在怎么学上有实质差别，，，，，，若是是只看最终分数而不看历程的评测方式，，，，，，就完全抹平了这个维度。。。。 。论文的诠释是，，，，，，使命是一张能力争，，，，，，学习是解锁前沿向外扩张，，，，，，在对数时间上走一条logistic曲线。。。。 。单使命节点少以是锯齿，，，，，，使命够多平均后S形浮现。。。。 。论文问题里谁人scaling law，，，，，，指的就是这条曲线。。。。 。
3）“重新明确问题”创立真前进
有履历 vs 无履历比照：一连运行积累履历比 6 次自力重启多出 6.9 分的显著优势
统一个模子（Opus 4.8），，，，，，同样的 12 小时预算：
- 方案 A：让它一连跑 12 小时，，，，，，所有中心产品、过失纪录、已验证假设所有保存
- 方案 B：拆成 6 次自力的 2 小时跑，，，，，，每次清空所有状态，，，，，，只保存最佳效果
12 小时后，，，，，，方案 A 例如案 B 多了 6.9 分（百分制）。。。。 。并且两条曲线从一最先就分道扬镳。。。。 。
这说明前进不是靠运气多试出来的，，，，，，而是靠履历积累出来的。。。。 。
值得关注的是实验中的引力波重修案例研究。。。。 。GPT-5.5 在这个使命上跑了 12 小时，，，，，，提交了 224 次，，，，，，但真正推动最佳效果前进的只有 27 次提交。。。。 。
每一次突破都不是由于"多跑了一个实验"，，，，，，而是由于 Agent 对问题自己的明确爆发了质变。。。。 。它把模糊的目的逐步拆解为可搜索的子问题，，，，，，从反馈中重新界说了"什么是更好的偏向"。。。。 。
4）学习速率自己正在被“学习”
这个发明可能是跟工业关系最细密的一个。。。。 。
实验挑了一组所有模子“起跑线相近”的使命（首次实验都在 6.87 分左右），，，，，，然后丈量每个模子在 2 小时交互后能前进几多。。。。 。
效果：从 2025 年 9 月的GPT-5-Codex到 2026 年 4 月的GPT-5.5，，，，，，221 天内学习效率提升了 约 8 倍，，，，，，约每 3 个月翻一番。。。。 。
后期模子的有用提交率在上升，，，，，，但提交次数纷歧定更多。。。。 ；；；痪浠八，，，，，，不是更勤快，，，，，，而是每次下手更有用。。。。 。这和工程实践的直觉一致，，，，，，高级工程师纷歧定比初级工程师写更多行代码，，，，，，但更少做无用功。。。。 。
AI 的能力越来越像“知识”，，，，，，但"学会新工具"的能力自己，，，，，，也在以惊人速率进化，，，，，，并且这个速率比静态知识增添更有决议性。。。。 。
评测情形自己，，，，，，和EdgeBench同样有价值
EdgeBench 看起来像一个模子排行榜，，，，，，但它测到的不是裸模子能力，，，，，，而是 Agent 系统能力。。。。 。
差别模子跑在差别的执行框架上。。。。 。Claude Opus 4.8 使用 Claude Code 加 1M 上下文窗口，，，，，，GPT-5.5 使用 Codex 加 256K 紧凑窗口。。。。 。最后的分数，，，，，，既包括模子自己的能力，，，，，，也包括上下文治理、工具挪用、反馈处理和执行框架的影响。。。。 。
这反而靠近真实安排。。。。 。现实中的 Agent 历来不是一个伶仃模子，，，，，，而是模子、工具、事情流和反馈系统的组合。。。。 。EdgeBench 真正权衡的，，，，，，是这个组合系统能不可在长程使命里一连推进。。。。 。
但这也意味着，，，，，，榜单不可被粗暴明确成基础模子排名。。。。 。它更像是在较量差别 Agent 系统的恒久事情能力。。。。 。
把EdgeBench和主流 benchmark 放在一起看，，，，，，差别会更清晰：
古板 benchmark 是“静态快照”，，，，，，EdgeBench 是“动态轨迹”。。。。 。它们不是在统一个维度上竞争。。。。 。
但这个新维度不是没有价钱的，，，，，，背后是重大的资源消耗。。。。 。
和EdgeBench同样让我印象深刻的工具，，，，，，是把这个实验情形搭起来意味着什么。。。。 。
先说一组容易被忽略的账。。。。 。134 个使命，，，，，，每个使命平均消耗 57.2 小时的人类专家时间，，，，，，最长的单个使命投了 320 小时。。。。 。纵然按最低标准估，，，，，，光使命构建这一项就投入了 7,500 小时以上的人力 ；；；然后是运行本钱，，，，，，5 个模子，，，，，，每个模子在每个使命上跑 3 次，，，，，，加上延伸至72小时以上的运行，，，，，，每次 12 小时，，，，，，总计约 38,000 小时的 Agent 交互时长，，，，，，对应的是天文数字的 API 挪用和算力消耗。。。。 。
这个本钱门槛自己就意味着，，，，，，长程 Agent 评测不是随便一个团队就能入场的偏向。。。。 。
再看工程细节。。。。 。论文的附录纪录了在开发历程中被 Agent 攻破的种种误差：有 Agent 在流体力学使命中通过 400+ 次提交反推出了隐藏测试数据的谜底 ；；；有 Agent 发明反作弊检核对 baseline/ 目录宽免，，，，，，于是把代码塞进那条“免检通道”里交卷。。。。 。这些案例袒露了一个深层的矛盾：想要测出“学习能力”，，，，，，就必需给 Agent 足够的反。。。。 ；；；但反馈给得越多，，，，，，就越可能被 Agent 当成预言机来使用。。。。 。
EdgeBench 的解决方案是物理隔离：事情容器和裁判容器脱离，，，，，，裁判打完分就销毁，，，，，，防止Agent“作弊”：
EdgeBench 的双环反馈机制：左边是 Agent 可以自由探索的事情容器，，，，，，右边是隐藏裁判，，，，，，提交后才返回权威评分
事情容器：Agent 在内里随便折腾，，，，，，编译器、调试器、日志、文档全都有，，，，，，但没有“隐藏谜底”裁判容器：Agent 提交工件后，，，，，，裁判用隐藏测试数据和私有评分标准来打分，，，，，，打完容器连忙销毁
这个设计很考究，，，，，，实质上是在模拟“科场密封”和“双盲评审”的机制。。。。 。把这个从工程层面做对，，，，，，难度比设计问题自己大得多。。。。 。这套双容器框架有自己的名字，，，，，，SForge。。。。 。字节把它连同134个使命中的51个一起开源了，，，，，，构建情形的门槛还留在原地，，，，，，使用它的入口已经翻开。。。。 。
在做 benchmark 的人看到这，，，，，，或许都会有一种“原来你们也被Agent坑过”的共识。。。。 。
这也是为什么 EdgeBench 让我感受它不是“一个新的 benchmark ”，，，，，，更多是一种新的软件评测系统。。。。 。
它实质上是一个可视察的 Agent 运行情形。。。。 。你把它当成“Agent 的 profiler”，，，，，，可能比“一个新 benchmark”更准确。。。。 。
把这个视角拉回到行业：目今大部分 Agent 评测还停留在“在某个测试集上一次性跑分”的阶段。。。。 。EdgeBench 花了这么大价钱搭一个长程实验装置，，，，，，它想回覆的问题着实很简朴，，，，，，但很主要。。。。 。
字节自己的“AI下半场”
EdgeBench是一个让人重新想问题的理由。。。。 。
长程使命和短 benchmark 之间的差别，，，，，，不是时间拉长了，，，，，，而是袒露出来的问题完全差别。。。。 。一个只跑 10 分钟的 benchmark，，，，，，Agent的行为是可以预期的：读题、思索、输出、竣事。。。。 。不会出什么幺蛾子。。。。 。但当你把时间拉到 12 小时，，，，，，贫困就多了。。。。 。Agent 会在偏向准确的条件下逐步跑偏，，，，，，修睦一个 ？？？？？？榈耐备惚懒硪桓 ；；；会看不懂用户的反馈，，，，，，把一个过失信号误读成另一个偏向，，，，，，然后在过失的路上一连投入几小时。。。。 。
退一步想“是不是偏向错了”，，，，，，目今的 Agent在这方面尚有欠缺。。。。 。这些问题在短 benchmark 里很难被视察到，，，，，，但在真真相形中，，，，，，件件致命。。。。 。
因此，，，，，，EdgeBench 的价值就是把 Agent 评测的标准从“会不会做”推进到了“会不会一连做、学习、再做”。。。。 。这两个问题之间，，，，，，隔着一次评测范式的代际跨越。。。。 。
对评测的范式的重新思索，，，，，，总让人想到现在在腾讯认真模子的姚顺雨曾提出的“AI下半场”的判断，，，，，，某种水平上，，，，，，EdgeBench 就是字节自己版本的“AI下半场”。。。。 。
EdgeBench 把“Agent在情形里越跑越强”这个直觉酿成了可丈量的学习曲线。。。。 。逻辑是同构的，，，，，，只是这次标准不再是参数和算力，，，，，，而是时间和反馈。。。。 。
未来 AI 公司争取的焦点资源，，，，，，不但是数据和算力，，，，，，尚有能让模子重复试错、一连进化的情形。。。。 。
点个“爱心”，，，，，，再走 吧
