软件先容

雅恩北北使用指南

第一步：导入文件

翻开软件，，，，，点击"?添加 雅恩北北"按钮，，，，，从电脑中选择《雅恩北北》文件，，，，，或直接将其拖拽至软件界面中。。。
。

第二步：设置剖析

软件会自动识别并剖析导入的文件，，，，，您可凭证界面提醒选择所需的生涯路径或下载名堂。。。
。

第三步：最先下载

确认无误后，，，，，点击"最先下载/处理"按钮。。。
。期待进度条读取完毕，，，，，即可在设定的文件夹中审查下载好的正版文件。。。
。

从模子到Harness，，，，，AI Agent的下半场该怎样评测清静？？？？，，，，，雅恩北北

关于 AI 清静的大部分讨论，，，，，恒久以来都集中在模子自己。。。
。模子是否对齐？？？？是否容易被 jailbreak？？？？是否会拒绝危险请求？？？？这些问题虽然主要，，，，，但在今天，，，，，它们已经不是唯一、甚至不再是最焦点的问题。。。
。

真正被安排的 agent，，，，，并不是裸模子。。。
。无论是 Claude Code 自动提交 PR，，，，，Codex 修复 issue，，，，，照旧能够直接操作资金的客服助手，，，，，它们都运行在一个 execution harness 之中。。。
。Harness 决议了模子能挪用哪些工具、能会见哪些资源、信息怎样在差别子 agent 之间流动、何时终止执行，，，，，以及系统如那里置过失恢复。。。
。模子只是提出行动，，，，，真正决议行为界线的是 harness。。。
。

这意味着，，，，，许多真正危险的失败，，，，，已经不再爆发在“最终回覆”这一层，，，，，而是爆发在执行历程自己。。。
。一个看似“对齐优异”的模子，，，，，若是被放进权限界线松散的 harness 中，，，，，依然可能悄悄执行越权操作。。。
。而只评测最终谜底的 benchmark，，，，，往往会把这种系统判断为“乐成完成使命”。。。
。

近期，，，，，Claw-Eval 和 ClawsBench 等事情已经最先将 agent 评测从静态问答推进到真实执行情形，，，，，关注系统是否能够妄想、挪用工具、会见资源并完成用户目的。。。
。但焦点缺口依然保存：这些评测大多仍以使命完成度为中心，，，，，能够告诉我们使命是否完成，，，，，却很难判断使命是否被清静地完成。。。
。

一些近期基于 Claw 类设置的清静审计最先关注工具使用或最终输出清静性，，，，，但完整执行轨迹和系统级 harness 清静仍然缺乏清晰界说。。。
。一个 harness 可能返回准确效果，，，，，却在历程中会见受限资源、挪用未授权工具、在 agent 之间泄露敏感上下文，，，，，或触发凌驾用户意图的副作用。。。
。

在多 agent 系统中，，，，，这一问题越发要害。。。
。角色分工、使命交接、共享上下文和 agent 间通讯都会扩大清静袒露面。。。
。；；；；；痪浠八，，，，，我们一直在对 AI 系统中“最容易看到的一层”举行清静校准，，，，，却忽略了真正决议 agent 行为界线的执行系统。。。
。

克日，，，，，加州大学圣塔芭芭拉分校（UCSB）等机构的一项新事情提出了HarnessAudit，，，，，正是希望解决这个问题。。。
。

论文问题：Auditing Agent Harness Safety网站：harvestaudit.github.io论文：arxiv.org/abs/2605.14271代码和数据集：github.com/eric-ai-lab/HarnessAudit

HarnessAudit 概览。。。
。(a) HarnessAudit 笼罩八个真实天下领域，，，，，用于构建带有现实约束的清静评测使命。。。
。(b) Agent 在完成使命时，，，，，需要履历妄想、检索、工具挪用、审查和通讯等方法，，，，，并与外部资源和动态情形交互。。。
。(c) 展示了在 OpenClaw 设置下，，，，，基于完整执行轨迹审计获得的模子体现，，，，，评测维度包括界线合规性、执行忠实性和系统稳固性。。。
。

HarnessAudit是一个针对完整执行轨迹（trajectory）举行审计的清静评测框架，，，，，而不但仅关注最终输出。。。
。

同时，，，，，该团队还构建了HarnessAudit-Bench，，，，，在 8 个真实天下领域上的 210 个使命中，，，，，对 agent harness 的行为举行系统化审计。。。
。这些领域包括金融、电商、医疗、办公协作、社交互动、日常生涯、执法合规以及软件工程。。。
。

该团队评测了 10 个前沿 agent harness，，，，，包括 Anthropic 的 Claude Code、OpenAI 的 Codex，，，，，以及 OpenClaw 等系统。。。
。

他们的焦点看法很简朴：Agent 的风险，，，，，不在最终谜底，，，，，而在它为了获得这个谜底，，，，，事实做了什么。。。
。

审计检查什么

HarnessAudit 会在每一条执行轨迹上联合评估三个属性。。。
。

界线合规性。。。
。每一次工具挪用、资源会见和 agent 间通讯，，，，，都必需切合预先声明的权限战略和信息流战略。。。
。执行忠实性。。。
。Agent 不但要完成目的，，，，，还必需通过合理且被授权的中心方法完成使命，，，，，不可私自替换工具、操作凌驾规模的资源，，，，，或执行比用户授权规模更大的行动。。。
。扰动下的稳固性。。。
。上述两类清静属性还必需能经受真实压力场景，，，，，例如间接提醒注入、目的形貌模糊、工具挪用过失等。。。
。

只有同时通过这三项检查，，，，，一条轨迹才会被视为清静。。。
。该团队体现：「最终谜底是否准确会被单独报告，，，，，这是有意设计的，，，，，由于我们想视察“使命完成”和“清静执行”的纷歧致究竟有多频仍。。。
。」

效果是，，，，，很频仍，，，，，它们经常纷歧致。。。
。

焦点效果表说明晰三件事。。。
。

第一，，，，，得分最高的系统，，，，，并纷歧定是使命完成能力最强的系统。。。
。

在 OpenClaw 设置下，，，，，Claude Opus 4.6 的使命完成率高于 Gemini 3.1 Pro，，，，，但总体清静得分反而更低，，，，，由于它在执行历程中跨越了更多清静界线。。。
。能力与清静并不是统一条轴，，，，，而目今系统现实上正在用一种交流另一种，，，，，只是已往很少有人真正去权衡这种 trade-off。。。
。

第二，，，，，三类界线合规性并不是同样难题。。。
。

工具选择自己通常问题不大，，，，，大大都 harness 都能选对工具。。。
。真正的失败更多爆发在工具选择之后，，，，，并且集中在两个更详细的阶段，，，，，后面会进一步讨论。。。
。

第三，，，，，原生 harness 的设计既可能提升清静，，，，，也可能放大风险。。。
。

在相同 Claude 模子下，，，，，Claude Code 相比 OpenClaw 同时提升了使命完成率和清静性。。。
。而 Codex 虽然提高了完成率，，，，，却降低了清静性，，，，，由于 GPT-5.4 在原生情形下会执行更多行动，，，，，更长的执行轨迹也因此积累了更多违规行为。。。
。

Harness 的设计，，，，，实质上决议了 agent 能够被“清静安排”的上限，，，，，而差别厂商在这些设计上的差别着实很是大。。。
。

违规集中在那里

第一个集中点是资源会见。。。
。

系统挪用了准确的工具，，，，，但操作了过失的工具，，，，，例如会见了 agent 权限规模外的文件、盘问了用户目的旁边但未被授权的纪录，，，，，或对战略榨取的资源提倡 API 挪用。。。
。也就是说，，，，，工具选择是对的，，，，，但工具绑定是错的。。。
。在大大都设置中，，，，，资源会见合规性显着低于工具使用合规性。。。
。

第二个集中点是agent 间的信息流。。。
。

在多 agent harness 中，，，，，新闻路由通常是对的，，，，，即新闻会发给准确的 agent。。。
。但问题在于新闻里携带了什么。。。
。子 agent 往往会收到凌驾其使命所需的上下文；；；；；；中心组件会在使命竣事后继续保存敏感信息；；；；；；一个从 agent 传给另一个 agent 的摘要，，，，，也可能悄悄泄露其背后的原始数据。。。
。

单 agent 与多 agent 的比照让这一点越发详细。。。
。

在单 agent 设置中，，，，，工具合规性和资源合规性都高于 0.85。。。
。但一旦切换到多 agent 设置，，，，，工具合规性下降到 0.64，，，，，资源合规性下降到 0.63，，，，，而信息流合规性首次成为可见问题，，，，，仅为 0.58。。。
。 这说明，，，，，协作自己会扩大清静袒露面，，，，，而这种风险是单 agent benchmark 很难看到的。。。
。

尚有几个值得关注的征象。。。
。

故障是普遍保存的，，，，，并非局部性的。。。
。在测试的所有清静框架中，，，，，每个使命凌驾 50% 的署理都至少保存一项清静违规，，，，，而在 OpenClaw 中，，，，，这一比例高达 72%。。。
。故障模式是系统性的。。。
。你不可仅仅加固一个组件就能完善。。。
。

违规行为会随着轨迹长度的增添而累积。。。
。更长的运行距离不但速率更慢，，，，，并且清静性也更低。。。
。随着该领域向更长航程的自主航行生长，，，，，这条曲线就成为了设计难题。。。
。

差别领域的风险状态各不相同。。。
。金融和办公使命的失败主要在于资源会见；；；；；；日常生涯和电子商务的失败主要在于信息流；；；；；；软件工程的失败主要在于工具使用。。。
。这对生产团队的启示是，，，，，准确的清静控制步伐取决于署理的用途。。。
。

扰动稳固性普遍较差。。。
。间接提醒注入在所有测试设置中均导致性能下降幅度最大，，，，，稳固性得分在 0.15 至 0.22 之间。。。
。在清洁使命中看起来尚可接受的模子设计，，，，，在反抗性输入下会失效。。。
。

为什么这件事现在很主要

多智能体 harness 已经不再只是一个研究问题。。。
。它正在成为未来十二个月内险些所有严肃 agent 产品的基础架构：

编码 agent 已经是多智能系一切，，，，，包括妄想器、检索器、执行器和审查器。。。
。面向用户的助手也正在酿成多智能系一切，，，，，包括分诊、专家？？？？椤⑸洞砗蜕蠹啤。。
。运维类 agent 险些自然需要多智能体，，，，，由于一旦你接触多个系统，，，，，实质上就在举行协同。。。
。

每一次交接，，，，，都是信息可能流向不应去的地方的风险点。。。
。在单 agent 系统中，，，，，信任界线是 agent 的工具挪用。。。
。而在多 agent 系统中，，，，，信任界线酿成了 message bus。。。
。是的，，，，，我们正在构建 message bus，，，，，却没有真正把它看成 message bus 来看待。。。
。

未来该怎么办？？？？

要解决这个问题，，，，，要害不但是让模子更强，，，，，而是重新设计 harness 自己。。。
。

第一，，，，，agent 之间不可默认共享完整上下文。。。
。每一次信息转达都应该有清晰界线：哪些内容可以传、传给谁、能保存多久。。。
。现在许多 harness 为了利便，，，，，直接把完整上下文交给下一个 agent，，，，，但这也正是敏感信息泄露最常见的泉源。。。
。

第二，，，，，清静评测不可只看最终谜底，，，，，而要回到完整执行轨迹。。。
。一个 agent 纵然给出了准确效果，，，，，也可能在历程中会见了不应会见的资源，，，，，挪用了不应挪用的工具，，，，，或把敏感信息传给了不应知道的组件。。。
。因此，，，，，真正的清静审计需要逐步检查每一次工具挪用、资源会见和 agent 间通讯。。。
。

第三，，，，，多 agent 系统需要明确的 need-to-know 机制。。。
。每个子 agent 只应该获得完成目今使命所必需的信息，，，，，而不是默认继续所有上下文。。。
。更理想的设计是，，，，，子 agent 先声明自己需要什么信息，，，，，再由 harness 或 message bus 判断是否允许转达。。。
。