鸟克A片-鸟克A片2026最新V.8.99.27-2265安卓网

宣布于2026-07-11 00:59:12来自安卓汉化版 v4.551 ·

关注

提醒词压缩竟成大模子新误差？？？？？？港科大提出黑盒攻击框架COMA

这项研究效果已被软件工程领域顶会 ASE 2026 吸收。。。。。论文第一作者为港科大 CSE 博士生刘泽森，，，，，通讯作者为佘东冬教授。。。。。

在大语言模子 Agent 走向真实安排后，，，，，一个越来越常见的问题是：上下文太长了。。。。。

现在的 AI Agent 动辄需要处理超长上下文，，，，，既要看系统提醒词、工具说明，，，，，又要翻阅历史对话和检索文档。。。。。为了省钱、省算力并降低延迟，，，，，许多开发者会给系统加上 “提醒词压缩”（Prompt Compression）？？？？？？，，，，，把冗长的上下文浓缩后再喂给大模子。。。。。

但这招真的清静吗？？？？？？

香港科技大学的一项最新研究给出了否认谜底。。。。。他们发明，，，，，这个原本用来 “提效” 的组件，，，，，竟然会悄悄重写系统的清静界线，，，，，成为大模子应用中的全新攻击面。。。。。

论文链接：https://arxiv.org/pdf/2510.22963代码链接：https://github.com/zsLiu2003/Comattack

研究配景：压缩不但是省 token，，，，，而是在重写清静界线

古板针对 LLM Agent 的攻击，，，，，如 prompt injection、jailbreak 或 RAG poisoning，，，，，通常默认一个条件：攻击内容必需进入后端 LLM 的有用上下文，，，，，并被模子看成恶意指令执行。。。。。

但在 prompt-compressed pipeline 中，，，，，情形爆发了转变。。。。。

后端 LLM 看到的并不是原始 prompt，，，，，而是经由压缩器处理后的 compressed prompt。。。。；；；；谎灾，，，，，压缩器决议哪些系统规则、使命证据和上下文信息会被保存，，，，，哪些会在预算限制下被扬弃。。。。。

这带来一个新的清静问题：攻击者纷歧定需要让恶意指令穿过压缩器，，，，，也纷歧定需要让攻击 payload 在压缩后仍然可读。。。。。攻击者只需要在压缩前扰动非可信输入，，，，，例如用户请求或外部文档，，，，，就可能改变压缩器的保存决议，，，，，使要害清静规则或使命证据在后端推理前被删除。。。。。

一个直观的例子是：系统提醒词中包括「must never use shell」这样的清静约束。。。。。攻击者无法直接修改系统提醒词，，，，，但可以在用户请求后添加一段短扰动。。。。。压缩后，，，，，清静约束中的要害否认词可能被丧失，，，，，后端 LLM 最终看到的是一个被削弱的规则，，，，，从而执行本应拒绝的请求。。。。。

焦点看法：Adversarial Information Loss

为了量化这种风险，，，，，研究团队提出了 “反抗性信息损失”（AIL）的看法。。。。。简朴来说，，，，，就是看攻击者能不可通详尽小的扰动，，，，，居心放大压缩历程中的信息流失，，，，，把不应丢的要害内容挤掉。。。。。它不是简朴地问压缩质量好欠好，，，，，而是问：在攻击者保存时，，，，，压缩后的 prompt 是否会诱导后端 Agent 做出与正常压缩显着差别、且清静相关的过失行为。。。。。

手艺焦点：COMA 怎样攻击黑盒压缩 Agent？？？？？？

在真实系统中，，，，，攻击者通常不知道压缩器参数、压缩预算，，，，，也看不到真实 compressed prompt。。。。。因此，，，，，论文提出了一个 transfer-based black-box attack 框架：COMA。。。。。

COMA 的焦点头脑是两阶段优化。。。。。

第一阶段，，，，，COMA 在压缩空间中寻找一个会诱导后端过失行为的目的 compressed prompt。。。。。例如，，，，，它会定位哪些要害 token 或要害证据一旦被删除，，，，，就会导致工具选择过失、问答过失，，，，，或系统清静规则失效。。。。。

第二阶段，，，，，COMA 在压缩前输入中搜索一个扰动，，，，，使得经由 surrogate compressor 压缩后，，，，，输出尽可能靠近第一阶段找到的目的压缩效果。。。。。最后，，，，，候选扰动会被放到真实黑盒 Agent pipeline 中举行端到端验证。。。。。

实验效果：六种压缩器、三类使命下均有用

研究团队在三类使命上评估了 COMA：Agent Tool Selection、Question Answering 和 System Prompt Corruption，，，，，笼罩六种常见 prompt compressors，，，，，包括 extractive 与 abstractive 两类压缩方式。。。。。

实验效果显示，，，，，COMA 在所有 18 个设置中都取得最高攻击乐成率，，，，，平均 ASR 抵达 0.71，，，，，而最强的非压缩感知攻击 baseline 仅为 0.21。。。。。与此同时，，，，，无攻击设置和移除压缩器后的 COMA 设置都靠近 0.01，，，，，说明该攻击并不是通俗恶意提醒词导致的，，，，，而是确实来自 prompt compression 引入的攻击面。。。。。

COMA 也体现出较强泛化性。。。。。在差别压缩预算下，，，，，纵然正常压缩险些不会造成过失，，，，，攻击仍能显著放大失败率。。。。。在差别后端 LLM 家族和模子规模上，，，，，COMA 的平均 ASR 仍抵达 0.69，，，，，说明后端模子替换并不可基础解决问题：一旦要害上下文已经在压缩阶段被删除，，，，，后端模子往往无法恢复。。。。。

论文进一步剖析了攻击机制。。。。。效果显示，，，，，COMA 的 Critical Token Removal Rate 与 ASR 高度一致：它并不是简朴添加噪声，，，，，而是在可控地指导压缩器删除少量行为要害内容。。。。。关于系统提醒词破损使命，，，，，一旦清静规则中的要害 token 被移除，，，，，拒绝条件就会直接消逝。。。。。

真实案例：从 VSCode Cline 到 LangChain Agent

为了验证风险是否能迁徙到真实 Agent pipeline，，，，，论文构建了两个案例。。。。。

第一个案例来自 VSCode Cline。。。。。正常情形下，，，，，Agent 会拒绝读取 workspace 外部的敏感文件；；；；但加入 COMA 扰动后，，，，，压缩器削弱了系统提醒词中的要害约束，，，，，后端模子最终触发了对敏感文件的读取行为。。。。。

第二个案例来自 LangChain + Ollama 的 ReAct Agent。。。。。正常情形下，，，，，Agent 会为代码特征抽取使命选择准确工具；；；；攻击后，，，，，压缩后的工具形貌爆发偏移，，，，，Agent 被诱导选择过失工具。。。。。

这两个案例说明，，，，，prompt compression 的风险并不局限于离线 benchmark，，，，，而可能影响真实软件工程 Agent 和工具挪用 Agent。。。。。

怎样防御：隔离是要害

面临这种新型攻击，，，，，现有的防御手段（如基于疑心度的检测）往往会大打折扣。。。。。为此，，，，，研究团队给出了一个很是务实且有用的缓解方案：隔离压缩（Isolated Compression）。。。。。

焦点思绪很简朴：别把系统提醒词、可信上下文和用户输入的不可信内容混在统一个预算池里压缩。。。。。系统应该将可信与非可信输入脱离处理，，，，，并在重组拼接时加上明确的界线标记。。。。。实验证实，，，，，这种结构性防御在；；；；は低程嵝汛史矫婧苁怯杏，，，，，防御乐成率能抵达 96%。。。。。由于非可信内容不再与系统护栏共享压缩预算，，，，，攻击者就很难通过外部输入去 “挤占” 清静规则的生涯空间了。。。。。

这项事情提醒了什么

这项研究展现了 LLM Agent 安排中的一个要害问题：许多为了效率引入的系统组件，，，，，并不是简朴的工程优化，，，，，而会改变模子最终看到的信息，，，，，从而改变整个 pipeline 的清静界线。。。。。

因此，，，，，关于未来的 LLM Agent 系统，，，，，清静剖析不可只盯着后端 LLM 自己，，，，，也需要笼罩缓存、检索、压缩、工具编排等中心层。。。。。尤其是在长上下文和 agentic workflow 越来越普遍的场景下，，，，，怎样在效率与清静之间建设更可靠的系统界线，，，，，将成为 Trustworthy Agentic AI 的焦点问题之一。。。。。

@程秀珍：鸟克A片，，，，，欧洲人举报20户邻人用空调？？？？？？假的
@林智超：张雪机车再夺冠军
@林书祯：佛得角门神母亲欢呼进球

热门排行

凯时AG