凯时AG

给多智能体LLM装上「图影象事情流路由器」, ,,,搞定挪用、协作妄想

作者:王怡祯
宣布时间:2026-07-18 21:02:49
阅读量:658

给多智能体LLM装上「图影象事情流路由器」, ,,,搞定挪用、协作妄想

新智元报道

【新智元导读】GraphPlanner通过引入图影象网络, ,,,将多智能体LLM的路由历程升级为动态事情流天生。。。。 。。不但选择挪用哪个模子, ,,,还决议每个模子应肩负的角色, ,,,实现使命剖析与协作妄想。。。。 。。

当大语言模子从「单模子回覆」走向「多模子协作」, ,,,一个新的问题正在浮现:

系统不但需要知道该挪用哪个LLM, ,,,还需要知道该让这个LLM饰演什么角色、在什么方法挪用、怎样与其他模子协作。。。。 。。

现有LLM Router大多关注query-level的模子选择:给定一个问题, ,,,判断该交给Qwen、LLaMA、Gemma、Mixtral照旧其他模子。。。。 。。进一步的多轮Router虽然能够举行多次挪用, ,,,但通常仍然只是「一连选择模子」, ,,,缺少对多智能体协作流程自己的显式建模。。。。 。。

对此, ,,,University of Illinois Urbana-Champaign(UIUC)的研究职员提出GraphPlanner, ,,,将LLM Routing从「选择模子」推进到「天生多智能体事情流」:系统在每一步同时决议挪用哪个模子以及激活哪个智能体角色, ,,,并使用图结构影象历史交互与目今事情流状态, ,,,从而实现更高效、更可泛化的多模子协作。。。。 。。

论文链接: https://arxiv.org/abs/2604.23626

代码链接: https://github.com/ulab-uiuc/GraphPlanner

研究配景

古板Single-Round Router的逻辑很直接:给定一个query, ,,,选择一个最合适的LLM往返覆。。。。 。。

这种方式简朴高效, ,,,但面临重大使命时保存显着限制:它无法剖析使命, ,,,也无法组织多个模子之间的协作。。。。 。。

Multi-Round Router则进一步允许多次挪用差别模子, ,,,例如Router-R1可以在「思索—路由—聚合」的历程中重复挪用多个LLM。。。。 。。

但这类要领实质上仍然更关注backbone selection, ,,,也就是「下一步该挪用哪个模子」, ,,,而没有显式建模多智能系一切中的角色分工与协作结构。。。。 。。

现实中的重大使命往往需要更靠近agentic workflow的处理方式。。。。 。。例如:

先由Planner将重大问题拆解成子问题;;;;

再由多个Executor划分解决差别子使命;;;;

最后由Summarizer汇总中心效果并形成最终谜底。。。。 。。

GraphPlanner正是围绕这一点提出:Router不应只决议挪用哪个模子, ,,,还应决议挪用哪个Agent Role, ,,,并动态天生适合目今query的协作事情流。。。。 。。

GraphPlanner

GraphPlanner的焦点头脑是将routing历程建模为一个sequential decision-making problem。。。。 。。

在每一步, ,,,GraphPlanner不再只选择一个LLM, ,,,而是选择一个二元行动:

Action = Agent Role + LLM Backbone

研究职员默认界说了三类基础Agent Role:

1. Planner:认真将重大query剖析为若干atomic sub-queries;;;;

2. Executor:认真回覆原始query或子问题;;;;

3. Summarizer:认真聚合多其中心效果, ,,,天生更一致的上下文或最终回覆。。。。 。。

因此, ,,,GraphPlanner的每一步决议都在回覆两个问题:

目今应该由哪个角色执行?????应该使用哪个LLM执行?????

这种设计让Router从一个简朴的「模子选择器」, ,,,升级为一个能够构建query-specific agentic workflow的「多智能体妄想器」。。。。 。。

关于简朴问题, ,,,GraphPlanner可以直接选择Executor一步完成回覆;;;;关于重大数学、代码或多跳推理使命, ,,,它可以先挪用Planner拆解问题, ,,,再挪用多个Executor解决子问题, ,,,最后挪用Summarizer汇总推理链路。。。。 。。

GraphPlanner的另一个要害立异是引入异构图影象网络GARNet。。。。 。。

在多智能体LLM系统中, ,,,每次挪用都会爆发富厚的交互信息:query 是什么、哪个模子被挪用、它饰演什么角色、输出了什么效果、本钱是几多、最终是否准确。。。。 。。

这些历史 interaction traces 自己就是很是名贵的 routing memory。。。。 。。它们能够告诉系统:在相似使命上, ,,,哪些模子更适合担当 Planner?????哪些模子更适合做 Executor?????哪些角色组合更高效?????

为此, ,,,GraphPlanner构建了两类图影象:

Workflow Memory Graph:纪录目今 query 在本轮推理历程中天生的子问题、角色挪用和中心回复;;;;

Historical Memory Graph:纪录已往使命中的query、response、LLM-role交互、accuracy 和 cost 信息。。。。 。。

GARNet将query node、response node、LLM-role node以及accuracy-cost edge组织成异构图, ,,,并通过共享的role hub nodes毗连目今事情流与历史影象。。。。 。。

这样, ,,,GraphPlanner在做下一步routing决议时, ,,,不但能看到目今query的状态, ,,,还能使用历史交互中积累下来的模子能力画像与协作模式。。。。 。。

用强化学习训练Agentic Router

由于GraphPlanner的routing workflow包括离散的角色选择、模子挪用、子问题剖析和效果汇总, ,,,整个历程难以直接端到端求导。。。。 。。

因此, ,,,研究职员将workflow generation建模为Markov Decision Process, ,,,并使用PPO举行强化学习训练。。。。 。。

奖励函数同时思量使命效果与挪用本钱:

最终回覆准确性带来task utility;;;;

每一步模子挪用会爆发computational cost;;;;

超参数α用于控制accuracy-cost trade-off。。。。 。。

换言之, ,,,GraphPlanner学到的不是一个牢靠事情流模板, ,,,而是一种动态战略:在面临差别 query 时, ,,,自顺应决议是否需要妄想、是否需要拆解、挪用几个模子、每个模子饰演什么角色, ,,,以及何时汇总并输出最终谜底。。。。 。。

实验效果:更强性能、更低训练本钱、更好泛化

GraphPlanner在14个使命、6个领域上举行了系统评估, ,,,笼罩Math、Code、Commonsense Reasoning、World Knowledge、Popular Benchmark以及Out-of-domain Testing。。。。 。。

实验包括两个阶段:

Phase 1:在用户预界说的agentic workflow中, ,,,优化差别agent的LLM backbone选择;;;;

Phase 2:同时天生agentic workflow并选择对应的LLM backbone。。。。 。。

效果显示, ,,,GraphPlanner在两个阶段均显著优于single-round与multi-round router baselines。。。。 。。

在Phase 1中, ,,,GraphPlanner在牢靠事情流下仍能取得最高平均准确率, ,,,说明图影象增强的 routing policy 能更好地为差别agent分配合适模子。。。。 。。

在Phase 2中, ,,,当系统允许自由天生workflow时, ,,,GraphPlanner的优势进一步扩大, ,,,相比最强baseline带来约9.3%的平均准确率提升, ,,,说明 query-specific workflow generation 比牢靠事情流更适合重大使命。。。。 。。

更主要的是, ,,,GraphPlanner还展现出优异的效率体现。。。。 。。相比Router-R1等RL-based multi-round router, ,,,GraphPlanner在训练阶段显著降低GPU compute, ,,,并通过轻量级图战略网络实现更高效的routing决议。。。。 。。

泛化能力:支持Unseen Tasks与Unseen LLMs

一个好的LLM Router不应只记着训练集中的使命和模子, ,,,而应能泛化到新的使命类型和新的LLM backbone。。。。 。。

GraphPlanner在out-of-domain使命LogicGrid、MGSM和CommonGen上取得了78%的平均准确率, ,,,显着优于 GraphRouter、RouterDC 和 Router-R1 等 baseline。。。。 。。

同时, ,,,当实验中加入训练阶段未见过的 LLM 时, ,,,GraphPlanner 仍能坚持稳固且更优的体现。。。。 。。这说明它并不是简朴影象某个模子在某个使命上的标签, ,,,而是通过 LLM-role graph 和 historical interaction memory 学到了更可迁徙的协作模式。。。。 。。

别的, ,,,GraphPlanner 支持两种 inference 方式:

Inductive Setting:不依赖保存的历史交互, ,,,安排更轻量;;;;

Transductive Setting:使用历史 interaction memory, ,,,获得更高性能。。。。 。。

这种设计使 GraphPlanner 可以凭证现实安排需求, ,,,在效率和性能之间无邪切换。。。。 。。

GraphPlanner的焦点孝顺在于, ,,,它将LLM Router从古板的backbone selection推进到了agentic workflow generation。。。。 。。

已往的Router主要回覆:这个query应该交给哪个模子?????

GraphPlanner 进一步回覆:

> 这个query应该怎样拆解?????

> 哪些Agent Role应该加入?????

> 每个角色应该由哪个LLM执行?????

> 目今事情流怎样使用历史交互履历?????

> 怎样在效果与本钱之间取得更优平衡?????

因此, ,,,GraphPlanner不但是一个更强的Router, ,,,而是迈向多智能体 LLM 系统自动化编排的主要一步。。。。 。。

它让多个异构LLM不再只是被动挪用的工具, ,,,而是能够在Planner、Executor、Summarizer等角色下形成结构化协作流程。。。。 。。

关于未来的AI基础设施而言, ,,,这种ability to plan, route, remember, and coordinate将成为构建可扩展、多模子、多智能系一切的要害能力。。。。 。。

参考资料:

https://arxiv.org/abs/2604.23626

编辑:LRST

 

文章点评

未盘问到任何数据!

揭晓谈论

◎接待加入讨论, ,,,请在这里揭晓您的看法、交流您的看法。。。。 。。

最新文章

热门文章

随机推荐

【网站地图】