本文是北京大学彭宇新教授团队联合福州大学柯逍教授团队在细粒度多模态行动质量评价领域的最新研究效果 ，，，相关论文已被 ICML 2026 吸收为 Spotlight ，，，并已开源。。。。
论文问题：LIMSSR: LLM-Driven Sequence-to-Score Reasoning under Training-Time Incomplete Multimodal Observations论文链接：https://arxiv.org/abs/2605.00434开源代码：https://github.com/XuHuangbiao/LIMSSR实验室网址：https://www.wict.pku.edu.cn/mipl实验室公众号：MIPLatPKU
1. 配景与念头
真实天下中的多模态数据往往并不完整。。。。在行动质量评价使命中 ，，，视频、光流、音频等模态能够从差别角度形貌行动执行历程 ，，，但在现实收罗时 ，，，传感器故障、情形噪声、隐私限制等因素都会导致模态缺失。。。。如图 1 所示 ，，，现有不完整多模态要领虽然能够在测试阶段处理缺失模态 ，，，但大多默认训练阶段拥有完整模态数据 ，，，再使用重修、蒸馏或联合先验来填补缺失约息。。。。
图 1. 配景与念头
这类要领实质上依赖一种 “全量数据先验”：训练时先看过完整谜底 ，，，测试时再学习怎样应对不完整输入。。。。然而在真实应用中 ，，，训练数据自己也可能保存系统性缺失。。。。这样一来 ，，，模子既无法获得高质量的重修监视 ，，，也无法依赖完整模态提供的先验知识。。。。关于行动质量评价使命而言 ，，，这个问题尤其突出 ，，，由于该使命不但要明确长时序行动历程 ，，，还要对行动完成质量举行细粒度打分 ，，，任何要害模态的缺失都可能直接影响最终评价。。。。
针对上述问题 ，，，北京大学彭宇新教授团队联合福州大学柯逍教授团队提出了面向训练阶段不完整视察的新框架 LIMSSR。。。。该要领不再依赖完整模态监视 ，，，而是将不完整多模态行动质量评价重构为一种条件化的序列到分数推理问题 ，，，借助大语言模子的条件推理能力 ，，，从已有上下文中推断缺失模态的潜在语义 ，，，再完成跨模态融合与最终评价展望。。。。
2. 手艺方案
图 2. 大语言模子驱动的序列到分数推理要领（LIMSSR）框架图
如图 2 所示 ，，，LIMSSR 将不完整多模态行动质量评价建模为一个从 “部分视察 + 缺失掩码” 到 “质量分数” 的条件序列推理历程。。。。
从整体形式上看 ，，，LIMSSR 学习如下映射关系：
阶段 I：提醒指导的上下文感知模态补全（PCMI）。。。。本文并没有像古板要领那样将缺失模态简朴置零 ，，，而是显式告诉模子 “那里缺失、缺的是什么、该怎样推断”。。。。关于每种模态 ，，，作者设计了起止界线词元（token）；；；关于可视察模态 ，，，输入真实时序特征；；；关于缺失模态 ，，，则插入专门的缺失词元作为占位。。。。于是 ，，，视察模态与缺失模态被统一组织为包括结构信息的输入序列：
这一步的实质 ，，，不是恢回复始 “真值” ，，，而是恢复对评价有资助的潜在语义。。。。
这样一来 ，，，差别词元可以划分关注行动完成度、时序稳固性、节奏一致性等差别维度 ，，，增强体现能力。。。。
阶段 III：掩码感知的双路径聚合（MDA）。。。。仅依赖大语言模子推理虽然能获得高层语义 ，，，但在严重缺失场景中可能爆发不确定性甚至 “幻觉”；；；而若只依赖底层统计特征 ，，，又容易损失使命相关语义。。。。为此 ，，，本文进一步设计了两条协同路径 ，，，将 “语义推理路径” 和 “统计恢复路径” 连系起来。。。。
这一历程用于凭证缺失模式动态调理大语言模子语义推理效果的可信度。。。。
第二条路径则回溯各模态隐藏状态 ，，，建？？？？？？缒Ｌ臣乒叵担
上述公式批注 ，，，LIMSSR 并不是纯粹依赖大语言模子 “猜出谜底” ，，，而是在语义推理与跨模态统计之间举行动态平衡 ，，，从而提升整体鲁棒性。。。。
总体而言 ，，，LIMSSR 的手艺蹊径可以概括为：用提醒词显式形貌缺失状态 ，，，用大语言模子推断缺失语义 ，，，用融合词元（token）汇聚多维信息 ，，，再用掩码感知双路径机制控制推理可信度与统计稳健性。。。。
3. 实验效果
表 1. 大语言模子驱动的序列到分数推理框架（LIMSSR）在不完整模态场景下的效果
表 1 展示了 LIMSSR 在三个果真基准 FS1000、Fis-V 和 RG 上的不完整模态实验效果。。。。评估指标包括斯皮尔曼相关系数与均方误差 ，，，其中相关系数越高越好 ，，，误差越低越好。。。。实验笼罩六种不完整模态组合和完整模态组合 ，，，并与来自不完整多模态情绪识别、不完整多模态行动识别以及不完整 / 完整多模态行动质量评价领域的多种先进要领举行较量。。。。效果批注 ，，，LIMSSR 在训练阶段保存模态缺失的严酷设定下 ，，，依然取得了最优或极具竞争力的效果。。。。这说明 LIMSSR 不但能更准确地区分行动质量崎岖 ，，，也能在详细分数展望上坚持更高精度。。。。
表 2. 大语言模子驱动的序列到分数推理框架（LIMSSR）在完整模态场景下的效果
更值得注重的是 ，，，表 2 显示 LIMSSR 虽然是为 “训练阶段不完整视察” 设计的要领 ，，，但在完整模态场景下同样体现出很强竞争力。。。。这批注 LIMSSR 并不是通过牺牲完整场景性能来换取缺失场景鲁棒性 ，，，而是学到了一种更通用、更稳固的多模态语义建模能力。。。。
图 3. 缺失模态潜在语义相似度剖析
为了验证 LIMSSR 是否真的学会了 “推断缺失模态语义” ，，，本文较量了模子推断体现与真实模态体现之间的相似性。。。。图 3 批注 ，，，推断体现与目的真实模态的相似度高于与其他模态的相似度 ，，，说明 LIMSSR 并不是天生一个模糊的 “平均语义” ，，，而是能够恢复有针对性的潜在信息。。。。
图 4. FS1000 上的 t-SNE 可视化图
本文进一步给出了特征空间的 t-SNE 可视化效果。。。。图 4 显示 ，，，经由 LIMSSR 推理后 ，，，缺失模态天生的潜在体现能够更细密地对齐到已有模态周围 ，，，显着减小了跨模态语义鸿沟。。。。这说明模子不但 “补了信息” ，，，并且实现了更有用的跨模态语义对齐。。。。
针对训练阶段不完整视察这一更真实、更具挑战性的多模态学习问题 ，，，本文提出了大语言模子驱动的序列到分数推理框架 LIMSSR。。。。该要领不依赖完整模态训练监视 ，，，而是通过提醒指导的上下文感知模态补全、大语言模子驱动的多维体现融合以及掩码感知的双路径聚合 ，，，在已有模态上下文中恢复缺失模态的潜在语义 ，，，并进一步实现稳健评价展望 ，，，展现了大语言模子在不完整多模态学习中的主要潜力。。。。
