今日行业协会转达研究效果100万存一年利息只有9500元了 很兴奋为您解答这个问题，，，，，让我来帮您详细说明一下。。。。
。。品牌授权报修电话，，，，，快速上门服务

辽宁省沈阳市浑南区桥西区苑东街道山西省运都会夏县密云区古北口镇重庆市县巫山县向阳区豆各庄地区云南省大理白族自治州云龙县江苏省徐州市山东省泰安市泰山区陕西省汉中市南郑区甘肃省甘南藏族自治州贵州省铜仁市印江土家族苗族自治县四川省广安市岳池县江苏省南京市浦口区平山县东回舍镇桂林市秀峰区隆安县江苏省徐州市北辰区广源街道西藏拉萨市达孜区伊犁哈萨克自治州昭苏县山东省聊都会茌平区四川省凉山彝族自治州昭觉县顺义区空港街道北辰区延庆区康庄镇湖北省孝感市汉川市甘肃省甘南藏族自治州崇左市宁明县江苏省徐州市福建省三明市梅列区辽宁省锦州市义县山西省临汾市安泽县青海省海北藏族自治州门源回族自治县贵州省铜仁市印江土家族苗族自治县广东省汕头市龙湖区西乡塘区山西省吕梁市岚县怀柔区雁栖地区湖北省宜昌市夷陵区福建省厦门市湖里区百色市靖西市四川省泸州市江阳区广东省佛山市三水区四川省德阳市广汉市山西省长治市襄垣县密云区高岭镇大兴区淮南市大通区陕西省汉中市南郑区内蒙古锡林郭勒盟镶黄旗广东省佛山市三水区伊犁哈萨克自治州昭苏县广东省江门市无极县大陈镇青海省海西蒙古族藏族自治州德令哈市井陉县吴家窑乡黑龙江省哈尔滨市巴彦县河东区东新街道合肥市瑶海区哈密市伊吾县桥西区东华街道云南省怒江傈僳族自治州福贡县甘肃省白银市景泰县四川省凉山彝族自治州昭觉县山东省潍坊市青州市湖北省宜昌市西陵区西城区天桥街道银川市贺兰县吉林省四平市铁西区江西省吉安市吉安县山东省泰安市泰山区元氏县苏村乡平山县宅北乡密云区河南寨镇蓟州区东二营镇怀柔区雁栖地区黑龙江省佳木斯市富锦市北辰区山东省淄博市临淄区青海省海北藏族自治州门源回族自治县四川省凉山彝族自治州西昌市湖北省襄阳市襄州区合肥市庐阳区福建省福州市罗源县辽宁省沈阳市黑龙江省绥化市明水县平山县东回舍镇钦州市门头沟区大峪街道陕西省咸阳市兴平市密云区高岭镇山东省枣庄市台儿庄区江苏省南京市浦口区湖北省宜昌市西陵区山西省长治市襄垣县顺义区空港街道云南省大理白族自治州云龙县百色市靖西市西藏拉萨市达孜区

昨日行业协会转达行业新动态蒸馏效果腾飞！DOPD破解「特权幻觉」，，，，，让在线战略蒸馏更有用，，，，，很兴奋为您解答这个问题，，，，，让我来帮您详细说明一下:官方服务专线，，，，，支持多品牌报修

静海区大邱庄镇淮南市大通区固原市西吉县广东省云浮市新兴县广东省广州市越秀区海淀区青龙桥街道南开区长虹街道向阳区小关街道赵县沙河店镇西藏山南市贡嘎县平山县上观音堂乡山东省烟台市龙口市陕西省西安市未央区湖北省宜昌市宜都会长安区南村镇江苏省徐州市丰县南开区体育中心街道四川省泸州市江阳区江西省赣州市石城县静海区大邱庄镇内蒙古呼伦贝尔市阿荣旗福建省漳州市龙海市河东区东新街道辽宁省锦州市义县辽宁省沈阳市浑南区阿克苏地区拜城县江西省九江市武宁县江苏省苏州市相城区辽宁省锦州市义县四川省甘孜藏族自治州九龙县广东省汕头市龙湖区四川省遂宁市蓬溪县顺义区空港街道丰台区宛平城地区山东省滨州市四川省甘孜藏族自治州丹巴县云南省普洱市景东彝族自治县青海省海西蒙古族藏族自治州德令哈市山西省吕梁市中阳县阿克苏地区新和县四川省德阳市广汉市怀柔区龙山街道海南省儋州市西青区精武镇开封市通许县丰台区右安门街道蓟州区东施古镇四川省宜宾市江安县银川市贺兰县湖北省宜昌市秭归县四川省广安市岳池县密云区河南寨镇内蒙古鄂尔多斯市康巴什区江苏省苏州市相城区辽宁省大连市旅顺口区辽宁省锦州市义县江西省吉安市永新县江西省萍乡市上栗县怀柔区龙山街道黑龙江省绥化市明水县南阳市内乡县福建省莆田市城厢区向阳区酒仙桥街道山西省运都会夏县丰台区宛平城地区四川省成都会双流区向阳区酒仙桥街道银川市贺兰县崇左市宁明县海南省儋州市甘肃省陇南市延庆区沈家营镇吉林省四平市铁西区芜湖市南陵县青海省玉树藏族自治州治多县新乐市协神乡西藏山南市内蒙古锡林郭勒盟正镶白旗赞皇县院头镇丰台区和义街道山西省晋中市太谷区西青区精武镇江西省宜春市宜丰县四川省甘孜藏族自治州平山县小觉镇合肥市瑶海区崇左市宁明县四川省甘孜藏族自治州丹巴县淮南市大通区山东省威海市陕西省宝鸡市千阳县云南省怒江傈僳族自治州福贡县昌平区阳坊镇武清区上马台镇山西省阳泉市平定县元氏县殷村镇陕西省咸阳市兴平市青秀区喀什地区麦盖提县江西省九江市武宁县

全球服务区域:行唐县龙州镇黑龙江省大兴安岭地区呼玛县顺义区空港街道四川省凉山彝族自治州甘洛县陕西省商洛市山阳县蓟州区东赵各庄镇山西省晋都会高平市河西区桃园街道密云区高岭镇贵州省六盘水市水城县四川省宜宾市翠屏区巴音郭楞蒙古自治州和硕县辽宁省沈阳市浑南区辽宁省大连市旅顺口区鹿泉区白鹿泉乡西乡塘区湖北省孝感市汉川市广东省佛山市三水区崇左市宁明县洛阳市汝阳县山西省长治市襄垣县四川省凉山彝族自治州昭觉县广东省汕头市龙湖区百色市靖西市钦州市辽宁省沈阳市浑南区黑龙江省鹤岗市平山县宅北乡辽宁省铁岭市清河区内蒙古呼伦贝尔市阿荣旗阿克苏地区拜城县辽宁省铁岭市清河区门头沟区大峪街道辽宁省锦州市义县怀柔区龙山街道辽宁省大连市旅顺口区黑龙江省绥化市明水县福建省福州市永泰县四川省成都会金牛区向阳区小红门地区辽宁省沈阳市浑南区陕西省宝鸡市眉县内蒙古兴安盟乌兰浩特市青海省海西蒙古族藏族自治州德令哈市贵州省黔南布依族苗族自治州惠水县四川省遂宁市蓬溪县北辰区广源街道平山县小觉镇怀柔区龙山街道昌平区阳坊镇蚌埠市蚌山区百色市靖西市江苏省苏州市相城区开封市通许县向阳区小红门地区云南省红河哈尼族彝族自治州泸西县福建省莆田市仙游县南开区体育中心街道赞皇县西龙门乡焦作市陕西省汉中市西乡县黑龙江省哈尔滨市巴彦县陕西省商洛市山阳县大兴区钦州市江苏省徐州市新沂市湖北省襄阳市襄州区甘肃省天水市秦州区静海区大邱庄镇福建省厦门市湖里区山西省晋都会泽州县向阳区管庄地区蓟州区东施古镇甘肃省甘南藏族自治州湖北省宜昌市夷陵区平山县东回舍镇四川省宜宾市翠屏区平山县宅北乡山东省枣庄市台儿庄区马鞍山市博望区重庆市市辖区北碚区广东省珠海市斗门区湖北省襄阳市襄州区山西省忻州市宁武县江苏省苏州市相城区桥西区东华街道云南省红河哈尼族彝族自治州绿春县广东省佛山市三水区平顶山市湛河区湖北省襄阳市襄州区广东省惠州市龙门县伊犁哈萨克自治州昭苏县山东省东营市垦利区密云区高岭镇云南省丽江市宁蒗彝族自治县陕西省汉中市西乡县平山县宅北乡百色市靖西市贵州省黔南布依族苗族自治州惠水县静海区西翟庄镇

昨日行业协会转达重大研究效果蒸馏效果腾飞！DOPD破解「特权幻觉」，，，，，让在线战略蒸馏更有用，，，，，很兴奋为您解答这个问题，，，，，让我来帮您详细说明一下:售后服务维修中心电话，，，，，支持多渠道服务

天下服务区域：江苏省南通市启东市山西省临汾市安泽县向阳区小关街道昌平区小汤山镇平山县岗南镇平顶山市卫东区山西省忻州市宁武县许昌市建安区南开区长虹街道门头沟区大峪街道云南省大理白族自治州云龙县黑龙江省哈尔滨市巴彦县陕西省咸阳市兴平市山西省忻州市宁武县蚌埠市蚌山区山东省聊都会茌平区广东省深圳市昌平区阳坊镇桥西区东华街道蓟州区官庄镇上海市市辖区嘉定区四川省乐山市四川省凉山彝族自治州西昌市怀柔区雁栖地区甘肃省甘南藏族自治州陕西省商洛市山阳县黑龙江省哈尔滨市巴彦县焦作市吉林省白山市浑江区江西省鹰潭市余江区大兴区怀柔区雁栖地区蚌埠市蚌山区延庆区沈家营镇福建省南平市建瓯市山东省青岛市城阳区武清区汊沽港镇黑龙江省佳木斯市汤原县广东省佛山市三水区昌平区小汤山镇阿克苏地区新和县静海区西翟庄镇青海省海南藏族自治州贵德县平山县小觉镇平山县宅北乡云南省大理白族自治州云龙县黑龙江省大兴安岭地区呼玛县怀柔区雁栖地区密云区高岭镇芜湖市南陵县辽宁省沈阳市沈河区湖北省宜昌市宜都会山东省聊都会茌平区平山县宅北乡甘肃省定西市渭源县南开区长虹街道南开区长虹街道福建省三明市梅列区四川省甘孜藏族自治州泸定县马鞍山市博望区巴音郭楞蒙古自治州和硕县山西省晋都会高平市丰台区宛平城地区江西省九江市武宁县山西省忻州市宁武县海南省三沙市西沙区无极县大陈镇海南省三沙市西沙区钦州市江苏省徐州市新沂市赞皇县院头镇山东省东营市垦利区山东省淄博市临淄区山东省滨州市海淀区青龙桥街道濮阳市南乐县黑龙江省鹤岗市黑龙江省佳木斯市富锦市赞皇县西龙门乡武清区汊沽港镇怀柔区龙山街道蓟州区东赵各庄镇向阳区酒仙桥街道山西省晋中市榆社县辽宁省沈阳市河东区东新街道四川省遂宁市蓬溪县博尔塔拉蒙古自治州温泉县百色市田林县四川省宜宾市翠屏区山东省聊都会茌平区福建省福州市罗源县大兴区江西省吉安市永新县重庆市市辖区北碚区江西省宜春市奉新县甘肃省庆阳市镇原县湖北省宜昌市宜都会信阳市平桥区焦作市沁阳市

售后服务上门服务电话，，，，，智能分配票据：蒸馏效果腾飞！DOPD破解「特权幻觉」，，，，，让在线战略蒸馏更有用

得益于令人印象深刻的效果，，，，，「在线战略蒸馏」 (On-policy Distillation)一直是近期的热门话题。。。。
。。这种方式通过使用麋集的西席 Token 级信号监视学生采样轨迹，，，，，提供卓越的能力转移。。。。
。。为了提供高质量的监视源，，，，，从而提升蒸馏的性能，，，，，一个直观的偏向是将「特权信息」 (Privileged Information)注入西席或学生自身。。。。
。。然而，，，，，这种 "开外挂" 的方式，，，，，纷歧定能让学生学得更好，，，，，反而可能陷入「特权幻觉」(Privilege Illustion)的陷阱。。。。
。。

论文问题: DOPD: Dual On-policy Distillation论文链接: https://arxiv.org/abs/2606.30626

最近，，，，，来自新加坡国立大学、香港中文大学 MMLab、北京大学和京东探索研究院的研究团队提出了一种全新的在线战略蒸馏要领:DOPD(Dual On-policy Distillation) ，，，，，通过优势感知的双重蒸馏范式，，，，，乐成破解了这一难题。。。。
。。

实验效果令人惊艳：在 LLM 设置下，，，，，DOPD 让学生模子平均提升7.5 分，，，，，闭合了89.8%的初始师生差别；；；；；在 VLM 设置下也提升了6.0分。。。。
。。在师生模子尺寸差别最大的情形下 (8B→0.6B) ，，，，，DOPD 的提升幅度是 Vanilla OPD 的4 倍！

图一: DOPD 在基于 LLM 和 VLM 的在线战略蒸馏中的体现。。。。
。。

"特权幻觉": 在线战略蒸馏中的隐形陷阱

在大模子蒸馏中，，，，，人们通常以为：给西席模子提供更多信息 (好比推理提醒、视觉标注等 "特权信息") ，，，，，西席就能教得更好，，，，，学生自然也能学得更好。。。。
。。

但这篇论文的作者们发明了一个反直觉的征象 「特权幻觉」 (Privilege Illusion)：

外貌上看，，，，，有特权信息的西席模子体现更强，，，，，但这种优势可能只是由于 "信息差池称"，，，，，而非真正的能力差别。。。。
。。学生模子模拟的可能只是西席使用特权信息的 "捷径"，，，，，而非真正可迁徙的能力。。。。
。。

就像一个开卷考试考满分的先生，，，，，未必能教会闭卷考试的学生真正的解题能力。。。。
。。

更糟糕的是，，，，，这种特权幻觉还会导致：熵崩塌，，，，，模子过早收敛，，，，，失去探索能力；；；；；效果退化，，，，，训练后期性能不升反降；；；；；泛化变差，，，，，学到的都是 "特权依赖" 的假能力

图二：加入特权信息后的体现和熵蒸馏转变趋势。。。。
。。T., S., Priv. 划分代表西席，，，，，学生和加入特权信息。。。。
。。

DOPD: 特权优势感知的双重蒸馏

为相识决这个问题，，，，，研究团队提出了 DOPD，，，，，一种优势感知的双重蒸馏范式。。。。
。。

焦点头脑：不是所有 token 都值得用同样的方式学习。。。。
。。DOPD 会凭证每个 token 的特权优势差别和师生展望置信，，，，，动态决议用什么方式、什么强度、监视信号来自那里来蒸馏。。。。
。。

首先，，，，，划分对西席模子和学生模子在有特权信息的加入下，，，，，举行一次前向盘算 (Forward Pass)，，，，，盘算两者之差作为「特权优势差」 (Privilege Advantage Gap):

图三: Token 消融实验。。。。
。。

连系特权优势差，，，，，以及特权师生分别的展望置信，，，，，DOPD 在 Vanilla OPD 的基础上，，，，，将所有 token 划分接纳四种全心设计的方式划分蒸馏:

图四: DOPD 框架。。。。
。。

高优势差 + 西席高置信 (要害知识 token)战略: 「西席蒸馏」+「全词表 JS 散度」目的：这是真正的能力差别所在，，，，，必需用最强的监视

低优势差 + 双方高置信 (共识 token)战略: 「轻量西席蒸馏」+「Top-K 反向 KL」目的：主要是特权信息带来的共识，，，，，守旧吸收即可

低优势差 + 双方低置信 (不确定 token)战略: 「弱自蒸馏」+「Top-K 反向 KL」目的：防止模子漂移，，，，，不强行模拟不确定的内容

高优势差 + 学生高置信 (探索性 token)战略: 「轻量自蒸馏」+「Top-K 反向 KL」目的：；；；；；ぱ奶剿餍形，，，，，不被西席压制

焦点实验效果：优势显著

效果 1: 在线战略蒸馏效果提升显着，，，，，适配大语言模子 (LLM) 和视觉语言模子 (VLM) 蒸馏

在 8 个基准测试上，，，，，DOPD 平均得分 51.4，，，，，比 Vanilla OPD 横跨 7.5 分，，，，，缩小了 89.8% 的师生差别。。。。
。。并且与三类 OPD 范式中 9 种已有 SOTA 要领相比，，，，，在所有基准上都取得了最好的体现。。。。
。。值得一提的是，，，，，在部分推理和编码等挑战性使命上，，，，，DOPD 甚至逾越了原始西席模子。。。。
。。这说明特权信息真正转化成了学生的能力，，，，，而不是特权幻觉。。。。
。。

表一: DOPD 在 8 种 LLM-based 基准上与其他要领的比照

别的，，，，，在视觉语言模子上，，，，，DOPD 同样体现精彩：平均提升 6.0 分，，，，，恢复了 69.2% 的师生差别。。。。
。。特殊是在视觉明确使命上，，，，，DOPD 能有用蒸馏西席的视觉注重力和推理能力。。。。
。。

表二: DOPD 在 8 种 VLM-based 基准上与其他要领的比照

效果 2: 鲁棒性和可扩展性佳，，，，，师生差别越大，，，，，优势越显着

古板蒸馏要领有个通。。。。
。。合壬角俊⒀饺，，，，，蒸馏效果反而越差。。。。
。。但 DOPD 完善解决了这个问题：能力差别越大，，，，，DOPD 的优势越显着。。。。
。。为了证实 DOPD 在差别师生组合上的鲁棒性和在初始师生差别更大的组合下的蒸馏体现，，，，，举行了特另外比照实验。。。。
。。令人印象深刻的是：当师生模子尺寸差别较小时 (4B→1.7B)，，，，，DOPD 提升 6.2 分；；；；；而当师生模子尺寸差别很大时 (8B→0.6B) ，，，，，DOPD 提升 14.1 分，，，，，是 Vanilla OPD 的 4 倍！

表三: DOPD 在差别模子组合下的体现

图五：在差别师生尺寸比下的绝对体现提升 (左) 和师生差别减小水平 (右)。。。。
。。

效果 3: 一连学习和漫衍外性能评估依旧优异

别的，，，，，DOPD 的优势不止于此：在一连学习的三阶段蒸馏中，，，，，DOPD 能更稳固地积累能力，，，，，显著优于 Vanilla OPD 和古板的强化学习 GRPO 要领；；；；；在漫衍外泛化使命中，，，，，DOPD 在领域外使命中的泛化能力比第二名横跨 3-4 分。。。。
。。

图六：三阶段一连学习使命 (左) 和漫衍外使命 (右) 体现评估

特殊剖析：进一步验证合理性和有用性

剖析 1: 训练历程越发稳固且一连

稳固性是蒸馏要领的主要指标之一，，，，，许多 OPD 要领虽然最终效果不错，，，，，但蒸馏历程波动大，，，，，容易崩。。。。
。。DOPD 在这方面体现优异：性能曲线平稳上升，，，，，全程稳固提升，，，，，没有大幅波动；；；；；收敛速率快，，，，，在第 80 步就抵达了其他要领第 200 步的水平；；；；；熵转变康健，，，，，先小幅上升 (探索)，，，，，再逐渐下降 (收敛)，，，，，最后稳固在合理水平。。。。
。。

图七：蒸馏历程体现 (左) 和熵 (右) 转变趋势

剖析 2: 关于特权信息、Token 分类、蒸馏范式的剖析，，，，，进一步说明设计的合理性

关于差别特权信息效果剖析：不是袒露的谜底越多越彻底越好，，，，，而是要恰到利益。。。。
。。研究团队测试了 5 种差别形式的特权信息。。。。
。。实验指出，，，，，直接给最终谜底效果最差，，，，，甚至不如不给特权信息，，，，，由于学生直接背谜底了，，，，，基础没学能力；；；；；特权信息不是越详细越好，，，，，而是要提供 "能力导向" 的指导；；；；；最优的特权信息是：给出与能力挂钩的提醒，，，，，但不直接给谜底和细节。。。。
。。这进一步验证了 "特权幻觉" 的保存，，，，，也说明 DOPD 选择的特权信息形式是合理的。。。。
。。

表四：差别文本 (左) 和视觉 (右) 特权信息注入的影响

为了直观展示 token 分类的效果，，，，，研究团队可视化了一条真实轨迹中的 token 漫衍，，，，，这种漫衍与直觉完全一致，，，，，也证实晰 DOPD 的 token 分类是有现实语义意义的，，，，，不是随便分的。。。。
。。

图八: Token 分类效果可视化

别的，，，，，研究团队还比照了差别类型 token 以及 token 组合的作用水平，，，，，以及差别散度目的和蒸馏战略的效果。。。。
。。证实晰 DOPD 凭证差别 token 的特点和目的，，，，，设计差别的蒸馏战略的合理性和有用性。。。。
。。

表五：差别 Token / 组合 (左) 和蒸馏战略 (右) 的体现

剖析 3: 敏感性和消融实验

敏感性剖析效果显示 DOPD 对参数不敏感，，，，，在较大规模内都能坚持优异性能；；；；；消融实验说明 DOPD 每个组件都有明确的孝顺，，，，，合在一起才实现了最佳效果。。。。
。。

图六：敏感性 (左) 和消融实验 (右)

展望：在线战略蒸馏的新思绪

DOPD 重新思索了在线战略蒸馏的实质。。。。
。。站在今天的视角回望，，，，，蒸馏手艺已经走过了很长的路：从最初简朴的概率模拟，，，，，到在线战略蒸馏，，，，，再到今天的优势感知双重蒸馏。。。。
。。每一次前进，，，，，都让我们对 "怎样高效转达能力" 这个问题有了更深的明确。。。。
。。未来，，，，，围绕这个思绪下的在线战略蒸馏可能尚有许多值得探索的偏向。。。。
。。

稍早前相关部分宣布新政策蒸馏效果腾飞！DOPD破解「特权幻觉」，，，，，让在线战略蒸馏更有用

得益于令人印象深刻的效果，，，，，「在线战略蒸馏」 (On-policy Distillation)一直是近期的热门话题。。。。
。。这种方式通过使用麋集的西席 Token 级信号监视学生采样轨迹，，，，，提供卓越的能力转移。。。。
。。为了提供高质量的监视源，，，，，从而提升蒸馏的性能，，，，，一个直观的偏向是将「特权信息」 (Privileged Information)注入西席或学生自身。。。。
。。然而，，，，，这种 "开外挂" 的方式，，，，，纷歧定能让学生学得更好，，，，，反而可能陷入「特权幻觉」(Privilege Illustion)的陷阱。。。。
。。

论文问题: DOPD: Dual On-policy Distillation论文链接: https://arxiv.org/abs/2606.30626

最近，，，，，来自新加坡国立大学、香港中文大学 MMLab、北京大学和京东探索研究院的研究团队提出了一种全新的在线战略蒸馏要领:DOPD(Dual On-policy Distillation) ，，，，，通过优势感知的双重蒸馏范式，，，，，乐成破解了这一难题。。。。
。。

实验效果令人惊艳：在 LLM 设置下，，，，，DOPD 让学生模子平均提升7.5 分，，，，，闭合了89.8%的初始师生差别；；；；；在 VLM 设置下也提升了6.0分。。。。
。。在师生模子尺寸差别最大的情形下 (8B→0.6B) ，，，，，DOPD 的提升幅度是 Vanilla OPD 的4 倍！

图一: DOPD 在基于 LLM 和 VLM 的在线战略蒸馏中的体现。。。。
。。

"特权幻觉": 在线战略蒸馏中的隐形陷阱

在大模子蒸馏中，，，，，人们通常以为：给西席模子提供更多信息 (好比推理提醒、视觉标注等 "特权信息") ，，，，，西席就能教得更好，，，，，学生自然也能学得更好。。。。
。。

但这篇论文的作者们发明了一个反直觉的征象 「特权幻觉」 (Privilege Illusion)：

外貌上看，，，，，有特权信息的西席模子体现更强，，，，，但这种优势可能只是由于 "信息差池称"，，，，，而非真正的能力差别。。。。
。。学生模子模拟的可能只是西席使用特权信息的 "捷径"，，，，，而非真正可迁徙的能力。。。。
。。

就像一个开卷考试考满分的先生，，，，，未必能教会闭卷考试的学生真正的解题能力。。。。
。。

更糟糕的是，，，，，这种特权幻觉还会导致：熵崩塌，，，，，模子过早收敛，，，，，失去探索能力；；；；；效果退化，，，，，训练后期性能不升反降；；；；；泛化变差，，，，，学到的都是 "特权依赖" 的假能力

图二：加入特权信息后的体现和熵蒸馏转变趋势。。。。
。。T., S., Priv. 划分代表西席，，，，，学生和加入特权信息。。。。
。。

DOPD: 特权优势感知的双重蒸馏

为相识决这个问题，，，，，研究团队提出了 DOPD，，，，，一种优势感知的双重蒸馏范式。。。。
。。

焦点头脑：不是所有 token 都值得用同样的方式学习。。。。
。。DOPD 会凭证每个 token 的特权优势差别和师生展望置信，，，，，动态决议用什么方式、什么强度、监视信号来自那里来蒸馏。。。。
。。

首先，，，，，划分对西席模子和学生模子在有特权信息的加入下，，，，，举行一次前向盘算 (Forward Pass)，，，，，盘算两者之差作为「特权优势差」 (Privilege Advantage Gap):

图三: Token 消融实验。。。。
。。

连系特权优势差，，，，，以及特权师生分别的展望置信，，，，，DOPD 在 Vanilla OPD 的基础上，，，，，将所有 token 划分接纳四种全心设计的方式划分蒸馏:

图四: DOPD 框架。。。。
。。

高优势差 + 西席高置信 (要害知识 token)战略: 「西席蒸馏」+「全词表 JS 散度」目的：这是真正的能力差别所在，，，，，必需用最强的监视

低优势差 + 双方高置信 (共识 token)战略: 「轻量西席蒸馏」+「Top-K 反向 KL」目的：主要是特权信息带来的共识，，，，，守旧吸收即可

低优势差 + 双方低置信 (不确定 token)战略: 「弱自蒸馏」+「Top-K 反向 KL」目的：防止模子漂移，，，，，不强行模拟不确定的内容

高优势差 + 学生高置信 (探索性 token)战略: 「轻量自蒸馏」+「Top-K 反向 KL」目的：；；；；；ぱ奶剿餍形，，，，，不被西席压制

焦点实验效果：优势显著

效果 1: 在线战略蒸馏效果提升显着，，，，，适配大语言模子 (LLM) 和视觉语言模子 (VLM) 蒸馏

在 8 个基准测试上，，，，，DOPD 平均得分 51.4，，，，，比 Vanilla OPD 横跨 7.5 分，，，，，缩小了 89.8% 的师生差别。。。。
。。并且与三类 OPD 范式中 9 种已有 SOTA 要领相比，，，，，在所有基准上都取得了最好的体现。。。。
。。值得一提的是，，，，，在部分推理和编码等挑战性使命上，，，，，DOPD 甚至逾越了原始西席模子。。。。
。。这说明特权信息真正转化成了学生的能力，，，，，而不是特权幻觉。。。。
。。

表一: DOPD 在 8 种 LLM-based 基准上与其他要领的比照

别的，，，，，在视觉语言模子上，，，，，DOPD 同样体现精彩：平均提升 6.0 分，，，，，恢复了 69.2% 的师生差别。。。。
。。特殊是在视觉明确使命上，，，，，DOPD 能有用蒸馏西席的视觉注重力和推理能力。。。。
。。

表二: DOPD 在 8 种 VLM-based 基准上与其他要领的比照

效果 2: 鲁棒性和可扩展性佳，，，，，师生差别越大，，，，，优势越显着

古板蒸馏要领有个通。。。。
。。合壬角俊⒀饺，，，，，蒸馏效果反而越差。。。。
。。但 DOPD 完善解决了这个问题：能力差别越大，，，，，DOPD 的优势越显着。。。。
。。为了证实 DOPD 在差别师生组合上的鲁棒性和在初始师生差别更大的组合下的蒸馏体现，，，，，举行了特另外比照实验。。。。
。。令人印象深刻的是：当师生模子尺寸差别较小时 (4B→1.7B)，，，，，DOPD 提升 6.2 分；；；；；而当师生模子尺寸差别很大时 (8B→0.6B) ，，，，，DOPD 提升 14.1 分，，，，，是 Vanilla OPD 的 4 倍！

表三: DOPD 在差别模子组合下的体现

图五：在差别师生尺寸比下的绝对体现提升 (左) 和师生差别减小水平 (右)。。。。
。。

效果 3: 一连学习和漫衍外性能评估依旧优异

别的，，，，，DOPD 的优势不止于此：在一连学习的三阶段蒸馏中，，，，，DOPD 能更稳固地积累能力，，，，，显著优于 Vanilla OPD 和古板的强化学习 GRPO 要领；；；；；在漫衍外泛化使命中，，，，，DOPD 在领域外使命中的泛化能力比第二名横跨 3-4 分。。。。
。。

图六：三阶段一连学习使命 (左) 和漫衍外使命 (右) 体现评估

特殊剖析：进一步验证合理性和有用性

剖析 1: 训练历程越发稳固且一连

稳固性是蒸馏要领的主要指标之一，，，，，许多 OPD 要领虽然最终效果不错，，，，，但蒸馏历程波动大，，，，，容易崩。。。。
。。DOPD 在这方面体现优异：性能曲线平稳上升，，，，，全程稳固提升，，，，，没有大幅波动；；；；；收敛速率快，，，，，在第 80 步就抵达了其他要领第 200 步的水平；；；；；熵转变康健，，，，，先小幅上升 (探索)，，，，，再逐渐下降 (收敛)，，，，，最后稳固在合理水平。。。。
。。

图七：蒸馏历程体现 (左) 和熵 (右) 转变趋势

剖析 2: 关于特权信息、Token 分类、蒸馏范式的剖析，，，，，进一步说明设计的合理性

关于差别特权信息效果剖析：不是袒露的谜底越多越彻底越好，，，，，而是要恰到利益。。。。
。。研究团队测试了 5 种差别形式的特权信息。。。。
。。实验指出，，，，，直接给最终谜底效果最差，，，，，甚至不如不给特权信息，，，，，由于学生直接背谜底了，，，，，基础没学能力；；；；；特权信息不是越详细越好，，，，，而是要提供 "能力导向" 的指导；；；；；最优的特权信息是：给出与能力挂钩的提醒，，，，，但不直接给谜底和细节。。。。
。。这进一步验证了 "特权幻觉" 的保存，，，，，也说明 DOPD 选择的特权信息形式是合理的。。。。
。。

表四：差别文本 (左) 和视觉 (右) 特权信息注入的影响

为了直观展示 token 分类的效果，，，，，研究团队可视化了一条真实轨迹中的 token 漫衍，，，，，这种漫衍与直觉完全一致，，，，，也证实晰 DOPD 的 token 分类是有现实语义意义的，，，，，不是随便分的。。。。
。。

图八: Token 分类效果可视化

别的，，，，，研究团队还比照了差别类型 token 以及 token 组合的作用水平，，，，，以及差别散度目的和蒸馏战略的效果。。。。
。。证实晰 DOPD 凭证差别 token 的特点和目的，，，，，设计差别的蒸馏战略的合理性和有用性。。。。
。。

表五：差别 Token / 组合 (左) 和蒸馏战略 (右) 的体现

剖析 3: 敏感性和消融实验

敏感性剖析效果显示 DOPD 对参数不敏感，，，，，在较大规模内都能坚持优异性能；；；；；消融实验说明 DOPD 每个组件都有明确的孝顺，，，，，合在一起才实现了最佳效果。。。。
。。

图六：敏感性 (左) 和消融实验 (右)

展望：在线战略蒸馏的新思绪

DOPD 重新思索了在线战略蒸馏的实质。。。。
。。站在今天的视角回望，，，，，蒸馏手艺已经走过了很长的路：从最初简朴的概率模拟，，，，，到在线战略蒸馏，，，，，再到今天的优势感知双重蒸馏。。。。
。。每一次前进，，，，，都让我们对 "怎样高效转达能力" 这个问题有了更深的明确。。。。
。。未来，，，，，围绕这个思绪下的在线战略蒸馏可能尚有许多值得探索的偏向。。。。
。。

华泰期货研究院宏观组总监徐闻宇告诉中新经纬，，，，，任何资产在短期大幅上涨后都可能面临调解，，，，，这与资产被归类为风险型照旧避险型关系不大。。。。
。。

凯时AG

100万存一年利息只有9500元了