机械之心编辑部

最近，，，，，DeepSeek 开启了疯狂招人，，，，，岗位涉及算法、研发、产品、运维、数据工程师以及职能等多个部分。
。。

与此同时，，，，，DeepSeek V4 正式版将于本月中旬上线。
。。在此前的 DeepSeek V4 论文作者列表中，，，，，我们发明了清华大学 2021 级博士生、2025 年研究生特等奖学金获得者顾煜贤（Yuxian Gu）的名字

就我们所知，，，，，顾煜贤已经正式加入了 DeepSeek

顾煜贤还曾获得 2025 年度苹果博士奖学金以及蚂蚁 In-Tech 奖学金。
。。

「硬件资源受限时，，，，，算法立异就成为突破盘算瓶颈的要害。
。。」清华人顾煜贤体现。
。。他是清华大学盘算机系结业年级博士生，，，，，本科同样结业于清华大学。
。。

个人主页显示，，，，，顾煜贤在清华大学交互式人工智能课题组（Conversational AI, CoAI）学习，，，，，师从黄民烈教授。
。。

个人主页地点：https://t1101675.github.io/

他的研究主要关注怎样在大语言模子的全生命周期中提升效率，，，，，笼罩预训练、下游适配和推理等要害阶段，，，，，最近主要从三个偏向睁开相关研究：

预训练数据筛。
。。褐铝τ诠菇ɡ砺酆退惴，，，，，优化大语言模子训练中的数据选择历程，，，，，从而训练出更强盛、更高效的模子。
。。代表性事情包括 PDS、Instruction Pre-training 和 Learning Law。
。。模子压缩中的知识蒸馏：设计新的要领，，，，，将大模子的知识有用迁徙到更小、更易安排的模子中。
。。该偏向的代表性效果包括 MiniLLM 和 MiniPLM。
。。高效模子架构：探索并设计新的模子架构，，，，，在降低盘算本钱的同时提升模子性能，，，，，相关事情包括 Jet-Nemotron。
。。

在 Google Scholar 主页，，，，，顾煜贤的论文引用量已近 5000，，，，，凌驾 1000 的论文有两篇，，，，，划分是《Pre-trained models: Past, present and future》和《MiniLLM: Knowledge distillation of large language models》。
。。

顾煜贤作为一作，，，，，多次在 NeurIPS、ICLR、ACL 等国际 AI 学术顶会上揭晓论文。
。。

机械之心在去年报道过「Jet-Nemotron」，，，，，一种全新的混淆架构语言模子新系列，，，，，在抵达 SOTA 全注重力模子精度的同时，，，，，还具备卓越的效率。
。。

Jet-Nemotron 的焦点立异主要体现在以下两点：

后神经架构搜索 (Post Neural Architecture Search，，，，，PostNAS)：一种高效的后训练架构探索与自顺应 pipeline，，，，，可适用于恣意预训练的 Transformer 模子。
。。JetBlock：一种新型的线性注重力模？？？？，，，，，其性能显著优于 Mamba2 等先前的设计。
。。

论文地点：https://arxiv.org/pdf/2508.15884

其时，，，，，2B 版本的 Jet-Nemotron 性能就能赶超 Qwen3、Qwen2.5、Gemma3 和 Llama3.2 等最 SOTA 开源全注重力语言模子，，，，，同时实现了显著的效率提升。
。。在 H100 GPU 上，，，，，其天生吞吐量实现了高达 53.6 倍的加速（上下文长度为 256K，，，，，最大 batch size）。
。。

在 MMLU 和 MMLU-Pro 基准上，，，，，Jet-Nemotron 的准确率也凌驾了一些 MoE 全注重力模子，，，，，如 DeepSeek-V3-Small 和 Moonlight，，，，，只管这些模子的参数规模更大。
。。

在更早的 2024 年，，，，，顾煜贤及其相助者提出了一种将大语言模子蒸馏为更小语言模子的知识蒸馏要领，，，，，首先使用反向 Kullback-Leibler 散度（KLD）替换标准知识蒸馏要领中的正向 KLD 目的，，，，，随后推导出一种有用的优化要领来学习这一目的。
。。

他们将获得的学生模子命名为 「MiniLLM」。
。。在指令追随场景下的大宗实验批注，，，，，相比基线要领，，，，，MiniLLM 能天生更精准的回覆，，，，，整体质量更高，，，，，同时具有更低的曝光误差、更好的校准能力，，，，，以及更强的长文本天生性能。
。。

谷歌、阿里、英伟达等领先的开源社区和工业平台已接纳这一要领。
。。

论文地点：https://arxiv.org/pdf/2306.08543

我们也期待顾煜贤在人生的下一段「DeepSeek」中，，，，，带来更多新的效果。
。。