对话韩芃睿:拆开AI大脑,,,,,望见了和人脑相似的功效分工
2026-07-22 06:52:41 宣布
泉源:多特软件站
作者:谢仁琦
浏览:7851次
人脑的结构并不匀称。。。。经由漫长的演化,,,,,它长出了一套分工明确的组织:语言、逻辑、物理直觉、社会推理,,,,,各自盘踞在皮层相对牢靠的区域,,,,,既分工又协作。。。。困扰研究职员许久的一个问题是:大脑的功效分区,,,,,事实是任何智能系统都躲不开的必定,,,,,照旧人类演化路上的一个无意?????
最近,,,,,MIT 团队的一项研究“Modular Cognitive Architecture Emerges in Large Language Models ”批注,,,,,谜底更倾向于前者。。。。事实,,,,,大语言模子的来路完全差别。。。。它没有身体,,,,,也没有履历演化,,,,,只是在海量的文本上做基于下一词元展望(next-token prediction)的训练。。。。当一个结构云云差别的系统也泛起了这套分工,,,,,它更可能是智能自己的深层纪律,,,,,而不是碳基大脑的无意。。。。不过作者也审慎地强调,,,,,这只是“证据的指向”,,,,,还谈不上定论。。。。
这项研究由两位资深学者带队。。。。一位是 MIT 脑与认知科学系教授 Evelina Fedorenko,,,,,她因界定出人脑中专门认真语言的“语言网络”而着名,,,,,2025 年刚获美国国家科学院揭晓的 Troland 研究奖;;;;;;另一位是 MIT 盘算机科学与人工智能实验室(CSAIL)教授 Jacob Andreas,,,,,他是 AI 与自然语言处理领域的着名学者。。。。而研究的第一作者是韩芃睿,,,,,他是伊利诺伊大学厄巴纳-香槟分校(UIUC)盘算机科学硕士,,,,,导师是尤佳轩教授;;;;;;他的事情揭晓于 ICML、EMNLP 等 AI 与 NLP 顶级聚会,,,,,曾获 NeurIPS Workshop 最佳论文声誉提名。。。。
(泉源:Github)
在这项研究中,,,,,团队剖析了六个 24B 到 123B 的主流开源模子,,,,,笼罩语言、逻辑、物理、社会四大认知域共 46 个使命,,,,,用电路级要领定位每个使命真正依赖的神经元。。。。他们不但发明同域使命共享神经元、跨域险些互不相关(同域重叠是跨域的四倍多),,,,,还做了一个很清洁的验证:关掉认真语言的神经元,,,,,模子物理照样推理得对,,,,,只是话说得欠亨顺;;;;;;关掉认真物理的神经元,,,,,句子流通,,,,,却把结论说反了。。。。这套分工不但是统计上的巧合,,,,,而是有实着实在的因果效力。。。。
围绕这项研究,,,,,以及它用 AI 明确智能自己的理念,,,,,DeepTech 和韩芃睿举行了一次对话。。。。
用另一种智能,,,,,回覆一个只有一个样本的问题
DeepTech:你们是怎么想到用 LLM 来切入大脑的功效分区是“智能系统的必定”,,,,,照旧“生物演化的无意”?????
韩芃睿:这个问题光靠研究大脑自己很难回覆。。。。由于我们只有一个样本,,,,,并且生物组织还背着许多和使命无关的约束,,,,,好比能量代谢。。。。
趋同演化在生物学里是一个很强的证据逻辑:若是一个性状在亲缘很远的物种里各自自力泛起——好比蝙蝠和鲸鱼各自演化出回声定位——我们就有理由相信,,,,,它是被问题自己逼出来的,,,,,而不是无意。。。。
LLM 给了我们一个全新的时机。。。。它是另一类智能系统,,,,,走的是完全差别的优化路径,,,,,实质上是在展望下一个词元(next-token prediction)上做梯度下降,,,,,和生物演化很是差别。。。。同时它又具备许多人类独吞的高级认知能力,,,,,好比明确人类语言、解决重大的数学问题。。。。以是若是?????榛 LLM 里也自力泛起了,,,,,那它更可能是任何朝着智能优化的系统都会收敛到的解,,,,,而不是碳基大脑的无意。。。。这就是我们用 LLM 切进来的焦点念头。。。。
DeepTech:团队里既有认知科学家 Evelina Fedorenko,,,,,也有 AI 研究者 Jacob Andreas。。。。这双方看问题的方式很纷歧样,,,,,你们怎么协调这些视角?????
韩芃睿:着实双方的摩擦比想象中小许多。。。。由于 Jacob 和 Ev 都研究语言和 AI,,,,,共享了很是多的兴趣和判断,,,,,只是着重纷歧样。。。。Jacob 会更聚焦在算法这一层。。。。举个详细的例子:我们最最先用的要领更偏神经科学一点,,,,,直接拿最小比照对(minimal pair)去比激活值,,,,,看哪些神经元在统计上是显著的。。。。但厥后发明,,,,,这样识别出来的单位没有很好的因果影响,,,,,Jacob 就建议我们换成 patching 这类更严酷的要领,,,,,这直接决议了后面整套流程。。。。
Ev 这边更在意科学层面的洞见,,,,,好比怎么让使命和脑网络的对应更扎实,,,,,以及我们究竟能磨练哪些真正有意思的假设。。。。一个稍微偏要领上站不站得住,,,,,一个稍微偏科学上值不值得问,,,,,两个视角着实是互补的,,,,,最后拼在一起,,,,,研究才完整。。。。
?????榛,,,,,是“同时解决许多问题”逼出来的
DeepTech:若是用最简朴的一句话概括你们的研究发明,,,,,你会怎么说?????
韩芃睿:一个只靠展望下一个词元、靠反向撒播训练出来的语言模子,,,,,会自觉长出和人脑相似的?????榛止ぃ河镅浴⒙呒⑽锢怼⑸缁嵬评砀髯杂梢慌静恢氐的神经元支持。。。。并且这种分工是有因果效力的:关掉某个域的神经元,,,,,只会破损谁人域的能力。。。。
DeepTech:你们有一个很直观的效果,,,,,统一类使命用的是重叠的神经元,,,,,差别类使命用的是险些不相关的神经元,,,,,同域重叠是跨域的四倍多。。。。LLM 为什么会形成这种分工?????
韩芃睿:我们提出的一个可能诠释是:LLM 要在海量、异质的语料上实验展望,,,,,而这种展望经常需要多种推理同时上场。。。。好比,,,,,想象你要展望一本侦探小说最后的下一个词:可能同时需要演绎推理去缩小嫌疑人规模,,,,,社会推理去推死心头,,,,,物理推理去判断作案在物理上是否可能,,,,,而这些还都得息争析句子结构的语言处理交织在一起。。。。
当多种盘算要在统一个输入上同时运行,,,,,系统就面临一个压力:别让它们相互滋扰。。。。这个压力有两层。。。。一层是处理层面,,,,,几种信息要同时体现,,,,,编码就必需相互可分,,,,,否则会撞在一起、相互污染。。。。另一层是学习层面,,,,,若是差别盘算的神经元混在一起,,,,,刷新一个域的更新就会扰动另一个域,,,,,这就是漫衍式系统里灾难性滋扰的老问题。。。。
把差别盘算分给差别的神经元,,,,,正好同时解决了这两种滋扰。。。。以是?????榛芸赡懿皇潜凰杓频,,,,,而是来自于同时解决许多种问题的压力。。。。
DeepTech:损伤实验里泛起了一个征象:关掉认真语言的神经元,,,,,模子推理是对的,,,,,但语法最先蜕化;;;;;;关掉认真物理的神经元,,,,,语法流通,,,,,却把物理结论说反了。。。。这种形式与内容的疏散,,,,,你会怎么明确?????
韩芃睿:对,,,,,这正是我们在损伤实验里看到的双疏散(double dissociation),,,,,并且它很是清洁。。。。 用统一个物理问题:一根橡皮筋热老化之后的弹性来测试。。。。关掉语言神经元,,,,,模子的物理推理照旧对的:更弱的回弹力、回弹不完全、耗散更多能量,,,,,但语法和词法最先蜕化。。。。反过来关掉物理神经元,,,,,句子依然通顺流通,,,,,但物理结论说反了。。。。
这说明模子内部确实把“把话说通顺”和“把原理说对”交给了两套差别的系统。。。。它们在统一个输出上协作,,,,,但可以被自力地破损。。。。这种可疏散性自己,,,,,就是?????榛钪苯拥男形ぞ荨。。。这着实也和 Ev 之前在人身上的发明很呼应。。。。好比语言能力严重受损的失语症患者,,,,,他们险些无法明确语言,,,,,却依然能完成很重大的推理、数学和逻辑使命。。。。
DeepTech:Transformer 没有神经科学的能量价钱,,,,,损失函数也不在乎详细用了几多神经元,,,,,它却照样泛起了?????榛。。。你以为是什么在驱动它?????
韩芃睿:神经科学里的诠释是代谢约束:大脑每次只激活一小部分神经元,,,,,比普遍激活省能量,,,,,而给每类使命分一套专属神经元,,,,,正好能实现这种希罕。。。。但这个压力对我们研究的 LLM 完全不适用。。。。Transformer 的前向盘算在任何生物意义上都没有代谢本钱的差别,,,,,损失函数里也没有任何一项行止罚某个输入激活了几多神经元。。。?????杉幢阍圃,,,,,一个显着可识别的、类人的?????榛橹昭浩鹆恕。。。
这说明,,,,,代谢压力不管在塑造人类皮层时起了多着述用,,,,,它都不是功效特化泛起的须要条件。。。。那真正在驱动的是什么?????我们以为一种可能,,,,,就是前面说的那种滋扰压力,,,,,它不需要任何能量价钱就能建设。。。。
DeepTech:比照实验里,,,,,小模子 GPT-2 做差池这些推理使命,,,,,它只能分出“语言 VS 其他”,,,,,分不出更细的?????椤。。。你们也提到“?????榛辉谀W诱婺芙饩鍪姑辈欧浩稹薄。。。你可以详细诠释一下吗?????
韩芃睿:先讲清晰我们这套要领的一个性子:归因修补(attribution patching)实质上是在找那些对做对使命有因果孝顺的神经元。。。;;;;;;痪浠八,,,,,若是模子基础做差池、或者明确不了某个使命,,,,,它内部就没有一套对的盘算可言,,,,,修补出来的工具自然也没有意义。。。。GPT-2 的比照正好佐证了这一点。。。。我们把完全一样的流程、完全一样的数据放到 GPT-2 上,,,,,它做不了大部分推理使命,,,,,效果就只能分出“语言 vs 其他”。。。。这说明凯时AG框架测的是底层盘算,,,,,而不是数据自己的假象。。。。
虽然,,,,,我们也认可,,,,,换一套别的要领或者换更简朴的使命,,,,,GPT-2 有可能也展现出某种?????榛。。。以是,,,,,凯时AG发明想强调两点:第一,,,,,我们这个框架测到的是盘算,,,,,而不是数据的假象。。。。我们还专门做了一个关于语义的比照实验来佐证,,,,,光靠 prompt 的语义相似度是还原不出这个结构的;;;;;;第二,,,,,也正由于这样,,,,,与其说这种细腻分工是“涌现的副产品”、或者去谈它和规模的关系,,,,,我们更愿意说:模子真正能解题,,,,,是它泛起的条件。。。。只有能明确、能做对,,,,,才谈得上盘算、才谈得上电路。。。。
把 LLM 看成“第二种智能系统”来研究
DeepTech:你们在文章里提到一个很有意思的定位:LLM 可以看成“第二种智能系统”去磨练我们关于人类认知的理论。。。。这对研究大脑有什么详细的启示?????
韩芃睿:LLM 作为一个科学研究工具,,,,,在拥有许多重大行为和能力的同时,,,,,比人脑有更多可控性,,,,,也更容易交互。。。。我们可以随意探测它、干预它、把某部分关掉再看会爆发什么,,,,,这些在人身上要么做不到,,,,,要么价钱极高。。。。以是它自己就是一个很适合拿来做科学研究的工具,,,,,能帮我们更高效地磨练关于智能和认知的假设。。。。
对神经科学,,,,,我们有两个挺详细的偏向。。。。一是展望:凯时AG要领可以从 LLM 出发,,,,,对一个全新的使命会挪用人脑哪个网络天生假设,,,,,再拿去用 fMRI 验证,,,,,即是给脑科学多了一个爆发假设的泉源。。。。二是研究信息流:差别脑网络之间怎么把信息传给相互,,,,,这在人脑里极难研究,,,,,由于你需要同时具备很高的空间和时间分辨率,,,,,而这个组合在人类神经成像里基本做不到。。。。但在 LLM 里,,,,,我们能同时会见所有神经元和它们的毗连,,,,,以是可以去构建和磨练一些机制层面的假设,,,,,好比语言系统究竟是怎么把剖析好的输入喂给某个推理系统的。。。。
DeepTech:反过来,,,,,你以为这项发明对做 AI 的人有什么用?????知道模子内部是?????榛,,,,,能帮我们把模子造得更好或者更可控吗?????
韩芃睿:最直接的一条,,,,,和现在很火的混淆专家模子(mixture-of-experts,,,,,MoE)有关。。。。MoE 被接纳主要是出于效率思量,,,,,把每个 token 路由给一部分专家,,,,,能镌汰激活的参数目。。。。但凯时AG发明提醒,,,,,?????榛橹约嚎赡芑勾刺亓硗馀趟阌攀,,,,,而不但是省算力。。。。
已经有事情往这个偏向走了,,,,,好比让专家之间形成类脑的特化,,,,,既保住了推理的性能,,,,,又让模子更可诠释、更可指导。。。。以是知道模子内部是?????榛,,,,,未来可能真的能反过来指导我们把模子设计得更好、更可控。。。。这块还很开放,,,,,值得深挖:?????榛托阅苤,,,,,究竟是什么关系。。。。
AI 像大脑,,,,,最怕被太过解读
DeepTech:AI 像大脑这种说法很容易被太过解读。。。。作为研究者,,,,,你最希望公共不要从这项研究里武断得出的过失结论是什么?????
韩芃睿:这是个很好的问题。。。。做这类研究一个很主要的注重事项,,,,,就是不要太过地把 LLM 当人。。。。随着研究深入,,,,,许多实验室确实发明了越来越多 AI 和大脑相似的地方,,,,,从行为到机理,,,,,这很是令人兴奋。。。。但不可否认,,,,,LLM 和大脑有着根天性的差别,,,,,并且它只由语言这一个模态驱动。。。。
以是我的态度是:LLM 是一个很好的工具,,,,,可以拿来磨练假设、去交互、去探测,,,,,把它当成一个科学研究工具来研究,,,,,这比研究人有更多可控性、也更高效。。。。但不可盲目。。。。每一个实验我们都要起劲去分清,,,,,这个相似背后真正的泉源是什么。。。。它可能来自一个真正的原理,,,,,也可能只是某些人类数据的假象,,,,,或者其他种种因素。。。。把这些分清,,,,,才华让研究更经得起推敲。。。。
DeepTech:抛开这项详细的研究,,,,,在“用 AI 明确智能自己”这个偏向上,,,,,你以为最大的挑战是什么?????
韩芃睿:我以为最大的挑战,,,,,恰恰就是上一个问题的延伸:怎么系统性地把一个真正的原理和一个假象区脱离。。。。
现在我们缺一套公认的标准,,,,,去判断某个 AI 和大脑相似究竟算不算数。。。。它是两类智能系统面临统一个问题各自收敛出的深层原理,,,,,照旧只是训练数据、使命设计、或者怀抱方式带来的外貌巧合。。。。每一个这样的相似,,,,,都需要单独去设计比照、去扫除掉浅层的诠释,,,,,才敢说它有意义。。。。
运营/排版:何晨龙
注:封面/首图由 AI 辅助天生
中新网7月3日电 据中央气象台网站新闻,,,,,中央气象台7月3日10时宣布台风黄色预警:
责任编辑:黄启仲 校对:李旺劭