业界首个:美团LongCat-2.0宣布,,国产芯片上跑出的万亿参数模子
2026-06-30 12:50:29 宣布
泉源:下厨房
作者:陈晓雯
浏览:2594次
IT之家 6 月 30 日新闻,,美团今日宣布新一代万亿参数大模子LongCat-2.0,,并将对外开源。。
LongCat-2.0 宣称是业界首个在五万卡国产算力集群上完玉成流程训练与推理的万亿参数模子(总参数 1.6 T,,平均激活约 48 B,,动态规模 33B~56B),,从零最先预训练,,原生支持 1M 超长上下文。。
正式版宣布前,,LongCat-2.0 预览版本已通过 OpenRouter 平台和 longcat.ai 面向全球开发者开放挪用 ——阻止现在该模子已跻身 OpenRouter 全球大模子挪用量前三,,月挪用量在 Hermes、Claude Code 和 OpenClaw 排列全球第一、第二和第三位。。
LongCat-2.0 预训练数据规模凌驾 30T tokens,,笼罩中文、英文、多语言和代码等多类数据;;;;;;面临万卡级训练中的硬件故障、通讯异常、显存压力与数值波动,,LongCat 团队从稳固性、准确性和效率三方面攻克国产算力训练难题。。
稳固性上,,通过 HCCL 异常处理、弹性扩缩卡和自动故障恢复,,将月均日故障率降低 70% 以上;;;;;;准确性上,,通过自研设计确定性算子、Bitwise 一致性验证和参数检测,,包管训练效果的可靠,,同时基于实践提升要害模???榕趟憔取⒂呕 Reduce 逻辑;;;;;;效率上,,通过流水线调理、显存优化和算子级控核,,训练 MFU 提升 1.5 倍。。
最终,,LongCat 实现稳态日吞吐凌驾 1T tokens / day,,完成万亿参数 MoE 模子在国产算力上的稳固训练。。
在推理阶段,,LongCat-2.0 围绕模子、算子和框架举行协同优化:
通过大规模专家并行聚合访存带宽,,支持万亿参数 MoE 模子的低延迟解码;;;;;;将零盘算专家机制融入专家并行通讯流程,,使路由到零专家的 token 真正阻止不须要的传输与盘算;;;;;;针对通讯、Attention、GEMM 等焦点算子优化调理,,连系提前下发与权重预取等框架机制,,进一步降低推理链路中的期待开销。。
LongCat-2.0 接纳 LongCat Sparse Attention(LSA)希罕注重力机制,,在处理长文本时不再“逐字逐句地看”,,而是智能筛选要害信息,,将盘算量从平方级降至线性级。。这使得模子在 100 万 Token 的超长上下文中,,依然坚持信息定位与明确能力。。
代码使命中差别 token 重漂后差别重大 —— 界说变量名和推导递归算法对算力的需求完全差别。。LongCat-2.0 通过零盘算专家实现 token 级动态激活(33B~56B),,简朴 token 不必耗算力,,重大 token 自动获得更多盘算资源。。
LongCat-2.0 通过 MOPD 架构融合 Agent、Reasoning、Interaction 三组专家能力 ——Agent Experts 专攻工具挪用与自主纠错,,Reasoning Experts 深耕数学与 STEM 推理,,Interaction Experts 优化指令遵照与交互体验。。推理时由门控网络凭证使命类型动态调理最善于的专家,,而非简朴合并参数。。得益于此,,模子在编程、推理、交互等维度均体现突出。。
综合评测效果显示,,LongCat-2.0 在 Code 和 General Agent 场景体现优异。。
在编程能力方面,,LongCat-2.0 在考察深层工程能力的 SWE-bench Pro 中获得 59.5,,领先 Gemini 3.1 Pro(54.2)、 GPT-5.5(58.6)和 Claude Opus 4.6(57.3);;;;;;在 SWE-bench Multilingual 中取得 77.3 的效果,,与 Claude Opus 4.6(77.8)坚持在统一水位;;;;;;别的,,在真实终端指令交互评测 Terminal-Bench 2.1 中取得 70.8,,体现了其在真实运维与开发终端使命中的稳固执行与纠错能力。。在真实办公场景的重大使命处理方面,,LongCat-2.0 在搜索智能体评测集 RWSearch 中获得 78.8,,在生产力场景评测集 FORTE 中获得 73.2 ,,在 BrowseComp 中获得 79.9,,均抵达或靠近前沿闭源模子水平,,能够较好的契合企业级 Agent 的落地需求。。
IT之家附 API 开放平台地点如下:
王宏志先容,,目今,,人工智能与能源已驶入双向赋能的“快车道”。。能源领域人工智能的应用场景,,主要体现在三个方面。。
责任编辑:杨光芷 校对:许雅芳