美团LongCat-2.0开源推理代码 大模子总参数达1.6万亿
泉源:环球网
【环球网科技报道 记者 李文瑶】7月6日,,,,,美团宣布将万亿参数大模子LongCat-2.0正式开源,,,,,并同步开放针对国产算力芯片深度优化的推理代码。。。。该模子总参数达1.6万亿,,,,,平均激活约48B,,,,,专为真实的Agentic Coding使命设计。。。。
LongCat-2.0在架构上引入了LongCat希罕注重力机制(LSA)和N-gram Embedding,,,,,前者通过流感知索引、跨层索引等战略提升百万级长上下文的训练与推理效率,,,,,后者以135B参数投入新???椋,,,在MoE希罕度靠近97%的配景下进一步强化代码明确与天生能力。。。。后训练阶段,,,,,模子接纳多西席在线蒸馏,,,,,将专家分为Agent、推理和交互三类,,,,,兼顾自主执行、自顺应推理与清静对齐。。。。
值得关注的是,,,,,官方透露,,,,,LongCat-2.0是业界首个在五万卡国产算力集群上完成推理的万亿参数模子。。。。团队从模子架构、芯片适配到安排战略举行深度协同优化:通过Super Kernel镌汰算子启动开销、Weight Prefetch隐藏I/O延迟,,,,,并接纳PD疏散安排与KV-cache切分,,,,,有用缓解显存与带宽瓶颈,,,,,实现百万上下文在国产芯片上的稳固推理。。。。
美团此次开源同步提供BF16、FP8及INT8等多精度版本,,,,,笼罩差别算力平台安排需求。。。。官方体现,,,,,希望以开源为纽带,,,,,盘活存量国产算力,,,,,让更多国产卡包括老卡都能流通安排万亿大模子推理服务,,,,,释放国产算力生态的恒久价值。。。。
@蔡于纬:微信三公怎么玩法,,,,,周星驰张艺兴现身深圳@郭伦阳:深圳机场“We are sorry”广播引热议
@张琇纶:演员杨雪回应完婚原因
热门排行
- 1 竞博电竞登录官网
- 2 爱游戏全站app官方
- 3 凤凰平台官网
- 4 体育电竞游戏
- 5 竞猜世界杯足球
- 6 火狐体育在线官方
- 7 世界杯指定投注站
- 8 19体育专业平台
- 9 星空app下载电视版