凯时AG

浪潮信息刘军:让智能成为可规 ;;┯Φ淖试

随着AI从回覆问题走向执行使命,,,用户发出一条指令后,,,智能体需要制订妄想、挪用工具、检查效果,,,并凭证反馈调解后续方法。。。。而完成一项使命,,,可能需要挪用模子数十次甚至数百次,,,关于需要多个智能体协作的重大使命,,,整个历程可能一连数小时以致数天。。。。

这种转变对盘算系统提出了新的要求。。。。

9月21日,,,在2026人工智能盘算大会(AICC2026)上,,,浪潮信息提出,,,盘算工业正在从“提供算力”走向“生产智能”。。。。权衡一套盘算系统的价值,,,除了统计芯片、服务器和存储数目,,,还需要看它能运行什么样的模子、完成多重大的使命,,,以及提供这些服务需要花几多钱。。。。

浪潮信息首席AI战略官刘军将智能体时代的AI盘算概括为两个演进偏向:能力型智算与容量型智算。。。 ;;嵘希,浪潮信息宣布元脑SD200 Ultra超节点AI服务器和元脑HC2000多元算力机组,,,划分面向前沿模子运行与大规模推理需求。。。。

刘军体现:“智能体的生长,,,让智能有望像盘算和电力一样,,,成为可以规 ;;凸┯Φ淖试础!!。浪潮信息以为,,,这意味着人工智能盘算既要支持前沿智能突破能力界线,,,也要推动智能充分供应,,,沿着能力型智算与容量型智算两个偏向配合生长。。。。能力型智算着眼于智能能够抵达的高度,,,支持人工智能解决已往解决不了的问题。。。。而智能的价值还取决于有几多人能够获得它,,,这也是容量型智算的意义:通过效率提升和本钱下降,,,让更多人和企业用得起、用得上。。。。正如稳固、廉价的电力进入千家万户,,,智能也应从稀缺资源逐步成为整个社会都能获得的基础能力。。。。为此,,,需要以贯串式舷立异提升盘算效率,,,以开放立异汇聚工业实力,,,让智能能力的突破与智能供应的扩大同步推进。。。。”

刘军指出,,,面向这两类需求,,,盘算系统需要以大模子和智能体负载为牵引,,,统打算子、内存、互连与整机系统,,,从局部优化走向贯串式舷立异。。。。

刘军举了科学探索的例子:未来,,,一个AI Scientist可能自力阅读论文、提出假设、设计实验、剖析效果,,,并一直修正判断。。。。这类使命对模子能力要求较高,,,也需要盘算系统长时间支持模子挪用、工具交互和数据处理。。。。

其中,,,时延会直接影响使命进度。。。。一次模子挪用只慢一点,,,在数十次甚至数百次循环中就可能形成显着的期待。。。。若是使命涉及生产故障处理或实时科学视察,,,处理速率还会影响系统能否实时完成判断。。。。使命一连时间越长,,,盘算、通讯和软件的稳固性也越主要。。。。

浪潮信息以为,,,超节点可以突破古板单机的盘算界线,,,将更多芯片和内存组织到统一个高效协同的盘算域中。。。。要害是让模子权重、KV Cache等数据在芯片和内存之间顺畅流动,,,镌汰搬移和通讯期待。。。。增添芯片数目之后,,,能否让它们高效配合,,,决议了新增资源能施展几多作用。。。。

与此同时,,,容量型智算更体贴同样一笔投入能提供几多智能服务。。。。

凭证浪潮信息的剖析,,,推理历程中的差别环节对硬件要求并不相同:Prefill阶段并行度高、盘算麋集,,,对算力有更高需求 ;;Decode阶段的Attention盘算需要重复读取KV Cache,,,对显存容量和通讯带宽有较高要求 ;;其他希罕盘算也有各自的访存特点。。。。

因此,,,盘算系统需要按使命特点分配资源,,,再通过软件协调各个环节。。。。哪些使命交给哪类芯片、资源是否闲置、数据传输是否造成期待,,,都关系到最终的Token产出。。。。对需要一连挪用智能体的用户而言,,,这些效率差别会体现在使用本钱上。。。。

据浪潮信息披露,,,此次宣布的元脑SD200 Ultra可单机承载运行2.8万亿参数的Kimi K3模子,,,Token天生时延低至5.85毫秒,,,对应单用户天生速率凌驾170 Tokens/s。。。。

据相识,,,该产品接纳3D Hyper Mesh架构,,,以开放系统设计紧耦合128芯本土AI芯片,,,提供8TB统一编址显存和64TB内存,,,支持10万亿参数规模前沿模子单机运行。。。。通过统一寻址和GPU显存直连,,,系统镌汰跨芯片会见中转,,,通讯时延低至0.69微秒 ;;短距铜缆互连则用于镌汰光电转换环节,,,降低链路故障风险。。。。

据先容,,,针对Kimi K3的推理特点,,,SD200 Ultra还通过盘算与通讯融合、Tile级流水等超等算子手艺,,,镌汰算子启动和显存会见开销,,,使模子推理性能提升3倍以上。。。。

元脑HC2000则接纳DirectCom 2.0架构,,,搭配高密液冷AI整机柜和MCIS推理软件栈,,,按负载需求匹配、调解资源。。。。在浪潮信息展示的典范智能体使命场景中,,,安排DeepSeek v4推理服务并坚持相同服务水平目的约束时,,,一律投资Token产能提升10倍。。。。

从能力型智算到容量型智算,,,刘军所强调的两个偏向,,,最终都涉及智能怎样被更多人一连使用。。。。关于企业而言,,,更强的模子需要转化为能够稳固运行、本钱可以遭受的服务,,,才华进入日常事情。。。。算力投入的价值,,,也需要在这些详细应用中获得磨练。。。。(定西)

免责声明:本内容来自腾讯平台创作者,,,不代表腾讯新闻或腾讯网的看法和态度。。。。

相关推荐

热门应用推荐

腾讯新闻·电脑版
全网热门早知道

精选视频

众智启新,,,共创移动通讯未来十年

作者其他文章

?
顶部
【网站地图】