凯时AG

谷歌宣布新开原模子:260亿参数,, ,,,,外地天生速率快约4倍

作者:林惠雯
宣布时间:2026-06-16 13:12:23
阅读量:986

谷歌宣布新开原模子:260亿参数,, ,,,,外地天生速率快约4倍

6月11日新闻,, ,,,,谷歌DeepMind宣布DiffusionGemma,, ,,,,Gemma开放权重模子家族的新成员。。。。。 。它不沿用主流谈天机械人的自回归蹊径,, ,,,,而是借鉴图像扩散模子的思绪并行天生和修正文本,, ,,,,换来更快的外地推理速率。。。。。 。

DiffusionGemma总参数约260亿,, ,,,,接纳混淆专家架构(MoE),, ,,,,支持多模态输入、文本输出。。。。。 。谷歌称,, ,,,,在专用GPU的低延迟外地推理场景下,, ,,,,其文本天生速率最高可比古板自回归模子快约4倍:单张NVIDIA H100凌驾1,000 token/秒,, ,,,,GeForce RTX 5090上凌驾700 token/秒。。。。。 。

不再逐字天生,, ,,,,而是铺出再修正

大都谈天机械人按顺序天生文本:前一个token出来后才华展望下一个,, ,,,,用户看到的是一行字逐步往外跳。。。。。 。DiffusionGemma的做法更靠近图像扩散模子——先用占位符铺出一段文本,, ,,,,再经多轮修正逐步获得最终效果,, ,,,,一次最多可并行处理256个token。。。。。 。硬件算力够用时,, ,,,,天生速率因此显着提高。。。。。 。

对外地AI使用者来说,, ,,,,这意味着:隐私敏感、网络不稳固或需要低延迟的场景,, ,,,,可以更多依赖本机显卡完成文本天生,, ,,,,不必把所有请求都发到云端。。。。。 。

260亿总参数,, ,,,,推理时只激活38亿

DiffusionGemma不是一个极小模子,, ,,,,但混淆专家架构让每次推理只激活约38亿参数。。。。。 。谷歌称这使它有时机在18GB显存级别的GPU上运行,, ,,,,门槛低于完整加载一律总参数的麋集模子。。。。。 。

谷歌把DiffusionGemma放进Gemma开放权重系统,, ,,,,延续了用可外地安排模子争取开发者生态的战略。。。。。 。

速率优势明确,, ,,,,文实质量仍待自力验证

扩散文本模子不是第一次泛起。。。。。 。它恒久未成为主流蹊径,, ,,,,要害原因是自然语言比图像更依赖语法顺序、上下文连贯和事实约束。。。。。 。天生得快,, ,,,,不即是写得稳。。。。。 。

DiffusionGemma证实晰扩散蹊径可以在开放权重文本模子上跑出显着速率优势。。。。。 。它能否在长文本、重大问答和事实准确性上靠近主流自回归模子,, ,,,,还需要更多自力评测给出谜底。。。。。 。(易句)

(本文由AI翻译,, ,,,,网易编辑认真校对)

 

文章点评

未盘问到任何数据!

揭晓谈论

◎接待加入讨论,, ,,,,请在这里揭晓您的看法、交流您的看法。。。。。 。

最新文章

热门文章

随机推荐

【网站地图】