作者丨薛皓皓
编辑丨关雎
已往一年,,,,美国科技圈掀起了一波以AI为名的裁人潮。。。。。逻辑很简朴:AI醒目活,,,,人就可以少要。。。。。
但现实并不如预期顺遂。。。。。
一项对300多家企业HR的访谈显示,,,,有36%的公司裁掉员工之后,,,,不得不把裁掉人数的其中一半重新招了回来。。。。。原因是AI还不敷稳固,,,,许多活照旧得人来干。。。。。
更讥笑的是,,,,裁人省下的钱,,,,被AI的Token账单吃掉了。。。。。
Uber是最典范的案例。。。。。去年12月,,,,Uber大力推广AI编码工具,,,,工程师普及率很快抵达95%。。。。。但4个月后,,,,Uber整年的AI预算就被打穿。。。。。总裁随即下令:每人每月AI工具开销,,,,上限卡死在1500美元。。。。。
另一个极端案例与OpenClaw有关。。。。。2026年5月,,,,已加入OpenAI的OpenClaw首创人Peter Steinberger宣布了一张使用统计截图。。。。。据媒体报道,,,,其三人团队使用了约100个Codex编码智能体实例;;;;;已往30天共提倡约760万次请求,,,,消耗约6030亿个Token, 使用的API等价本钱约为130.5万美元。。。。。
这背后有一个结构性原因:智能体不是在一步步完成使命,,,,而是在重复循环,,,,把每一轮的代码、报错日志、搜索效果重新塞进上下文窗口,,,,Token越烧越多。。。。。通俗对话每轮消耗约1万个Token,,,,推理模子升到10万,,,,智能体动辄凌驾100万。。。。。统一个使命跑两次,,,,消耗量可以相差30倍。。。。。
这场账单;;;;;,,,,正在倒逼整个行业重新思索AI的运行方式。。。。。为此,,,,创业邦与引航陪跑创业营的教练——原高通全球副总裁沈劲聊了聊这个话题。。。。。
01 Token消耗量上涨100倍
沈劲未曾想到,,,,跑AI Agent会云云花钱。。。。。
作为投资人,,,,他天天需要处理大宗的邮件、微信新闻和短信通知。。。。。这些事情繁琐但并不重大,,,,正是AI智能体最善于的领域。。。。。于是他在某着名通用AI Agent平台上搭建了一套事情流,,,,设定好触发条件,,,,让智能体天天自动跑一遍。。。。。
效果刚运行了一天,,,,就失事了。。。。。
他一个月拥有8000积分的额度,,,,按正常使用节奏,,,,这笔预算足够支持一个月的AI智能体花销。。。。。但智能体启动后,,,,它并没有在高效地处理使命,,,,而是泛起了种种BUG,,,,更严重的是一天之内,,,,8000个积分所有归零。。。。。
沈劲随即给平台方写了一封邮件,,,,语气榨取但诉求明确:我用了你们的官方模板,,,,按标准流程跑了一遍,,,,BUG没有修复,,,,8000个积分都没了,,,,请补回来。。。。。
对方没有回复。。。。。
“可能他们刚融完资,,,,近期推广推得又很猛,,,,顾不上处理这种售后的事情。。。。。”沈劲厥后这样诠释。。。。。平台方的默然一连了整整一个月,,,,直到下个月系统自动重置,,,,才又发放了新的8000积分。。。。。
“现在我不太敢用了,,,,预计过两天就把订阅作废掉。。。。。”他说这话的时间语气平庸,,,,但背后的结论却很尖锐——
这不是他一人遇到的征象,,,,而是整个行业都面临的问题。。。。。
微软也保存类似情形。。。。。旗下的装备体验部分(认真 Windows、Microsoft 365、Teams 等产品)曾为数千名开发职员,,,,甚至设计师和项目司理,,,,都开放了Claude Code使用权限。。。。。效果这一产品在内部大受接待,,,,账单也随之失控,,,,为了阻止过高的开支,,,,该部分要求在今年6月末,,,,作废绝大大都内部的 Claude Code 允许证。。。。。
随着ChatGPT横空出生后,,,,Token消耗也随着手艺沿革爆发了指数级别的飙升。。。。。沈劲以为,,,,ChatGPT类的对话式AI每轮消耗约1万个Token,,,,推理模子后每轮消耗约10万个Token,,,,智能体则每轮消耗约100万个Token。。。。。
以是,,,,从1万个Token飙升至100万个Token,,,,单位使用量在三年多的时间暴涨100倍。。。。。
这100倍消耗中的绝大部分,,,,并非用于天生内容(好比代码、文字、图片),,,,而是用于数据输入。。。。。
以代码天生的案例来看,,,,从相关研究显示,,,,输入Token和输出Token之比高达154:1。。。。。那输出一个Token,,,,需要输入154个Token,,,,那154个Token用在那里?????
谜底是AI将Token用于重复循环地读取代码库和报错日志。。。。。在每一轮对话中,,,,AI把上一轮的工具挪用效果、报错信息、网页搜索、代码内容等重新打包输入,,,,再举行下一轮修改。。。。。对话次数越多,,,,输入的Token消耗量越大,,,,Token消耗量就像滚雪球般急剧上升。。。。。
Token消耗量在三年时间暴涨的另一个原因在于,,,,本钱的不可展望。。。。。统一个使命,,,,执行两次,,,,Token消耗差别可达30倍——“做完这次使命花10美元,,,,下次同样使命可能要花300美元”沈劲说。。。。。
企艺府竿鸄I编程实现降本增效,,,,效果却可能适得其反。。。。。
Meta、微软等硅谷高科技大厂已在今年上半年裁掉超10万个岗位,,,,AI成为最频仍提及的理由——企业期望用AI替换人工,,,,而压缩本钱并提高效率。。。。。
讥笑的是,,,,许多企业发明高昂的AI账单,,,,叠加腾贵的驱逐用度,,,,已把AI带来“降本增效”盈利消耗殆尽。。。。。
“最近有一项报告说明,,,,凌驾三分之一的企业裁掉员工后,,,,不得不再召回裁掉用工数目的一半,,,,由于他们发明AI并未带来预期水平的节约本钱和提高效率。。。。。”沈劲说。。。。。
02 GPU赢了三年,,,,CPU要翻身了
智能体AI给我们带来的转变, 不但仅是腾贵的Token消耗, 也让CPU要咸鱼翻身了. 已往三年多时间,,,,所有人的注重力都在GPU上。。。。。2025年,,,,Meta、微软、谷歌和亚马逊仅这4家公司,,,,就在AI智算中心上破费超3000亿美元,,,,而其中六成用于采购GPU。。。。。
在AI智算中心的一台服务器内部,,,,GPU和CPU配比约为8:1,,,,GPU需求量远高于CPU。。。。。
GPU和CPU需求量的悬殊差别,,,,也反映在头部公司的市值上:2025年底,,,,GPU头部公司英伟达市值突破三万亿美元,,,,而同期CPU头部公司英特尔市值仅不到2000亿美元。。。。。
不过在沈劲看来,,,,GPU和CPU配比正在爆发要害转变:GPU和CPU之比,,,,正从8:1转变为1:1。。。。。“在AI Agent时代,,,,CPU正在悄然回到舞台中央。。。。。”沈劲说。。。。。
GPU的强项在于天生内容,,,,但AI Agent最消耗资源的地方,,,,不是在内容天生,,,,是在“编排”和“调理”,,,,这是CPU的强项。。。。。
详细而言,,,,AI Agent需要CPU做以下事情:使命编排(决议先做什么、再做什么)、状态的长期化维护(记着上一步做到那里了)、高并发的API挪用(同时向多个外部系统发出请求)、重大的沙盒情形治理(给代码运行提供隔离的测试空间),,,,以及挪用种种工具——浏览器、数据库、搜索引擎。。。。。
沈劲以自身订机票的案例来说明CPU对Agent的作用:他曾用Agent帮自己搜索一段极其苛刻的多航段行程:上海出发,,,,途经西班牙、多伦多,,,,最终抵达圣地亚哥;;;;;凌驾7小时的航段必需是能躺平的商务舱,,,,7小时以内的航段只要经济舱;;;;;所有方案里总价最自制,,,,且登机时间不可太早。。。。。
这个使命,,,,智能体需重复挪用各大航空公司的数据接口和携程这样的OTA平台,,,,把几十种方案的价钱、舱位、时间所有拉取出来,,,,再凭证多个条件举行比对和筛选。。。。。
整个历程里,,,,GPU险些无用武之地——整个历程险些不涉及内容天生,,,,有的只是海量的数据调取、较量和编排。。。。。最终,,,,CPU相对GPU的使用率飙升到了70%~80%。。。。。
沈劲还分享了几个详细案例:
由此可见,,,,使命越重大、越依赖外部数据调取和多方法编排,,,,CPU的占比就越高。。。。。
现在,,,,新的AI硬件想将云端的运算模式,,,,转变为电脑外地的运算模式。。。。。
这背后的逻辑并不重大。。。。。云端的运算模式,,,,是一个“用几多花几多”的Token计量方式——每一次挪用、每一轮循环,,,,都在按Token计费。。。。。智能体的“上下文雪球效应”让这个问题雪上加霜:循环越多,,,,输入Token越多,,,,账单越高,,,,没有上限。。。。。
更主要的是,,,,云端数据中心的硬件设置是以GPU为焦点设计的(GPU与CPU的比例约为8:1),,,,而GPU自己就是为大规模内容天生优化的,,,,并不善于智能体所需要的高频调理和工具挪用——这些恰恰是CPU的强项。。。。。
外地装备则完全差别。。。。。每台PC里都有性能强劲的CPU,,,,自然适合承接智能体的编排和调理事情;;;;;更要害的是,,,,外地运算不按Token计费,,,,智能体跑几多轮、循环几多次,,,,都不会爆发特另外账单。。。。。
今年6月1日,,,,英伟达在台湾宣布的RTX Spark硬件,,,,正是专门针对外地AI Agent适配的新型硬件载体。。。。。
这台装备的焦点,,,,是一颗专门为智能体打造的定制芯片N1X——它把GPU和CPU封装在一起。。。。。并且,,,,英伟达与微软相助,,,,对Windows 11举行了13项要害能力的底层刷新,,,,目的是把古板的PC操作系统升级为"智能体OS"——既能让智能体在外地高效运行,,,,又能兼容用户已经习惯的所有软件。。。。。
03苹果:打造兼具隐私和省钱的AI
英伟达RTX Spark将把算力从云端拉回外地,,,,但在云端和终端漫衍式AI方面,,,,苹果一直处于第一梯队。。。。。
在近期举行的WWDC上,,,,苹果正式推出了自己全新的AI解决方案。。。。。“当硅谷大厂都在卷上千亿、上万亿参数的大语言模子时,,,,苹果却在追求最懂个人、最清静、最能调理种种工具的AI。。。。。”沈劲以为。。。。。
苹果推出了凭证AI使命重漂后而切分的五层系统。。。。。
第一层在手机外地,,,, 一个30亿参数的轻量模子,,,,专门处理天天被触发几十次的日常需求:总结通知、提炼短信摘要、调解写作语气。。。。。它完全不联网,,,,Token本钱为0。。。。。
第二层也在手机外地,,,, 一个200亿参数的希罕模子,,,,每次只激活其中10到40亿参数。。。。。它认真更高质量的Siri对话、多模态明确(好比看懂照片里的内容)。。。。。依然不联网,,,,Token本钱为0。。。。。
第三层最先上云,,,,但上的是苹果自己的私有云。。。。。当使命涉及重大推理、多方法的智能体事情流、或者高质量图像天生时,,,,请求会被送到装有苹果自研芯片的服务器上,,,,由苹果自研的主力语言模子来处理。。。。。
第四层也在苹果私有云,,,,认真处理的是高质量图像天生和重大的图像编辑,,,,用的也是苹果自研模子。。。。。
第五层会在谷歌公有云,,,,跑在英伟达GPU上,,,,处理前四层都搞未必的极端使命,,,,好比高级数学推理和极重大的多模态明确。。。。。
沈劲以为,,,,苹果这套分层架构同时服务于两个目的:省钱和;;;;;ひ私。。。。。能在手机外地解决的,,,,绝不上云;;;;;必需上云的,,,,优先走苹果自己的私有云;;;;;只有少少数最重大的使命,,,,才会流入谷歌的公有云。。。。。
关于这场Token账单的失控,,,,沈劲以为至少有四个值得创业者思索的偏向:
第一个偏向,,,,是做消耗类AI终端以及在终端的AI小模子。。。。。手机市场已经没有悬念——海内就那五六家,,,,名堂早已锁死。。。。。但手机之外的C端装备,,,,盒子、眼镜、手表,,,,依然有着诸多机缘。。。。。
第二个偏向,,,,是做漫衍式智能体AI的运营商。。。。。当端云协同成为主流,,,,必定需要一个调理层——它的事情是判断哪个使命在那里跑最合适:外地小模子、苹果私有云、照旧公有云大模子,,,,并认真使命编排和状态维护。。。。。
第三个偏向,,,,做Context Engineering(上下文工程)手艺公司。。。。。现在,,,,Token消耗自己的问题,,,,还未完全解决。。。。。他的判断是:若是有一家公司能做出一其中心层,,,,让企业的请求在进入云端大模子之前先经由压缩和优化,,,,把Token消耗镌汰60%,,,,“肯定许多公司愿意通过这一平台来做”。。。。。
第四个偏向,,,,做CPU,,,,岂论是超算中心的CPU,,,,照旧PC、手机、边沿盒子等终端的CPU,,,,都是创业的极佳的偏向。。。。。
接待点击链接报名引航陪跑创业营:https://www.coachingcamp.cn/
半岛(三面环水,,,,一面与陆地相连)