作者丨薛皓皓
编辑丨关雎
已往一年,,,,,美国科技圈掀起了一波以AI为名的裁人潮。。。逻辑很简朴:AI醒目活,,,,,人就可以少要。。。
但现实并不如预期顺遂。。。
一项对300多家企业HR的访谈显示,,,,,有36%的公司裁掉员工之后,,,,,不得不把裁掉人数的其中一半重新招了回来。。。原因是AI还不敷稳固,,,,,许多活照旧得人来干。。。
更讥笑的是,,,,,裁人省下的钱,,,,,被AI的Token账单吃掉了。。。
Uber是最典范的案例。。。去年12月,,,,,Uber大力推广AI编码工具,,,,,工程师普及率很快抵达95%。。。但4个月后,,,,,Uber整年的AI预算就被打穿。。。总裁随即下令:每人每月AI工具开销,,,,,上限卡死在1500美元。。。
另一个极端案例与OpenClaw有关。。。2026年5月,,,,,已加入OpenAI的OpenClaw首创人Peter Steinberger宣布了一张使用统计截图。。。据媒体报道,,,,,其三人团队使用了约100个Codex编码智能体实例;;;;;;已往30天共提倡约760万次请求,,,,,消耗约6030亿个Token, 使用的API等价本钱约为130.5万美元。。。
这背后有一个结构性原因:智能体不是在一步步完成使命,,,,,而是在重复循环,,,,,把每一轮的代码、报错日志、搜索效果重新塞进上下文窗口,,,,,Token越烧越多。。。通俗对话每轮消耗约1万个Token,,,,,推理模子升到10万,,,,,智能体动辄凌驾100万。。。统一个使命跑两次,,,,,消耗量可以相差30倍。。。
这场账单;;;;;;,,,,,正在倒逼整个行业重新思索AI的运行方式。。。为此,,,,,创业邦与引航陪跑创业营的教练——原高通全球副总裁沈劲聊了聊这个话题。。。
01 Token消耗量上涨100倍
沈劲未曾想到,,,,,跑AI Agent会云云花钱。。。
作为投资人,,,,,他天天需要处理大宗的邮件、微信新闻和短信通知。。。这些事情繁琐但并不重大,,,,,正是AI智能体最善于的领域。。。于是他在某着名通用AI Agent平台上搭建了一套事情流,,,,,设定好触发条件,,,,,让智能体天天自动跑一遍。。。
效果刚运行了一天,,,,,就失事了。。。
他一个月拥有8000积分的额度,,,,,按正常使用节奏,,,,,这笔预算足够支持一个月的AI智能体花销。。。但智能体启动后,,,,,它并没有在高效地处理使命,,,,,而是泛起了种种BUG,,,,,更严重的是一天之内,,,,,8000个积分所有归零。。。
沈劲随即给平台方写了一封邮件,,,,,语气榨取但诉求明确:我用了你们的官方模板,,,,,按标准流程跑了一遍,,,,,BUG没有修复,,,,,8000个积分都没了,,,,,请补回来。。。
对方没有回复。。。
“可能他们刚融完资,,,,,近期推广推得又很猛,,,,,顾不上处理这种售后的事情。。。”沈劲厥后这样诠释。。。平台方的默然一连了整整一个月,,,,,直到下个月系统自动重置,,,,,才又发放了新的8000积分。。。
“现在我不太敢用了,,,,,预计过两天就把订阅作废掉。。。”他说这话的时间语气平庸,,,,,但背后的结论却很尖锐——
这不是他一人遇到的征象,,,,,而是整个行业都面临的问题。。。
微软也保存类似情形。。。旗下的装备体验部分(认真 Windows、Microsoft 365、Teams 等产品)曾为数千名开发职员,,,,,甚至设计师和项目司理,,,,,都开放了Claude Code使用权限。。。效果这一产品在内部大受接待,,,,,账单也随之失控,,,,,为了阻止过高的开支,,,,,该部分要求在今年6月末,,,,,作废绝大大都内部的 Claude Code 允许证。。。
随着ChatGPT横空出生后,,,,,Token消耗也随着手艺沿革爆发了指数级别的飙升。。。沈劲以为,,,,,ChatGPT类的对话式AI每轮消耗约1万个Token,,,,,推理模子后每轮消耗约10万个Token,,,,,智能体则每轮消耗约100万个Token。。。
以是,,,,,从1万个Token飙升至100万个Token,,,,,单位使用量在三年多的时间暴涨100倍。。。
这100倍消耗中的绝大部分,,,,,并非用于天生内容(好比代码、文字、图片),,,,,而是用于数据输入。。。
以代码天生的案例来看,,,,,从相关研究显示,,,,,输入Token和输出Token之比高达154:1。。。那输出一个Token,,,,,需要输入154个Token,,,,,那154个Token用在那里??????
谜底是AI将Token用于重复循环地读取代码库和报错日志。。。在每一轮对话中,,,,,AI把上一轮的工具挪用效果、报错信息、网页搜索、代码内容等重新打包输入,,,,,再举行下一轮修改。。。对话次数越多,,,,,输入的Token消耗量越大,,,,,Token消耗量就像滚雪球般急剧上升。。。
Token消耗量在三年时间暴涨的另一个原因在于,,,,,本钱的不可展望。。。统一个使命,,,,,执行两次,,,,,Token消耗差别可达30倍——“做完这次使命花10美元,,,,,下次同样使命可能要花300美元”沈劲说。。。
企艺府竿鸄I编程实现降本增效,,,,,效果却可能适得其反。。。
Meta、微软等硅谷高科技大厂已在今年上半年裁掉超10万个岗位,,,,,AI成为最频仍提及的理由——企业期望用AI替换人工,,,,,而压缩本钱并提高效率。。。
讥笑的是,,,,,许多企业发明高昂的AI账单,,,,,叠加腾贵的驱逐用度,,,,,已把AI带来“降本增效”盈利消耗殆尽。。。
“最近有一项报告说明,,,,,凌驾三分之一的企业裁掉员工后,,,,,不得不再召回裁掉用工数目的一半,,,,,由于他们发明AI并未带来预期水平的节约本钱和提高效率。。。”沈劲说。。。
02 GPU赢了三年,,,,,CPU要翻身了
智能体AI给我们带来的转变, 不但仅是腾贵的Token消耗, 也让CPU要咸鱼翻身了. 已往三年多时间,,,,,所有人的注重力都在GPU上。。。2025年,,,,,Meta、微软、谷歌和亚马逊仅这4家公司,,,,,就在AI智算中心上破费超3000亿美元,,,,,而其中六成用于采购GPU。。。
在AI智算中心的一台服务器内部,,,,,GPU和CPU配比约为8:1,,,,,GPU需求量远高于CPU。。。
GPU和CPU需求量的悬殊差别,,,,,也反映在头部公司的市值上:2025年底,,,,,GPU头部公司英伟达市值突破三万亿美元,,,,,而同期CPU头部公司英特尔市值仅不到2000亿美元。。。
不过在沈劲看来,,,,,GPU和CPU配比正在爆发要害转变:GPU和CPU之比,,,,,正从8:1转变为1:1。。。“在AI Agent时代,,,,,CPU正在悄然回到舞台中央。。。”沈劲说。。。
GPU的强项在于天生内容,,,,,但AI Agent最消耗资源的地方,,,,,不是在内容天生,,,,,是在“编排”和“调理”,,,,,这是CPU的强项。。。
详细而言,,,,,AI Agent需要CPU做以下事情:使命编排(决议先做什么、再做什么)、状态的长期化维护(记着上一步做到那里了)、高并发的API挪用(同时向多个外部系统发出请求)、重大的沙盒情形治理(给代码运行提供隔离的测试空间),,,,,以及挪用种种工具——浏览器、数据库、搜索引擎。。。
沈劲以自身订机票的案例来说明CPU对Agent的作用:他曾用Agent帮自己搜索一段极其苛刻的多航段行程:上海出发,,,,,途经西班牙、多伦多,,,,,最终抵达圣地亚哥;;;;;;凌驾7小时的航段必需是能躺平的商务舱,,,,,7小时以内的航段只要经济舱;;;;;;所有方案里总价最自制,,,,,且登机时间不可太早。。。
这个使命,,,,,智能体需重复挪用各大航空公司的数据接口和携程这样的OTA平台,,,,,把几十种方案的价钱、舱位、时间所有拉取出来,,,,,再凭证多个条件举行比对和筛选。。。
整个历程里,,,,,GPU险些无用武之地——整个历程险些不涉及内容天生,,,,,有的只是海量的数据调取、较量和编排。。。最终,,,,,CPU相对GPU的使用率飙升到了70%~80%。。。
沈劲还分享了几个详细案例:
由此可见,,,,,使命越重大、越依赖外部数据调取和多方法编排,,,,,CPU的占比就越高。。。
现在,,,,,新的AI硬件想将云端的运算模式,,,,,转变为电脑外地的运算模式。。。
这背后的逻辑并不重大。。。云端的运算模式,,,,,是一个“用几多花几多”的Token计量方式——每一次挪用、每一轮循环,,,,,都在按Token计费。。。智能体的“上下文雪球效应”让这个问题雪上加霜:循环越多,,,,,输入Token越多,,,,,账单越高,,,,,没有上限。。。
更主要的是,,,,,云端数据中心的硬件设置是以GPU为焦点设计的(GPU与CPU的比例约为8:1),,,,,而GPU自己就是为大规模内容天生优化的,,,,,并不善于智能体所需要的高频调理和工具挪用——这些恰恰是CPU的强项。。。
外地装备则完全差别。。。每台PC里都有性能强劲的CPU,,,,,自然适合承接智能体的编排和调理事情;;;;;;更要害的是,,,,,外地运算不按Token计费,,,,,智能体跑几多轮、循环几多次,,,,,都不会爆发特另外账单。。。
今年6月1日,,,,,英伟达在台湾宣布的RTX Spark硬件,,,,,正是专门针对外地AI Agent适配的新型硬件载体。。。
这台装备的焦点,,,,,是一颗专门为智能体打造的定制芯片N1X——它把GPU和CPU封装在一起。。。并且,,,,,英伟达与微软相助,,,,,对Windows 11举行了13项要害能力的底层刷新,,,,,目的是把古板的PC操作系统升级为"智能体OS"——既能让智能体在外地高效运行,,,,,又能兼容用户已经习惯的所有软件。。。
03苹果:打造兼具隐私和省钱的AI
英伟达RTX Spark将把算力从云端拉回外地,,,,,但在云端和终端漫衍式AI方面,,,,,苹果一直处于第一梯队。。。
在近期举行的WWDC上,,,,,苹果正式推出了自己全新的AI解决方案。。。“当硅谷大厂都在卷上千亿、上万亿参数的大语言模子时,,,,,苹果却在追求最懂个人、最清静、最能调理种种工具的AI。。。”沈劲以为。。。
苹果推出了凭证AI使命重漂后而切分的五层系统。。。
第一层在手机外地,,,,, 一个30亿参数的轻量模子,,,,,专门处理天天被触发几十次的日常需求:总结通知、提炼短信摘要、调解写作语气。。。它完全不联网,,,,,Token本钱为0。。。
第二层也在手机外地,,,,, 一个200亿参数的希罕模子,,,,,每次只激活其中10到40亿参数。。。它认真更高质量的Siri对话、多模态明确(好比看懂照片里的内容)。。。依然不联网,,,,,Token本钱为0。。。
第三层最先上云,,,,,但上的是苹果自己的私有云。。。当使命涉及重大推理、多方法的智能体事情流、或者高质量图像天生时,,,,,请求会被送到装有苹果自研芯片的服务器上,,,,,由苹果自研的主力语言模子来处理。。。
第四层也在苹果私有云,,,,,认真处理的是高质量图像天生和重大的图像编辑,,,,,用的也是苹果自研模子。。。
第五层会在谷歌公有云,,,,,跑在英伟达GPU上,,,,,处理前四层都搞未必的极端使命,,,,,好比高级数学推理和极重大的多模态明确。。。
沈劲以为,,,,,苹果这套分层架构同时服务于两个目的:省钱和;;;;;;ひ私。。。能在手机外地解决的,,,,,绝不上云;;;;;;必需上云的,,,,,优先走苹果自己的私有云;;;;;;只有少少数最重大的使命,,,,,才会流入谷歌的公有云。。。
关于这场Token账单的失控,,,,,沈劲以为至少有四个值得创业者思索的偏向:
第一个偏向,,,,,是做消耗类AI终端以及在终端的AI小模子。。。手机市场已经没有悬念——海内就那五六家,,,,,名堂早已锁死。。。但手机之外的C端装备,,,,,盒子、眼镜、手表,,,,,依然有着诸多机缘。。。
第二个偏向,,,,,是做漫衍式智能体AI的运营商。。。当端云协同成为主流,,,,,必定需要一个调理层——它的事情是判断哪个使命在那里跑最合适:外地小模子、苹果私有云、照旧公有云大模子,,,,,并认真使命编排和状态维护。。。
第三个偏向,,,,,做Context Engineering(上下文工程)手艺公司。。。现在,,,,,Token消耗自己的问题,,,,,还未完全解决。。。他的判断是:若是有一家公司能做出一其中心层,,,,,让企业的请求在进入云端大模子之前先经由压缩和优化,,,,,把Token消耗镌汰60%,,,,,“肯定许多公司愿意通过这一平台来做”。。。
第四个偏向,,,,,做CPU,,,,,岂论是超算中心的CPU,,,,,照旧PC、手机、边沿盒子等终端的CPU,,,,,都是创业的极佳的偏向。。。
接待点击链接报名引航陪跑创业营:https://www.coachingcamp.cn/
罗子渊认可,,,,,她和胡冰都是那种很有趣的人,,,,,很喜欢发明生涯中的兴趣。。。但作为品牌认真人,,,,,这种选品和创意方式也很有主观色彩,,,,,难免会泛起判断失误,,,,,有时间她以为很有意思的产品,,,,,上市后却少人问津,,,,,造成货物积压。。。为了把这种判断失误带来的损失降到最低,,,,,现在的“止痒市肆”也会尽可能选择一些生涯中的刚需产品,,,,,让有趣的工具也能有用,,,,,好比水杯、卫生纸等。。。
责任编辑:黄宇财 校对:潘中妹