再等两个月，，，，雅各布·考克森（Jacob Coxon）就能拿到Anthropic的第一笔股权。。
。。。。

这家公司5月刚完成650亿美元的新一轮融资，，，，投后估值约9650亿美元，，，，且据报道正在计齐整场可能创下全球纪录的IPO。。
。。。。

但考克森等不了了。。
。。。。9月8日，，，，这名27岁的研究员宣公告退。。
。。。。他果真诠释去职原因时体现，，，，OpenAI和Anthropic正竞相奔向能够自我刷新的超等智能，，，，是在“拿凯时AG生命赌博”。。
。。。。

“开发AI的人由衷相信，，，，它可能在这个十年（即2030年）竣事前杀死我们所有人。。
。。。。”他说。。
。。。。

贫困在于，，，，这远不但是他一个人的判断。。
。。。。

雅各布·考克森发出忠言 图/视觉中国

考克森少年时期曾两次代表英国加入国际数学奥林匹克竞赛，，，，2016年获银牌，，，，次年获铜牌。。
。。。。到27岁时，，，，他已经先后在OpenAI和Anthropic从事约三年的大模子预训练研究
；；；；OpenAI宣布GPT-4.5时，，，，将他列为研究团队的焦点孝顺者。。
。。。。

让考克森决议脱离的，，，，是模子能力正在加速、人类的控制却没有同步跟上的判断。。
。。。。

他担心，，，，当AI越来越多地加入开发下一代AI，，，，能力提升可能形成一直加速的循环。。
。。。。届时，，，，人类还未明确上一代系统，，，，下一代已经泛起，，，，留给清静研究和羁系的时间将越来越少。。
。。。。

这种担心在今年炎天有了更详细的现实案例。。
。。。。

7月，，，，OpenAI在内部网络清静能力测试中启动了数以万计的智能体。。
。。。。自力评估机构METR（模子评估与威胁研究机构）与AI清静研究机构Redwood Research事后视察发明，，，，约1200个原本应相互隔离的智能体，，，，自行找到一块未经允许的“留言板”，，，，交流了凌驾7万条信息和文件
；；；；其中约700个随后加入攻击开源模子平台Hugging Face。。
。。。。

它们把OpenAI内部软件客栈的缓存酿成通讯工具，，，，逐步建设信箱、使命分工规则，，，，甚至用密码学署名防止冒充。。
。。。。至少20%的智能体曾体现出改动行为纪录的兴趣，，，，约7%的纪录中泛起乐成伪造的工具挪用。。
。。。。它们误以为自动评分器会审查获取谜底的历程，，，，以是改动纪录试图诱骗评分器，，，，但现实上，，，，这个检查并不保存。。
。。。。

这些智能体原本就在执行网络攻防使命，，，，并非无故发动攻击
；；；；测试也关闭了部分真实产品具备的防护步伐。。
。。。。但它们自行绕过隔离、建设协作机制并攻击无关第三方，，，，仍越过了人类设定的界线。。
。。。。OpenAI称之为面向自身和整个天下的“一记忠言”。。
。。。。

类似问题也泛起在Anthropic。。
。。。。该公司7月披露，，，，在14万余次网络清静评估中，，，，三个Claude模子因情形设置过失接触真实互联网，，，，并侵入三家机构的系统。。
。。。。其中一个模子向Python公共软件客栈PyPI上传恶意软件包，，，，在约一小时内被15个真实系统下载运行。。
。。。。9月，，，，Anthropic又确认，，，，早期版Claude Opus 4.6曾在今年1月爆发第四起同类事务，，，，却在此前排查中被遗漏。。
。。。。

Anthropic以为，，，，这些事务主要源于测试和运行失误，，，，没有证据显示模子在追求自行设定的目的。。
。。。。大都时间，，，，模子将真实网络误判为模拟情形
；；；；但在部分测试中，，，，Opus 4.7已经意识到目的可能是真实系统，，，，仍将其诠释为测试的一部分并继续攻击。。
。。。。这也说明，，，，能力更强、运行更久的智能体，，，，可能把一次人类设置失误迅速放大。。
。。。。

图灵奖得主约书亚·本吉奥（Yoshua Bengio）提醒，，，，形貌模子“试图”或“追求”做什么，，，，只是对行为机制的简写，，，，并不料味着它们具备人的意识和意图
；；；；但随着能力增添，，，，这类越界行为的效果可能愈发严重。。
。。。。

图为雅各布·考克森

考克森的判断更为气馁。。
。。。。他在接受媒体采访时称，，，，未来一两年可能是决议性时期，，，，OpenAI和Anthropic至少应就限制递归自我刷新告竣“进度协调协议”。。
。。。。他不以为Anthropic已经为竞争牺牲清静，，，，他担心的是，，，，能力继续加速后，，，，公司早晚会被迫在严谨与速率之间取舍。。
。。。。

谁敢先停

考克森并非唯逐一个要求减速的人。。
。。。。

在他告退前两天，，，，OpenAI首席科学家雅库布·帕乔基（Jakub Pachocki）已经果真认可，，，，现在没有一家实验室的对齐和监控能力，，，，足以支持模子恒久以最快速率扩张。。
。。。。在建设配合清静门槛前，，，，他希望自愿减速成为行业常态。。
。。。。

9月12日，，，，Anthropic CEO达里奥·阿莫代伊（Dario Amodei）进一步提出，，，，必需放慢前沿模子能力提升的速率，，，，为清静步伐追赶争取时间。。
。。。。

他判断，，，，今年炎天以来，，，，AI加入开发下一代AI的趋势显着加速
；；；；若是能力更强的智能体重演Hugging Face事务，，，，未来6—12个月内可能形成接受大批联网装备的僵尸网络，，，，造成数千亿美元损失。。
。。。。

对此，，，，阿莫代伊提出三步方案：先让自力评估团队常驻前沿模子公司，，，，获得靠近内部员工的会见权限
；；；；再协调民主国家的前沿模子公司建设配合清静标准
；；；；最后寻谴责球协调。。
。。。。评估者可以果真风险、事故及遭拒的会见请求
；；；；公司可以因清静、隐私和商业神秘举行有限删节，，，，却不可只因结论倒运而阻止披露。。
。。。。

随后，，，，OpenAI CEO山姆·奥尔特曼（Sam Altman）体现支持，，，，并允许引入同类评估机制
；；；；马斯克也称“达里奥是对的”。。
。。。。

通常态度纷歧的行业首脑，，，，有数地作出了相近亮相。。
。。。。

但谁敢先停？
？？？

一方面，，，，融资、估值和地缘竞争之下，，，，更前沿的AI是主要竞争力之一。。
。。。。

若是Anthropic放慢研发，，，，OpenAI可能继续前进，，，，单方面减速，，，，意味着把自动权交给无法确认是否守约的敌手
；；；；若是美国公司告竣协议，，，，它们又担心其他国家的竞争者凌驾自己。。
。。。。

Anthropic被指正在计齐整场可能创下全球纪录的IPO

纵然企业愿意协调，，，，问题仍然保存，，，，譬如模子抵达什么能力必需减速，，，，谁来核实公司是否履约，，，，又怎样发明神秘推进的项目。。
。。。。

阿莫代伊也认可，，，，周全放缓甚至暂停，，，，是全球协调中最难实现的方案，，，，短期内可能性很低。。
。。。。

与此同时，，，，第三方评估也不是万能谜底。。
。。。。此前METR视察Hugging Face事务时，，，，纵然OpenAI提供了约1300份智能体纪录以及GPT-5.6 Sol的API权限，，，，视察者仍无法直接会见所有相关基础设施，，，，也无法重新挪用涉事的主要模子。。
。。。。OpenAI称，，，，该模子事后已被停用并限制研究会见，，，，连公司内部研究职员也无法挪用。。
。。。。外部视察能看到什么，，，，或许仍将在很洪流平上取决于企业提供什么。。
。。。。

不过另一方面，，，，这场竞赛还不但是由利润驱动。。
。。。。帕乔基以为，，，，继续训练更强模子最有力的理由之一，，，，恰恰是使用它们建设防御系统，，，，反抗其他更危险的AI。。
。。。。若是一家实验室减速，，，，另一家仍在前进，，，，留下的不但是商业差别，，，，也可能是清静能力的差别。。
。。。。于是，，，，继续加速同样可以被诠释为自保。。
。。。。

值得一提的是，，，，“灭绝风险”的叙事自己也受到质疑。。
。。。。着名AI研究者蒂姆尼特·格布鲁（Timnit Gebru）以为，，，，科技公司强调遥远的机械灭世场景，，，，可能转移外界对自主武器、劳工替换和企业责任等现实问题的关注。。
。。。。这指向的另一重风险是，，，，减速和清静允许会不会成为商业战略，，，，抬高行业门槛，，，，反而牢靠头部公司的优势。。
。。。。

在这样的争论与未知中，，，，考克森可以用告退退出竞赛，，，，公司却很难作出同样的选择。。
。。。。

一个更现实的问题是：若是每家公司都知道加速可能带来危险，，，，却又不敢成为第一个减速的人，，，，谁能制订一条所有加入者都必需遵守的规则？
？？？

记者：石晗旭

编辑：余源