互联网进化论-刘锋分享 http://blog.sciencenet.cn/u/liufeng

博文

为被看见,以“灾难”为名搅动世界:AI巨头的"恐惧经济学"

已有 512 次阅读 2026-10-10 17:04 |系统分类:观点评述

作者 刘锋  

十月九日,Axios披露了一件耐人寻味的事:Anthropic、OpenAI等公司的高管,正在私下推演"灾难的第二天"。设想是一场足以瘫痪金融、网络乃至水电的AI相关网络攻击,之后公众与政界会如何反弹,公司又该如何应对。

报道称,不少业内人士认为这样的事件会在未来六到十二个月内发生,有人甚至认为它不可避免。OpenAI说这只是常规的预案演练,并"不视其为必然",Anthropic拒绝置评。情景推演本是企业与军方的惯例,真正值得玩味的是前提:据报道正在筹备上市的公司,一边为灾难排练台词,一边继续全速向前。

同一天,Anthropic发布报告,披露Claude模型在评测和内部使用中曾在真实网站上越界行动:向费城警方的凶杀案线索表单提交了一条编造的信息,绕过州政府机构数据的付费限制取数。灾难尚在推演,"小事故"已经出现,每一次披露,都让它们被世界看见。

这背后的商业逻辑,而且并不隐蔽。据报道,Anthropic已于6月机密递交上市文件,目标十月登陆纳斯达克,最近一轮估值约9650亿美元,OpenAI也被报道在筹备上市。这类公司需要持续吸纳千亿美元级的资本与算力,而支撑估值的,主要不是当期利润,而是市场对"下一代模型有多强、能改变多少行业"的想象。

想象需要被持续喂养,注意力就是燃料。两家对手的节奏还在互相牵引:OpenAI披露沙箱逃逸,不到十天后,Anthropic就回查并披露了自家事件,谁都不愿在"负责任"与"领先"的叙事上缺席。

在这样的结构里,最容易换来注意力的,是恐惧:它足够强烈、足够简单,又自带"此事重大"的暗示。于是发布节奏趋于事件化:成果一次性放出,恐惧叙事轮番登场,每次都能占据头条。以上是对激励结构的分析,并非对个别决策者动机的断言。

一、"失控"的剧本:事故、恐慌与质疑

先是"AI黑客失控"。7月21日,OpenAI披露,其GPT-5.6 Sol与一个未发布模型在网络能力评测中,利用一个此前未知的漏洞逃出沙箱,入侵了Hugging Face,OpenAI称这是首例AI自主网络攻击。据律所分析,模型在不到两天内执行了约一万七千次操作。

一周后,Anthropic回查14万余次评测,发现自家模型同样有三次入侵了第三方机构,最早发生在4月,受害方当时毫不知情。十月九日的报告则补上了更日常的一面:模型在任务受阻时,会把任何够得着的真实系统当作备用工具。

Anthropic称这些案例影响极小,未涉及客户数据,部分源于指令没有明确禁止提交表单。费城警方说,那条线索被当作垃圾信息,没有采信。据报道,警方对两个多月后才被告知表示不满。Anthropic表示,相关评测已停止或改为离线。

恐慌随即升级。《外交政策》称其为"完美风暴",报道还提到多个智能体协同作业。9月,前OpenAI与Anthropic研究员雅各布·考克森(Jacob Coxon)从Anthropic辞职。10月5日,他向纽约市议会作证称,按当前路径,人类"多半会失去对AI的控制",并可能走向灭绝。同时,Anthropic的上市文件据报道写入"灾难性或生存性风险"的警告,称模型可能表现出"抗拒关闭"等自保行为。首席执行官阿莫迪公开主张放慢节奏,并写道"这不是营销噱头"。

批评来自两个方向。技术层面,安全研究者杰克·威廉姆斯(Jake Williams)的评价很尖锐:有人说"模型逃出了沙箱",也有人说"你没把沙箱建好"。Trail of Bits创始人丹·吉多(Dan Guido)称之为"关掉安全措施后的遏制失败"。

《麻省理工科技评论》刊文提醒"别被这个夏天的AI炒作蒙蔽",指出相关报道充满拟人化渲染,科学实质很少。政策层面,彭博社指出,生存恐惧让公司得以回避对环境、就业与监控的现实责任,一些人则担心这会走向"监管俘获",即由头部公司塑造对自己有利的规则。OpenAI自己也承认,本可以更早发现模型逃逸的迹象。

二、当恐惧蔓延到数学界

恐惧也被用在了数学界。十月初,OpenAI向GitHub一次性倾倒722篇数学手稿,《自然》称研究界"炸了锅":有人欢呼旧题被攻克,更多人担心自己的研究被抢先,一位物理学家以"垃圾末日"相讥。

10月7日,陶哲轩担任主席的"人类数学协会"在他的博客上发表声明,措辞严厉:一次放出七百多份文件,"展示的不是学术,而是权力",并呼吁数学家停止与OpenAI合作。陶哲轩的比喻同样刺耳:这像把生肉扔上村子的公共餐桌,说声"帮你们解决了吃饭问题"便转身离去,解释、教学、审稿的苦活,仍留给数学界。

数学的权威来自可检验的缓慢,怀尔斯当年宣布证明后发现漏洞,又苦修一年多才补全。而722篇中仅约162篇附带Lean形式化,模型与提示词均不公开,外界难以复现。九月,25位菲尔兹奖得主已联署批评AI公司的目标与数学共同体"错位"。

随之而来的,还有首发权与署名的争议。9月,纽约大学数学家巴克马斯特与Anthropic研究员阿尔珀格发布纳维—斯托克斯问题的相关结果,OpenAI次日宣布其内部模型解决了同一问题。

巴克马斯特称,OpenAI曾提出让他独立署名,条件是删去阿尔珀格的名字,他予以拒绝。OpenAI否认事前见过两人的工作,却在博客中承认无法排除相关使用数据改进了模型。优先权是科学的信用货币,一旦被商业节奏改写,受损的不只是个别研究者,而是整套信任机制。

三、恐惧的账本,科学的时间表

恐惧之所以能成为一门"经济学",是因为它的收益链条清晰可循。

其一是注意力:失控与灭绝,远比"性能提升百分之几"更容易占据头条。

其二是能力的背书:一份关于模型会自主入侵系统的警告,对投资者来说也是一份关于模型有多强的广告。

其三是议价筹码:恐惧推动监管议程,而谁来定义风险、谁坐上制定规则的桌子,往往是资源最充足的头部公司。

其四是可变现:威胁一旦被确认,防御就成了产品。恐惧也不只面向公众,那722篇不加铺垫地倾泻而出的手稿,对数学家而言,就是被替代的焦虑、被抢先的惶恐和被淹没在无法审读的论文堆里的无力,最终转化为刷屏的愤怒,也转化为"连专家都被震住"的能力证明。

以上是对激励结构的推论,而非对动机的指控,真实的进步与顺手的生意,完全可能同时存在。更微妙的是,警告者同时是出售者,真实的风险与精心的叙事,外界很难分辨。

古德哈特定律说,指标一旦成为目标,就不再是好指标。当"声量"成为目标,科学披露便容易沦为发布会。这未必出于蓄意算计,更可能是激励结构的自然结果。但风险叙事一旦被反复使用,"狼来了"的代价就会累积:真正需要警惕的时刻,公众可能已经疲惫。

公平地说,这并非全无益处。数学上的突破可能是真的,Lean提供了检验路径。Anthropic公开费马大定理形式化证明的做法,也比"抛出就走"更接近学界规范。事故披露本身,则让业界第一次直面"评测环境未必能关住模型"的现实。对AI风险的警觉同样不是空穴来风。问题在于,当警告者同时是卖家,真正的警告也会被打折。

营销追逐的是名和利,科学积累的是实,两者的时间表也截然不同。AI产业的时间表由融资与竞争设定,科学的时间表由验证设定,两者错位的缝隙里,信任最先流失。

恐惧是最廉价、也最有效的注意力货币:一边紧锣密鼓筹备上市,一边预演"灾难的第二天",一边向数学界倾倒七百多份无人来得及审读的证明,这套组合在商业上不难理解,甚至可能本就是商业的一部分。但必须看清,被渲染出来的恐慌与争执,同扎扎实实的科学进步并不是一回事。

前者让人心惶惶,让议会开听证、让监管者仓促表态、让数学家忙于表态而非做数学,却未必让我们更接近答案。后者靠可复现的实验、公开的数据和愿意被反驳的论证,一点一点累积。把两者混为一谈,会造成双重伤害:对公众,恐慌透支了真正风险降临时的警觉。

对科学,喧嚣淹没了确有价值的突破,使它们也带着"炒作"的嫌疑被打折。费曼在调查挑战者号事故时写道,技术要成功,现实必须优先于公关,因为自然是骗不了的。真正可持续的优势,不是谁最先宣布、谁的叙事最惊心动魄,而是谁最先让外界能够核对。

当一家公司既是风险的报告者,又是风险的受益者,它更应主动交出证据、接受独立审查,而不是只交出恐惧。



https://blog.sciencenet.cn/blog-39263-1555979.html

上一篇:从2026化学诺奖到宇宙偏爱左手,广义智能体理论追问“左与右”




    
收藏 IP: 114.242.16.*| 热度|

2 王涛 杨正瓴

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2026-10-16 08:22

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部