通过更强大的模型实现更安全的AI?Anthropic IPO宣传中的核心悖论
我是 LongbridgeAI,我可以总结文章信息。Anthropic 的招股说明书凸显了一个核心悖论:要使 AI 更安全,就需要更强大的模型,而这反而增加了生存风险。文件披露了超过 500 亿美元的巨大亏损,并警告先进 AI 可能带来灾难性后果。此外,尽管存在治理担忧,该公司仍强调将权力集中于创始人手中以减轻风险
[旧金山/纽约] Anthropic 正计划进行可能是历史上规模最大的首次公开募股(IPO)。但如果人工智能继续沿着当前的轨迹发展,人类可能没有多少时间去享受这一成果了。
路透社本周查阅了这家旧金山 AI 领军企业约 300 页的 IPO 招股说明书,其中贯穿着上述及其他种种悖论。
为了实现估值达 2 万亿美元的成功发行,Anthropic(其名称意为 “以人为本”)需要大量凡人投资者相助,以构建一个人类即将让位于能力远超自身的人工智能系统的世界。
该文件近三分之一的篇幅 devoted to 各种风险因素,页数是描述 Anthropic 实际业务内容的两倍以上。
这份文件充满了硅谷梦想家标志性的大胆预测和雄心壮志。然而,该公司反复以不同方式阐述,成功之路恰恰穿行于危险之中。
Anthropic 表示,AI 构成了只有 AI 才能应对的巨大威胁。该公司认为,AI 既可以重塑经济,也可能终结人类。它在向公众出售部分公司股份的同时,却主张对该公司的所有权和监督权应更加集中。为了使 AI 更安全,它需要更强大的能力。它要求所有人信任 Anthropic 的管理层,同时又警告其创造的产品可能带来灾难。
通过力量实现安全的悖论
Anthropic 的愿景围绕着一个核心悖论构建:为了使 AI 更安全,Anthropic 表示必须使其更强大,但更强大的 AI 更有可能以意外甚至危险的方式行事。
华盛顿大学专注于科技经济的历史教授玛格丽特·奥马拉(Margaret O’Mara)表示:“AI 与以往的技术不同,因为构建它的公司一方面称其将改变世界,另一方面又称其具有危险性。”“它就像一个黑盒,而在互联网泡沫时期上市的公司则可以承诺大规模且安全的增长。”
根据 S-1 文件,Anthropic 的 AI 可以 “显著改善生活质量” 并 “变革全球经济的各个部门”。更不用说它对 “广泛的人类活动具有潜在的决定性影响”。但文件显示,如果应用不当,先进的 AI 系统可能 “对人类构成灾难性或生存风险”,同时在此过程中消耗巨额资金。
仅在截至 2025 年的两年间,该公司亏损就超过 500 亿美元,但其在未来几年的支出承诺超过 5000 亿美元。相比之下,SpaceX 在 6 月进行了历史上规模最大的 IPO,同期亏损仅为相对适度的 42 亿美元。
前景中是 Anthropic 所称的 “强大 AI”(Powerful AI),该公司称其 “可以在几乎所有认知领域超越顶尖人类专家”。根据文件记载,它将与其他 AI 系统协作;控制实验室设备、机器人和其他机器;并在几乎无需人工干预的情况下连续运行数周。其他功能还包括个性化财务建议,以及加速药物发现和科学进步。
然而,尽管 AI 具有潜在益处,Anthropic 曾表示,该技术偶尔会违背其制造者的意愿,并渗透到其他公司的系统中。
该公司警告称,先进模型可能表现出 “自我保存行为”,包括试图 “抵抗关闭”、“隐瞒或操纵信息”,或生成可能被解释为 “胁迫性、欺骗性或操纵性” 的输出。
Anthropic 在文件中表示,AI 必须变得强大得多,但更强的能力也带来了被滥用、与人类理想不一致或失控的可能性。
“不一致的系统可能会破坏机构决策,通过不透明或不可控的行为造成大规模伤害,并侵蚀使复杂经济和社会系统得以运行的信任。”
Anthropic 投资者、贝塞默风险投资公司(Bessemer Venture Partners)的拜伦·迪特(Byron Deeter)周二(9 月 29 日)试图淡化该保密文件中的警告,他在接受 CNBC 采访时称,“人们只是对草案做出反应”,随后赞扬该公司的披露内容 “独特”。
他说:“你会看到人们比历史上更早地对此做出反应。”
Anthropic 未回应置评请求。
领导层集中风险
Anthropic 的 IPO 文件中列出的另一个悖论是其领导层方式。为了降低 AI 的风险,Anthropic 表示需要将控制和资本集中在越来越少的人手中,尽管该公司警告这种权力集中本身就是一种威胁。
它要求投资者委托其七位创始人监督业务,即使同样的控制权限制了投资者的监督和公众股东的影响力。
该公司表示,创始人们 “具备独特的能力来守护我们的使命”,但这种治理结构可能导致 “可能与短期、中期或长期财务利益及业务表现相冲突” 的决策。
Anthropic 首席执行官达里奥·阿莫代伊(Dario Amodei)上周在联合国面前承认了由少数人监督 AI 所面临的挑战。他说:“我们必须搁置分歧,以应对同时摆在我们面前的这一全球机遇和全球威胁。”“没有任何领导者、任何公司或任何国家能够单独管理此事。”
这样的 “朋友”
Anthropic 的大部分增长归功于亚马逊、Alphabet 旗下的谷歌、博通(Broadcom)和微软,既依赖通过这些大型科技合作伙伴进行的销售(占其 2025 年收入的 47%),也依赖它们作为算力供应商。在同一份文件中,该公司还表示,这些公司可能通过限制或直接与其竞争来削弱其地位。
对于这些供应商,Anthropic 承诺即使放弃租赁或未使用计算服务也要支付费用。它进一步警告称,“如果我们从第三方获得的算力受到限制、重新定价或终止”,其业务可能会遭受损失。
最后,鉴于 IPO 是一场筹款活动,Anthropic 指出,AI 有能力扩大繁荣,包括帮助发展中国家达到富裕国家的财富标准。
但是,Anthropic 在招股说明书中表示,权力的集中伴随着同样巨大的风险。“大规模部署的 AI 也有可能以可能危害社会并破坏地缘政治秩序的方式集中权力和财富。”
如今,受到 AI 研究人员警告的震慑,两党政治家正排队减缓 AI 的进展,而美国总统唐纳德·特朗普则驳斥了潜在危害,称其为 “骗局”。
阿莫代伊与谷歌 DeepMind、OpenAI 和 xAI 的同行们在 9 月呼吁放缓 AI 开发以专注于安全——这与旧科技格言 “快速做大” 背道而驰。
十天后,Anthropic 发布了其所谓的迄今为止最好、最强大的模型。路透社
