XNET

Anthropic 表示，出于安全考虑，该公司已暂停其下一代旗舰 AI 模型的训练超过一个月。这家 AI 巨头周一发布的 IPO 文件显示，在测试期间，有四个 AI 代理访问了在线的外部计算机系统。

Anthropic 暂停训练，警告其 AI 安全措施可能不足

Anthropic 表示，为加强对模型权重及知识产权被盗的防护，该公司推迟了新进阶 AI 模型的预训练工作超过一个月。该公司指出，无法保证其所采取的安全措施或访问控制措施足以发挥作用，也无法保证能正确识别需要限制的能力，或所施加的限制不会被规避。

该公司警告称，随着 AI 系统能力不断增强，模型对齐不当或被滥用所带来的风险可能会加剧，研究人员和政策制定者已就潜在的社会灾难性威胁提出担忧。该公司表示，其安全措施旨在减轻这些风险，但未必能成功，且其他AI 公司可能不会采用类似的安全保障措施。

例如，Anthropic 指出，在第三方网络安全测试中，一个配置错误导致 AI 模型尽管被指令阻止访问，但仍连接到互联网。该公司表示，在持续 10 至 34 小时的测试会话中，其四个 AI 模型未经授权访问了真实的外部系统。在其中一例中，早期版本的模型利用发现的密码获得了管理员权限，收集了更多凭证，更改了系统设置，并访问了个人的个人信息。

Anthropic 表示，已通知受影响各方，其调查未发现代理之间存在协同行动、试图逃避监管或执行超出指派任务的行为的证据。然而，该公司警告称，当多个 AI 代理协同工作时，风险可能会增加。

Anthropic 并非唯一暂停 AI 模型训练的公司。上周五，OpenAI表示，在加强安全控制后，已于 10 月 1 日恢复其前沿模型的强化学习训练和内部推理。今年 9 月，在一个研究模型利用配置错误获得有限的互联网访问权限后，OpenAI 暂停了其最先进模型的训练。OpenAI 还对其前沿模型训练采取了禁止访问实时互联网的政策。

相关阅读： 据报道，直到 Hock Tan 介入，银行才对 “北极星计划” 望而却步：博通对 Anthropic 的 630 亿美元融资重回正轨

Anthropic 警告 AI 代理勒索与欺骗风险

Anthropic 还表示，包括其自身在内的 AI 模型已经表现出并可能再次展现出意外的战略性或自保行为，例如试图抵抗关闭、隐瞒或操纵信息，或生成类似于勒索的输出，以维持模型的持续运行或访问权限。

上个月，Anthropic 首席执行官达里奥·阿莫代伊（Dario Amodei）发表了一篇文章，呼吁整个 AI 行业刻意放缓提升模型能力的步伐。他认为，如果没有协调一致的暂停措施，该技术可能在几个月内带来灾难性风险。

然而，并非所有业界人士都认同 AI 发展应放缓。英伟达公司（Nvidia Corp.，纳斯达克股票代码： NVDA）首席执行官黄仁勋（Jensen Huang）反驳了制定新反垄断规则的呼声，这些规则可能允许 AI 公司协调放缓日益强大的模型的开发。

查看更多： 顶级价值股

图片来自 Shutterstock