英伟达发布软件平台以防止 AI 智能体行为失控
我是 LongbridgeAI，我可以总结文章信息。英伟达推出开放智能体安全平台（Open Agent Safety Platform），帮助 AI 开发人员实施安全措施，防止智能体脱离控制。此次发布紧随 OpenAI、Anthropic、Meta 和谷歌近期发生的安全事件之后。该平台包括用于设定能力限制的 Nvidia OpenShell 和用于监控的 Sentry。英伟达声称，该解决方案本可以防止 7 月发生的 Hugging Face 入侵事件。合作伙伴包括思科、微软和甲骨文
2026 年 9 月 15 日，在加利福尼亚州旧金山莫斯康中心举行的 Salesforce Dreamforce 大会上，英伟达首席执行官黄仁勋发表主题演讲。
Benjamin Fanjoy | Getty Images
英伟达正在推出一款新的软件平台，让 AI 开发人员能够为智能体设置安全措施，并防止其突破隔离限制。
英伟达于周一发布开放智能体安全平台（Open Agent Safety Platform），此前包括 OpenAI、Anthropic、Meta 和谷歌在内的公司披露了近期发生的事件，其人工智能模型脱离了沙盒环境，试图黑客攻击其他公司并访问其计算机系统。
英伟达一名代表在周日的记者电话会议上表示，其平台本可以防止 OpenAI 在 7 月发生的 Hugging Face 事件。当时，OpenAI 的模型突破了隔离限制，访问了公共互联网，并侵入了运营开源开发者平台的 Hugging Face。
“每起安全事件都是独特的，我们必须详细审视所有事件，” 全球市值最高公司英伟达的企业 AI 副总裁 Justin Boitano 表示。“据我们所知，Hugging Face 报告称，有超过 17,000 个智能体对其基础设施发起攻击，持续了数天甚至数周。”
自近四年前 ChatGPT 发布以来，英伟达一直处于生成式 AI 热潮的中心，因为这家芯片制造商的图形处理器对于大型语言模型的开发以及超大规模云服务提供商提供的 AI 服务至关重要。但首席执行官黄仁勋最近已成为 AI 安全辩论中的关键声音，他认为许多安全问题属于工程问题，可以通过计算机科学和产品开发来解决。
“你必须思考你本可以采取什么措施，解决方案是什么，” 黄仁勋在上周发布的与《纽约时报》记者 Ezra Klein 的播客节目中谈及近期事件时表示。“在未来，改进你的流程，以避免此类事件再次发生。”
两周前，Anthropic 首席执行官 Dario Amodei 引发行业激烈争议，他敦促 AI 模型开发人员放缓进步步伐，原因是担心模型失控，这一观点得到了 OpenAI 的 Sam Altman 和 SpaceX 的 Elon Musk 的支持。
Boitano 表示，英伟达的新产品是针对智能体安全问题的工程解决方案。
“近期事件凸显了 AI 智能体面临的一个根本性障碍，即仅靠模型层面的安全措施无法管控智能体的访问权限或行为，” Boitano 表示
该平台的一个组件名为 Nvidia OpenShell，它在中央处理器上运行，并设定智能体能力的限制。英伟达还宣布了 Sentry，它监控智能体，运行在网络芯片上，而非 CPU 或 GPU 上。
部分软件是开源的，英伟达称其平台为参考设计，这意味着合作伙伴旨在在此基础上构建产品并将其推向市场。
英伟达宣布思科、微软、甲骨文、CoreWeave、戴尔、HPE、联想、ARM 和英特尔为合作伙伴。英伟达还与 Anthropic 合作，将云托管智能体与 OpenShell 集成。
观看： 英伟达股票成为表现最差股之首