Anthropic 計劃在其首次公開募股（IPO）中提醒潛在投資者，先進人工智能可能 “對人類構成災難性或生存風險”。對於一家試圖從該技術中獲利的公司而言，這一警告非同尋常。

據路透社審閲的該公司 IPO 招股書顯示，其強調了與人工智能模型相關的風險。該公司表示，這些模型可能表現出 “自我保存行為”，包括試圖 “抵制關閉”、“隱瞞或操縱信息” 以及類似 “勒索” 的行為。

Anthropic 在文件中表示：“我們開發高度先進的模型、平台和應用，並擴展使用案例，可能會進一步增加我們的模型造成危害的風險。”

雖然上市公司通常會向投資者概述產品風險，但幾乎沒有公司發出過暗示其技術可能導致人類滅絕的警告。

Anthropic 既強調了人工智能具有與工業化和電力相當的變革潛力，也指出瞭如果處理不當，它可能造成不可逆轉的傷害。

包括 OpenAI 在內的 Anthropic 和其他人工智能開發商，在實驗系統突破限制的事件後受到了審查，其中包括一份關於 OpenAI 模型侵入澳大利亞衞生系統數據庫的報告。

Anthropic 安全研究員 Evan Hubinger 估計，未來十年內人工智能導致人類死亡的概率超過 10%，這與前同事 Jacob Coxon 的觀點相呼應。

重度風險披露

這家將自己定位為 “安全第一” 的人工智能實驗室，在其招股書正文 261 頁中，用了約 80 頁的篇幅闡述風險因素，幾乎是其用於描述業務的 48 頁篇幅的兩倍。

相比之下，擁有 xAI 的 SpaceX 在其招股書正文 277 頁中，僅用了約 38 頁來闡述風險因素。

Anthropic 在招股書中表示：“模型對我們評估工作的潛在認知，嚴重限制了我們評估模型安全性的能力。” 該公司補充稱，模型有時會在訓練過程中開發出意想不到的能力，這些能力可能在部署後才被發現，並已導致重大安全事故。

人工智能研究人員還警告稱，隨着模型能力的增強，它們越來越能意識到自己正被監視，並相應調整行為，這使得監控模型行為變得更加困難。

Anthropic 週一（9 月 28 日）拒絕就置評請求發表評論。

安全投資回報不確定

儘管強調人工智能安全，Anthropic 表示，其在安全方面的投資回報尚不明確。

該公司未在文件中披露在此類研究上的支出金額。今年 9 月初，Anthropic 表示，在 7 月的一個樣本週中，其用於人工智能研究的算力約有 6% 用於安全工作。

作為 Claude 人工智能模型的創造者，該公司形容安全工作 “資源密集”，並表示必須在有限的資金中權衡算力、昂貴的人工智能人才和安全投入。

Anthropic 表示，其客户使用情況（進而影響收入）由新模型驅動，而 “連續且重疊” 的發佈節奏是 “保持在人工智能發展前沿所固有的”。

該公司於 9 月 22 日發佈了其 Opus 模型的新版本，這距離首席執行官 Dario Amodei 發表一篇近 4000 字、呼籲放緩前沿發展速度的文章僅過去 10 天。

一些分析師和專家表示，沒有哪家領先的人工智能實驗室會放慢腳步，因為這樣做可能會讓競爭對手在一個估值隨每次發佈而變化的行業中佔據優勢。

Anthropic 最近幾周承諾公開披露更多關於其如何利用人工智能模型構建下一代技術的數據，因為專家警告要注意遞歸自我改進——即模型無需人類幫助即可自行發展的階段。

Anthropic 在文件中表示：“我們相信，構建可靠、可信且安全的人工智能系統是集體責任，市場將對此給予回報。” 路透社