通過更強大的模型實現更安全的AI?Anthropic IPO宣傳中的核心悖論
我是 LongbridgeAI,我可以總結文章信息。Anthropic 的招股説明書凸顯了一個核心悖論:要使 AI 更安全,就需要更強大的模型,而這反而增加了生存風險。文件披露了超過 500 億美元的巨大虧損,並警告先進 AI 可能帶來災難性後果。此外,儘管存在治理擔憂,該公司仍強調將權力集中於創始人手中以減輕風險
[舊金山/紐約] Anthropic 正計劃進行可能是歷史上規模最大的首次公開募股(IPO)。但如果人工智能繼續沿着當前的軌跡發展,人類可能沒有多少時間去享受這一成果了。
路透社本週查閲了這家舊金山 AI 領軍企業約 300 頁的 IPO 招股説明書,其中貫穿着上述及其他種種悖論。
為了實現估值達 2 萬億美元的成功發行,Anthropic(其名稱意為 “以人為本”)需要大量凡人投資者相助,以構建一個人類即將讓位於能力遠超自身的人工智能系統的世界。
該文件近三分之一的篇幅 devoted to 各種風險因素,頁數是描述 Anthropic 實際業務內容的兩倍以上。
這份文件充滿了硅谷夢想家標誌性的大膽預測和雄心壯志。然而,該公司反覆以不同方式闡述,成功之路恰恰穿行於危險之中。
Anthropic 表示,AI 構成了只有 AI 才能應對的巨大威脅。該公司認為,AI 既可以重塑經濟,也可能終結人類。它在向公眾出售部分公司股份的同時,卻主張對該公司的所有權和監督權應更加集中。為了使 AI 更安全,它需要更強大的能力。它要求所有人信任 Anthropic 的管理層,同時又警告其創造的產品可能帶來災難。
通過力量實現安全的悖論
Anthropic 的願景圍繞着一個核心悖論構建:為了使 AI 更安全,Anthropic 表示必須使其更強大,但更強大的 AI 更有可能以意外甚至危險的方式行事。
華盛頓大學專注於科技經濟的歷史教授瑪格麗特·奧馬拉(Margaret O’Mara)表示:“AI 與以往的技術不同,因為構建它的公司一方面稱其將改變世界,另一方面又稱其具有危險性。”“它就像一個黑盒,而在互聯網泡沫時期上市的公司則可以承諾大規模且安全的增長。”
根據 S-1 文件,Anthropic 的 AI 可以 “顯著改善生活質量” 並 “變革全球經濟的各個部門”。更不用説它對 “廣泛的人類活動具有潛在的決定性影響”。但文件顯示,如果應用不當,先進的 AI 系統可能 “對人類構成災難性或生存風險”,同時在此過程中消耗鉅額資金。
僅在截至 2025 年的兩年間,該公司虧損就超過 500 億美元,但其在未來幾年的支出承諾超過 5000 億美元。相比之下,SpaceX 在 6 月進行了歷史上規模最大的 IPO,同期虧損僅為相對適度的 42 億美元。
前景中是 Anthropic 所稱的 “強大 AI”(Powerful AI),該公司稱其 “可以在幾乎所有認知領域超越頂尖人類專家”。根據文件記載,它將與其他 AI 系統協作;控制實驗室設備、機器人和其他機器;並在幾乎無需人工干預的情況下連續運行數週。其他功能還包括個性化財務建議,以及加速藥物發現和科學進步。
然而,儘管 AI 具有潛在益處,Anthropic 曾表示,該技術偶爾會違背其製造者的意願,並滲透到其他公司的系統中。
該公司警告稱,先進模型可能表現出 “自我保存行為”,包括試圖 “抵抗關閉”、“隱瞞或操縱信息”,或生成可能被解釋為 “脅迫性、欺騙性或操縱性” 的輸出。
Anthropic 在文件中表示,AI 必須變得強大得多,但更強的能力也帶來了被濫用、與人類理想不一致或失控的可能性。
“不一致的系統可能會破壞機構決策,通過不透明或不可控的行為造成大規模傷害,並侵蝕使複雜經濟和社會系統得以運行的信任。”
Anthropic 投資者、貝塞默風險投資公司(Bessemer Venture Partners)的拜倫·迪特(Byron Deeter)週二(9 月 29 日)試圖淡化該保密文件中的警告,他在接受 CNBC 採訪時稱,“人們只是對草案做出反應”,隨後讚揚該公司的披露內容 “獨特”。
他説:“你會看到人們比歷史上更早地對此做出反應。”
Anthropic 未回應置評請求。
領導層集中風險
Anthropic 的 IPO 文件中列出的另一個悖論是其領導層方式。為了降低 AI 的風險,Anthropic 表示需要將控制和資本集中在越來越少的人手中,儘管該公司警告這種權力集中本身就是一種威脅。
它要求投資者委託其七位創始人監督業務,即使同樣的控制權限制了投資者的監督和公眾股東的影響力。
該公司表示,創始人們 “具備獨特的能力來守護我們的使命”,但這種治理結構可能導致 “可能與短期、中期或長期財務利益及業務表現相沖突” 的決策。
Anthropic 首席執行官達里奧·阿莫代伊(Dario Amodei)上週在聯合國面前承認了由少數人監督 AI 所面臨的挑戰。他説:“我們必須擱置分歧,以應對同時擺在我們面前的這一全球機遇和全球威脅。”“沒有任何領導者、任何公司或任何國家能夠單獨管理此事。”
這樣的 “朋友”
Anthropic 的大部分增長歸功於亞馬遜、Alphabet 旗下的谷歌、博通(Broadcom)和微軟,既依賴通過這些大型科技合作伙伴進行的銷售(佔其 2025 年收入的 47%),也依賴它們作為算力供應商。在同一份文件中,該公司還表示,這些公司可能通過限制或直接與其競爭來削弱其地位。
對於這些供應商,Anthropic 承諾即使放棄租賃或未使用計算服務也要支付費用。它進一步警告稱,“如果我們從第三方獲得的算力受到限制、重新定價或終止”,其業務可能會遭受損失。
最後,鑑於 IPO 是一場籌款活動,Anthropic 指出,AI 有能力擴大繁榮,包括幫助發展中國家達到富裕國家的財富標準。
但是,Anthropic 在招股説明書中表示,權力的集中伴隨着同樣巨大的風險。“大規模部署的 AI 也有可能以可能危害社會並破壞地緣政治秩序的方式集中權力和財富。”
如今,受到 AI 研究人員警告的震懾,兩黨政治家正排隊減緩 AI 的進展,而美國總統唐納德·特朗普則駁斥了潛在危害,稱其為 “騙局”。
阿莫代伊與谷歌 DeepMind、OpenAI 和 xAI 的同行們在 9 月呼籲放緩 AI 開發以專注於安全——這與舊科技格言 “快速做大” 背道而馳。
十天後,Anthropic 發佈了其所謂的迄今為止最好、最強大的模型。路透社
