@SemiAnalysis

Fable 5.2 由於持久性增強以及傾向於生成子代理，在某些任務上存在嚴重的 Token 效率低下問題。例如，在 GDPx 材料科學任務中，Fable 5.2 的成本比 Astra 高出 89%，且為了達到基本相同的分數，其輸出的 Token 數量是 Astra 的 4.3 倍。與 Gemini 4 Carbon 相比，價格差異更是令人震驚，高達 7.5 倍。(1/3)🧵

鐵（木）王座：Google TPU 在推理領域確立地位 CUDA 護城河的可行替代方案，NVIDIA 日夜趕工，黃仁勳的反擊之作，Kimi K3，Meta Muse Spark 開源，GLM5.3，TorchTPU，SGLang，vLLM，llm-d，Ray

警報🚨🚨🚨：AMD 的 @AnushElangovan 及其團隊在 Kimi K3 Agentic Inference 上實現了比 B200 高出多達 2 倍的每美元性能！這得益於各種軟件優化工作，包括調整 AITER 內核和 MonoKernel 解碼。

此外，MI355X 每台服務器擁有 2304GB 的 HBM，這使得它能夠避免跨越緩慢的 8x400Gbit/s 服務器間擴展網絡，而 B200 由於 HBM 不足 1.5TB 則需要進行這種跨越。

感謝 Anush、Peng Sun、Ramine、Emad 以及 vLLM 團隊在這項出色工作中的卓越貢獻！

突發新聞🚨🚨：今日 Meta 確認已在生產環境中運行 TPU 推理。這對 CUDA 護城河意味着什麼？

分類器將輸入映射到一組固定的標籤。分類器的主要類型包括：

🚨定製 HBM 為計算釋放了芯片面積🚨

我們在 ExploitGym 上評估了 GLM-5.3 的網絡能力並分析了痕跡。GLM-5.3 將其大部分執行預算用於測試隱藏的運行時條件是否改變了其結論。在 arvo5665 問題中，GLM-5.3 通過 sanitizer 構建、語料庫測試和目標模糊測試探索了更多周圍的程序。(1/3)🧵

實驗表明，將 Engram 卸載到 DRAM 可使 H200、B200、B300 甚至 GB300 NVL72 的性能提升高達 50%。我們的技術團隊與 @EmadBarsoumPi 和 @AnushElangovan 的 10x 工程師合作，也為 @vllm_project 上游支持了 ROCm Engram DRAM 卸載功能，我們在 PR 57491 中已經看到了性能提升高達 50% 的效果。因此，在 PR 985、1002、1005、1006 中，@NVIDIA、@AIatAMD 和 @SemiAnalysis_ 正在更新默認推薦配方以使用 Engram 卸載。

許多 Google TPU 客户已經向 Google 詢問 SemiAnalysis AgentX 的性能結果，因為客户表示這是其代理推理流量的代表性工作負載。

我們很高興地宣佈，我們在未來幾個月也在進行 AgentX TPU 基準測試！敬請期待！為 Google、RadixArk、Red Hat 和 Inferact 團隊將 TPU 推理帶給世界其他地區感到無比自豪！

Engrams Embedding Entendre：

為高效 DRAM/SSD 卸載而進行的協同設計

新模型架構對 DRAM/NVMe TAM 的影響

DeepSeek V4.1 Flash、AgentX、InferenceX、NVMe 實驗

人人都説數據中心禁令正在扼殺美國的建設。我們不同意。

英偉達的保底宇宙

正面我贏，反面誰輸？

11 萬億美元的 AI 建設潮，

英偉達的保底經濟學，

以及英偉達資產負債表的極限

Spec Decoding (DSpark) 終於在 vLLM 中支持了 Pipeline Parallelism！！🔥 許多 GPU 貧困/無產階級用户一直呼籲此功能，但直到近期 Kimi K3 的 2.8T 參數規模衝擊 GPU 中產階級（B200），該功能才得以實現！

TPU 推理外部化正全速推進

NVIDIA LPU 支持三種解耦推理模式：

突發新聞：AMD 中層管理人員正在浪費 20 多名工程師的時間，試圖通過一個名為 “ATOM 推理引擎” 的無用副項目來擴張自己的勢力範圍並獲取晉升，而不是將精力投入到 Meta/xAI 等實際客户使用的推理引擎（如 SGLang/vLLM）上。

數十名 AMD 工程師，包括首席工程師和 AMD 院士，已私下向我們反映，由於辦公室政治以及 AMD 部分中層管理人員的支持，他們被阻止內部討論對中層管理人員將 20 多名全職工程師的時間浪費在幾乎沒有客户的副項目上的擔憂。參與該副項目的工程師都是 10 倍效率工程師，本應致力於 vLLM/SGLang 等客户引擎的開發。

中層管理人員會試圖引用生產環境中唯一使用該引擎的客户——阿里巴巴的 Qwen——來應對質疑，但深入挖掘後發現，這只是一個以有限規模部署 ATOM 的邊緣業務企業部門，而非主要的 Qwen 業務部門。

AMD 管理層從支持 vLLM/SGLang 等生產引擎的客户工程師手中抽調資源及有限的內部 GPU 研發集羣，用於擴張其勢力範圍和玩弄辦公室政治，這對 AMD 工程師來説是極其不尊重的行為。

我們已 extensively 撰文分析，預計中的 AI IT 和 AI 數據中心資本支出將推動創紀錄的資金需求，並導致債務發行量以前所未有的速度增長。到今年年底，AI 累計終身資本支出將達到近 3 萬億美元，我們預計這一數字在 2020 年代末將增長至 1.1 萬億美元以上，未償還的 AI 債務總額將達到 7 萬億美元以上。2026 年將成為 AI 債務融資成為第二大資產相關債務市場的元年，僅次於美國住宅抵押貸款市場。這也是 AI 相關債務發行總量佔美國固定收益發行總量比例首次低於 10% 的最後一年（包括州債和聯邦債券、MBS/RMBS、公司債、機構債、市政債和 ABS）。(1/3)🧵

很高興看到來自熱門中國社交媒體應用（@xiaohongshu，英文名為 RedNote）的 @dotsstudioai 加入開源社區！❤️ 團隊仍在日常使用中測試該模型，以評估其實際質量，或者是否達到了評估的最高水平。

無論如何，看到另一家公司加入開源社區總是令人欣喜的！

不同的操作系統和微架構如何影響終端用户使用代理式 AI 的體驗？

NPO 在從可插拔向真正 CPO（共封裝光學）過渡的階段提供了一種中間解決方案。與繞過當前 CPO 生產及可靠性挑戰的 CPO 相比，NPO 具有一定的優勢，同時保留了 CPO 提供的大部分好處。

這是互動誘餌 & 激進觀點 🚨《波西·傑克遜》在敍事方面比《奧德賽》更好。《奧德賽》是克里斯托弗·諾蘭最糟糕的電影之一。敍事如此糟糕，以至於他們不得不通過添加 IMAX 70mm 攝像機來分散觀眾的注意力。

另外提醒一下那些沒有幸好在 IMAX 70mm 膠片上觀看的你們，你們錯過了電影 40% 的內容。

AMD 的大部分頂級 AI 工程師（追求 10 倍回報的）都在上海 🔥。這包括 AMD 的 MoRI 集體、UMBP KV-cache 卸載和池化團隊，其解耦應用的前端部署工程團隊，以及其他理解如何從第一性原理出發進行推理工程的 AMD 團隊。

ROCm 軟件棧中許多最重要的組件是在中國大陸開發的。

美國的數據中心之爭迄今為止一直貫穿縣議會和市議會。但這一局面在 7 月 14 日結束，當時州長凱西·霍楚爾簽署了第 62 號行政命令，使紐約成為首個實施數據中心暫停令的州。(1/5)🧵

SemiAnalysis 數據中心團隊追蹤所有數據中心站點。數據中心團隊開始注意到新建項目缺少發電機組。數據中心團隊檢查了工業模型，目前追蹤到 15GW+ 的產能沒有配備發電機組、沒有中央 UPS，或者兩者都沒有。(1/3)🧵

Claude 使用工具的頻率是多少？