@SemiAnalysis

Fable 5.2 由于持久性增强以及倾向于生成子代理，在某些任务上存在严重的 Token 效率低下问题。例如，在 GDPx 材料科学任务中，Fable 5.2 的成本比 Astra 高出 89%，且为了达到基本相同的分数，其输出的 Token 数量是 Astra 的 4.3 倍。与 Gemini 4 Carbon 相比，价格差异更是令人震惊，高达 7.5 倍。(1/3)🧵

铁（木）王座：Google TPU 在推理领域确立地位 CUDA 护城河的可行替代方案，NVIDIA 日夜赶工，黄仁勋的反击之作，Kimi K3，Meta Muse Spark 开源，GLM5.3，TorchTPU，SGLang，vLLM，llm-d，Ray

警报🚨🚨🚨：AMD 的 @AnushElangovan 及其团队在 Kimi K3 Agentic Inference 上实现了比 B200 高出多达 2 倍的每美元性能！这得益于各种软件优化工作，包括调整 AITER 内核和 MonoKernel 解码。

此外，MI355X 每台服务器拥有 2304GB 的 HBM，这使得它能够避免跨越缓慢的 8x400Gbit/s 服务器间扩展网络，而 B200 由于 HBM 不足 1.5TB 则需要进行这种跨越。

感谢 Anush、Peng Sun、Ramine、Emad 以及 vLLM 团队在这项出色工作中的卓越贡献！

突发新闻🚨🚨：今日 Meta 确认已在生产环境中运行 TPU 推理。这对 CUDA 护城河意味着什么？

分类器将输入映射到一组固定的标签。分类器的主要类型包括：

🚨定制 HBM 为计算释放了芯片面积🚨

我们在 ExploitGym 上评估了 GLM-5.3 的网络能力并分析了痕迹。GLM-5.3 将其大部分执行预算用于测试隐藏的运行时条件是否改变了其结论。在 arvo5665 问题中，GLM-5.3 通过 sanitizer 构建、语料库测试和目标模糊测试探索了更多周围的程序。(1/3)🧵

实验表明，将 Engram 卸载到 DRAM 可使 H200、B200、B300 甚至 GB300 NVL72 的性能提升高达 50%。我们的技术团队与 @EmadBarsoumPi 和 @AnushElangovan 的 10x 工程师合作，也为 @vllm_project 上游支持了 ROCm Engram DRAM 卸载功能，我们在 PR 57491 中已经看到了性能提升高达 50% 的效果。因此，在 PR 985、1002、1005、1006 中，@NVIDIA、@AIatAMD 和 @SemiAnalysis_ 正在更新默认推荐配方以使用 Engram 卸载。

许多 Google TPU 客户已经向 Google 询问 SemiAnalysis AgentX 的性能结果，因为客户表示这是其代理推理流量的代表性工作负载。

我们很高兴地宣布，我们在未来几个月也在进行 AgentX TPU 基准测试！敬请期待！为 Google、RadixArk、Red Hat 和 Inferact 团队将 TPU 推理带给世界其他地区感到无比自豪！

Engrams Embedding Entendre：
为高效 DRAM/SSD 卸载而进行的协同设计
新模型架构对 DRAM/NVMe TAM 的影响
DeepSeek V4.1 Flash、AgentX、InferenceX、NVMe 实验

人人都说数据中心禁令正在扼杀美国的建设。我们不同意。

英伟达的保底宇宙

正面我赢，反面谁输？

11 万亿美元的 AI 建设潮，

英伟达的保底经济学，

以及英伟达资产负债表的极限

Spec Decoding (DSpark) 终于在 vLLM 中支持了 Pipeline Parallelism！！🔥 许多 GPU 贫困/无产阶级用户一直呼吁此功能，但直到近期 Kimi K3 的 2.8T 参数规模冲击 GPU 中产阶级（B200），该功能才得以实现！

TPU 推理外部化正全速推进

NVIDIA LPU 支持三种解耦推理模式：

突发新闻：AMD 中层管理人员正在浪费 20 多名工程师的时间，试图通过一个名为 “ATOM 推理引擎” 的无用副项目来扩张自己的势力范围并获取晋升，而不是将精力投入到 Meta/xAI 等实际客户使用的推理引擎（如 SGLang/vLLM）上。

数十名 AMD 工程师，包括首席工程师和 AMD 院士，已私下向我们反映，由于办公室政治以及 AMD 部分中层管理人员的支持，他们被阻止内部讨论对中层管理人员将 20 多名全职工程师的时间浪费在几乎没有客户的副项目上的担忧。参与该副项目的工程师都是 10 倍效率工程师，本应致力于 vLLM/SGLang 等客户引擎的开发。

中层管理人员会试图引用生产环境中唯一使用该引擎的客户——阿里巴巴的 Qwen——来应对质疑，但深入挖掘后发现，这只是一个以有限规模部署 ATOM 的边缘业务企业部门，而非主要的 Qwen 业务部门。

AMD 管理层从支持 vLLM/SGLang 等生产引擎的客户工程师手中抽调资源及有限的内部 GPU 研发集群，用于扩张其势力范围和玩弄办公室政治，这对 AMD 工程师来说是极其不尊重的行为。

我们已 extensively 撰文分析，预计中的 AI IT 和 AI 数据中心资本支出将推动创纪录的资金需求，并导致债务发行量以前所未有的速度增长。到今年年底，AI 累计终身资本支出将达到近 3 万亿美元，我们预计这一数字在 2020 年代末将增长至 1.1 万亿美元以上，未偿还的 AI 债务总额将达到 7 万亿美元以上。2026 年将成为 AI 债务融资成为第二大资产相关债务市场的元年，仅次于美国住宅抵押贷款市场。这也是 AI 相关债务发行总量占美国固定收益发行总量比例首次低于 10% 的最后一年（包括州债和联邦债券、MBS/RMBS、公司债、机构债、市政债和 ABS）。(1/3)🧵

很高兴看到来自热门中国社交媒体应用（@xiaohongshu，英文名为 RedNote）的 @dotsstudioai 加入开源社区！❤️ 团队仍在日常使用中测试该模型，以评估其实际质量，或者是否达到了评估的最高水平。

无论如何，看到另一家公司加入开源社区总是令人欣喜的！

不同的操作系统和微架构如何影响终端用户使用代理式 AI 的体验？

NPO 在从可插拔向真正 CPO（共封装光学）过渡的阶段提供了一种中间解决方案。与绕过当前 CPO 生产及可靠性挑战的 CPO 相比，NPO 具有一定的优势，同时保留了 CPO 提供的大部分好处。

这是互动诱饵 & 激进观点 🚨《波西·杰克逊》在叙事方面比《奥德赛》更好。《奥德赛》是克里斯托弗·诺兰最糟糕的电影之一。叙事如此糟糕，以至于他们不得不通过添加 IMAX 70mm 摄像机来分散观众的注意力。

另外提醒一下那些没有幸好在 IMAX 70mm 胶片上观看的你们，你们错过了电影 40% 的内容。

AMD 的大部分顶级 AI 工程师（追求 10 倍回报的）都在上海 🔥。这包括 AMD 的 MoRI 集体、UMBP KV-cache 卸载和池化团队，其解耦应用的前端部署工程团队，以及其他理解如何从第一性原理出发进行推理工程的 AMD 团队。

ROCm 软件栈中许多最重要的组件是在中国大陆开发的。

美国的数据中心之争迄今为止一直贯穿县议会和市议会。但这一局面在 7 月 14 日结束，当时州长凯西·霍楚尔签署了第 62 号行政命令，使纽约成为首个实施数据中心暂停令的州。(1/5)🧵

SemiAnalysis 数据中心团队追踪所有数据中心站点。数据中心团队开始注意到新建项目缺少发电机组。数据中心团队检查了工业模型，目前追踪到 15GW+ 的产能没有配备发电机组、没有中央 UPS，或者两者都没有。(1/3)🧵

Claude 使用工具的频率是多少？