存力接棒算力，HBM 為什麼 “脱穎而出”？

站在今天回望 25 年下半年，可以説是 AI 硬件產業鏈一個非常關鍵的拐點，在此之前以英偉達 GPU 為代表的 “算力” 站在 AI 硬件的舞台中央。在此時點之後，包括內存（DRAM）、閃存（NAND）和硬盤（HDD）在內的 “存力” 則接棒成為了整個產業鏈中最大的卡點。

由下圖可見，DDR5 內存的價格自 25 年 9 月後的半年內飆漲了接近 7~9x，NAND 閃存的價格同期內也有 4~5x 的漲幅。對應的，美光和海力士兩家內存龍頭廠商的股價在此期間也在短短半年時間內一度有約 10x 的漲幅。

近期海豚君終於得以對這輪轟轟烈烈的存力週期進行研究和覆盤，進而展望後續走勢，進行一個大的主題系列研究。前幾天我們已經以閃迪為對象，初步探討 NAND 閃存的情況（可見鏈接）。

本篇我們就開啓對更稀缺的高性能內存 HBM 的探討，作為首篇，我們將從底層技術的角度出發，主要討論以下幾個問題：

1）為什麼近一年，AI 對存力的需求 “突然” 爆發？AI 大模型對內存的核心要求是什麼？

2）為什麼 HBM-High Bandwidth Memory，即高帶寬內存成為了當前高性能 GPU 首選的內存規格？是什麼技術讓其脱穎而出？

3）HBM 採用的技術，又有哪些難點和代價？對整個內存產業鏈和內存廠們有怎樣的潛在影響？

並以此夯實理解的基礎，以便在後續系列中進一步探討後續行業的技術演進路線，不同廠家的差異之處，以及最後對投資邏輯和投資的影響。

以下是正文：

一、“存力” 何以成為最大瓶頸？

隨着 AI 技術的演進，對內存/閃存的需求出現了爆炸式的增長，以至於 “存力” 一度被視為比 “算力” 更大的瓶頸。那麼到底為什麼 AI 對存力的需求和性能要求似乎 “一夜之間” 突然暴漲了？這個問題可以從兩個角度看，一個是需要更多的內存容量，另一個是需要更快的數據傳輸速度。

1.1、更多的內存需求

概括來説，對更多內存容量的需求，主要是模型參數的走高，模型上下文規模的提升，以及 Agent 帶來的更多工作流，這三個原因所導致的。

a. 模型參數：首先，AI 大模型對內存的第一塊需求，是用於存儲模型的全部參數。這一部分所需內存容量的計算邏輯相對簡單、近乎是和參數量線性正相關。只取決於模型的總參數量、以及存儲每個參數所需的字節量。

但由於大模型能力進化的需要，旗艦級模型的總參數量在過去 3~4 年間也有約幾十倍量級的增長。以我們比較熟悉的 Qwen 模型為例，從第一代 Qwen 模型到最新的 Qwen3.8 Max，總參數量從 720 億增加到約 2.4T，對應每個模型實例存儲參數需要的內存容量就從 135GB 增長到近 2300GB，即原先的約 17x。

(注早先幾代大模型參數一般以 BF16 精度存儲，每參數需要 2 字節，而近期存儲精度普遍為 FP8 或更低，每參數只需 1 字節或更低)。

b. 推理緩存：相比每個模型實例固定佔用的參數存儲部分，對內存需求更大的彈性來自於推理輸出時需要存儲的 KV 緩存。這一塊內存需求的計算邏輯相對複雜、不是簡單的線性增長，取決於模型的上下文長度，和模型的注意力架構對緩存壓縮的效率。

可以看到，從 Qwen 初代到 Qwen3.8 Max，模型上下文容量也擴大了約 31x，和同期內參數量增長的幅度接近。不過因緩存技術的進步，所需的內存容量的增長幅度要小得多。

根據我們的計算，Qwen3.8 Max 的最大上下文長度是 Qwen2.5 的約 8x，但前者單個會話所需的緩存容量約為 36GB，只比 Qwen2.5 高出約 12%。（以上測算都是基於使用最大上下文 80% 的情況下計算的）。

雖然由於軟件技術的進步，新模型單會話需要的緩存容量增長的幅度遠低於模型參數和上下文的提升速度，但因為 AI 用户數和會話數的飛快增長，所有會話緩存加起來的內存容量的總需求仍可能有數十乃至百倍的增長。

以同時處理 32 個會話為例（使用最大上下文的 80%），Qwen3.8 Max 模型實例所需的總內存量（參數 +KV 緩存）仍達到約 2.3+1.3=3.6TB。

c. 除了以上 AI 大模型或 Agent 自身對內存的需求外，AI Agent 工作時可能會產生很多傳統的運算需求或操作，例如寫文檔、操作 Excel，這都會產生對內存、閃存的需求。（當然這部分需求不需要 HBM 這類高規格產品）

1.2、更快的傳輸速度

以上是從容量需求的角度，而實際上 AI 計算對於數據傳輸速度的要求可能更加重要。這一點也能從兩個角度出發，一是為了匹配計算芯片更快的計算速度、不因內存傳輸速度拖累整個系統的效率，另一點則是更大參數規模和更長上下文模型，推理所需的緩存數據讀寫需求是爆炸式增長的。

a. 更強的芯片需要更快的內存：以最通用的英偉達芯片為例，從 B100 到 VR200 的迭代中，芯片的算力已是原先的 5x（基於 FP4 dense 精度），因此邏輯上對內存傳輸數據的速度（術語叫帶寬）也自然會水漲船高。

簡單舉例來説，如果某芯片 1 秒能計算 1GB 的數據，而其內存每秒只能輸送 0.5GB 數據，就等效於 GPU 將有近一半的時間被閒置來等待內存，導致芯片算力的浪費。

現實情況中，從 B100 到 GB300，5 代 GPU 使用的內存帶寬一直卡在 8TB/s 沒有增長（都是用的 HBM3e），對應內存帶寬/芯片算力的比值從 1.1 走低到 0.5（基於 FP4 精度）。

而雖然 VR200 使用的新一代 HBM4 的帶寬大幅提升到了 22TB/s，但因 VR200 的算力同樣相比上代提升了 2~3 倍（FP4 精度），因此 VR200 對應帶寬/算力的比值也只有 0.6。因此，內存帶寬依然是整個算力系統中的相對瓶頸。

b. 以平方增長的推理計算量：對內存帶寬高要求背後的另一原因，是大模型在推理計算中，需要讀取的數據量是隨着生成 Token 的數量，以平方而非線性速度增長。粗略的説，生成的上下文多 10 倍，需要的數據量要增長 100 倍。

背後原理如下圖所示，是因為 AI 模型計算輸出每一個新 Token 時，都需要完整讀取一遍激活參數，以及此前全部的 KV 緩存。生成 n 個 Token 就需要把以上讀取動作重複 n 次。（一個典型的等差數列求和問題）

根據海豚君的測算，以 Qwen3.8 Max 為例，在已有 100k 上下文的基礎上，生成 100k 新 token 過程所需的數據讀取的量級，在 500TB 左右。

但我們能看到 Qwen3 相比此前幾代模型雖然參數量大幅走高，但對數據讀寫量需求卻明顯下降，這背後是軟件技術進步降低了對硬件要求的體現。

這種幫助主要體現在兩點，一是大模型架構普遍從 “緻密” 轉向 “稀疏”(是同時激活所有參數，還是隻激活部分參數)，二是注意力架構從 “全注意力” 轉向 “混合/線性注意力” 的作用。（生成 token 時，是需全量使用所有 KV 緩存；還是隻有部分最相關的緩存全量使用，其他大部分緩存進行壓縮使用）

但正如 “傑文斯悖論”，軟件技術幫忙降低了對硬件的要求，那麼新的大模型會以更大的參數和上下文（達到數萬億乃至十萬億量級）把軟件技術省出來的硬件資源重新用滿。因此，即便有軟件技術效率的進步，對數據讀寫量及讀寫速度的要求依然相當嚴峻。

並且我們此處的討論是從單模型/單會話角度，再疊加上 AI 進入 Agent 和 Coding 時代後，AI 的用户數量和會話量有爆發式的增長。單用户用量和用户數量雙增的共振下，對存力的總需求自然會有成倍的增長。

二、HBM 何以脱穎而出？

由前文可見，AI 對內存的要求主要體現在更大的容量和更高的傳輸速度上，那麼從技術角度看，HBM 是如何滿足以上兩點要求，並脱穎而出成為目前高性能 GPU 內存的主要選擇？

實際上，HBM 內存相比常見的 DDR 內存，在內存顆粒上並沒有質的區別，核心差異主要在不同的架構和封裝方式上。

下圖是一個 HBM 芯片的架構示意圖，從中可見HBM 的主要獨特之處在兩點：1、HBM 的內存顆粒（DRAM Die）是在豎直空間內一層層堆疊起來的，2、HBM 是和 GPU 安裝在同一介質層上（硅中階層），共同封裝在一起的。正是這兩項技術共同實現了高容量和高傳輸速度。

其各個重要構成部件包括：① DRAM Die 即實際的內存顆粒，② Logic Die / Base die，內存顆粒底部的管理芯片，③ TSV 用於跨顆粒層傳輸的硅通孔，④ Interposer，一層硅介質，用於安裝並聯通內存和 GPU。後文我們會一個個詳細介紹這些部件。

2.1、堆疊技術提升容量：

首先，要擴大內存總容量邏輯上有兩個方式，一個是增大單個內存顆粒的容量密度，另一個是儘量在同樣體積內 “塞下” 更多數量的內存顆粒。

簡單來説，顆粒的容量密度主要由製程精度決定，但因物理規則的限制，內存顆粒的製程又很難做小。若製程太小，容易導致內存中的電子 “突破限制地亂竄”、造成數據錯亂或丟失。因而目前內存最先進的製程只在 11~12nm 左右，預期到 2030 年也只能做到 10nm 左右，相比邏輯芯片 2~3nm 的製程技術，差距很大。

因此不同於邏輯芯片的摩爾定律 -- 大約每兩年時間就能將單位面積內的晶體管密度翻倍\單位性能提升一倍。內存顆粒靠製程進步或者説提升單位容量密度的路不太好走，因而只能選擇另一條更 “簡單可行” 的方式，在給定的空間內儘量塞更多數量的顆粒。

這就引出了前面提到的HBM 採用的堆疊技術 -- 把多個內存顆粒一層層垂直堆疊在一起，從而在有限的面積下安裝下更大容量的內存。由下表可見，目前最新的HBM4 規格下內存堆疊數量已達 12 層，是初代的 3x。根據部分報道，在 26~27 年之交新一代 HBM 將進一步把堆疊層數推高到 16 層。

2.2、珍貴的空間和邊界：

但為什麼不能像傳統內存佈局一樣，把大量內存顆粒平鋪在基板上來實現更大的總內存容量？

根本原因是，高性能 GPU 內能用於安裝內存的位置和空間非常有限。在上文已有提及，是為了更高的傳輸速率，HBM 內存需要緊貼計算核心安裝，共同封裝在一塊單獨的硅中介層上。

a. 由以下的主板實拍圖清晰可見，普通家用 GPU 上，銀白色區域內只有運算核心，內存顆粒是環繞安裝在四周的黑色板材上（PCB 板）。

而服務器 GPU 的 HBM 內存顆粒則是緊貼着 GPU 核心，一同安裝在銀白色區域內。而這塊區域的面積有限、且目前沒法做得太大，因而能用來安裝各個部件的空間很有限。

b. 另外從圖上也可見，HBM 顆粒只安裝在 GPU 的上下，左右是空着的。這是因為傳輸部件（I/O）只能佈置在計算核心的四邊。這四邊中還需留出位置給核心之間內部相互通信的模塊，以及 GPU 與外部通信的模塊。因此能留給內存的位置就更少，無法在芯片四周鋪滿，這兩個因素共同限制了內存在水平面上安裝的空間，因此只能向垂直角度堆疊。

三、HBM 的技術難點

以上我們簡述了 HBM 帶來的技術優勢，但由此帶來的代價 -- 技術難點有哪些方面？接下來我們一一介紹。

3.1、堆疊的難點

a. 硅通孔--TSV

堆疊技術帶來的第一個問題是，懸空堆疊起的內存顆粒之間要如何相互聯通、傳遞信息和電力？這就引入了一個堆疊技術下新增的重要功能器件--硅通孔或者叫 TSV。

仍沿用此前的示意圖（注意紅框內），硅通孔簡單來説就是在硅片中垂直打孔，然後填充進銅作為導體，進而獲得在豎直方向上通信和輸電的能力。再在每一層底部增加和通孔對應的微凸塊，把每層顆粒上下聯通起來的同時，又要在每層間保留一定間隙，以防止短路並利於散熱。

製造硅通孔算不上技術的 “難點”，各內存廠商自身的工藝都可製造，但額外工藝和步驟自然意味着更高的成本，以及更低的良率。同時，由於 TSV 需同時兼顧通訊、通電、散熱等多種功能，不同的設計佈局和製造良率也是區分內存廠商優劣勢的其中一點。

b. 焊接工藝各不相同

憑藉 TSV 和微凸塊能實現各層顆粒之間的互通，但還需要進行焊接和封裝來確保這種精密的堆疊結構能長期穩定可靠。

海力士目前採用 MR-MUF 工藝（MR 指回流焊、MUF 指一種液態樹脂），而三星/美光則採用 TC-NCF 工藝（TC 指熱壓、NCF 指非導電膜）。

概括來看，TC-NCF 的工藝流程是：① 在第一層的內存顆粒背面貼上固態非導電薄膜，② 上下兩層顆粒對齊，加熱加壓，讓上層的微凸塊穿透薄膜與下層芯片的接口融合，③ 薄膜層受熱融化、填充兩層顆粒間的所有空隙，冷卻固化起到固定和絕緣作用，④ 循環往復以上步驟，直到所有顆粒層都完成焊接固定。

而MR-MUF 的工藝流程則是：① 將所有顆粒層一次性全部對準疊好，塗抹助焊劑臨時固定，② 將整個堆疊置入回流爐，加熱部分融化微凸塊，一次性完成各層所有焊點的熔接，③ 注入特製液態樹脂（EMC），一次性填滿各層之間的所有空隙，包裹住整個芯片；④ 樹脂固化後，研磨去掉多餘樹脂。

對比來看，MR-MUF 技術的主要優勢在於生產效率更高，良率更高以及散熱性能更好，因此具備更高的毛利率，這也是海力士的關鍵競爭優勢之一。

背後的技術原因是：① 熱壓技術需一層層堆疊焊接，一層出錯整體報廢。而回流工藝（MR）一次性焊接成型，步驟更少因而效率更高；② 反覆熱壓容易導致很薄的硅片彎曲變形或開裂，或導致凸點損壞，因而良率更低。

那麼為什麼三星和美光不模仿 MR 技術？一方面是海力士對該工藝申請了多個專利，且關鍵材料 -- 液態樹脂是海力士與上游供應商合作研發的，限制了競爭對手使用。另一方面，三星美光已在 TC 工藝上做了大量研發和設備投入，轉換成本較高。

相比復刻海力士現有的 MR 技術，三星和美光更傾向於直接研發下一代混合鍵合技術，以實現彎道超車。不同的鍵合技術也是區分內存廠技術優劣的因素之一，對這點後續我們也將進一步討論。

3.2、共同封裝

前文我們提到，為了讓計算核心和內存之間的數據傳輸更快，HBM 必須和 GPU 芯片緊貼着封裝在一起，為此還極大限制了內存安裝的位置，可以説代價不小。那麼背後的技術原因是什麼？

首先一個簡單的公式，內存帶寬（也就是數據傳輸速度）是由頻率和位寬兩個指標決定的，等於這兩個指標的乘積。通俗來説，位寬表示內存和計算芯片之間有多少條併發的數據傳輸通道，而頻率則代表每一條通道傳輸數據的速度有多快。

由 HBM 內存和普通 GPU 使用的 GDDR 內存的規格對比表可見，HBM 的帶寬遠超 GDDR 的核心原因是，HBM 的位寬可達 1~2 千位，而 GDDR 則只有 32 位。而論單通道的傳輸效率，HBM 反而明顯低於 GDDR。

但要在有限的面積內，在內存和計算單元之間佈下數千條通路連接，且還需保證每條通路之間不相互干擾，勢必要求每一條通路都必須極其的窄。此時，PCB 板的製作精度已無法滿足，只有製造芯片的半導體工藝才能達到這種精度要求。

具體來看，PCB 板的製作工藝是化學刻蝕，其能製作的通路寬度一般為 50µm 上下（下圖中 PCB 的線路仍能肉眼可見）。而由半導體工藝製作的硅中介層上的通路寬度可以達到 1µm 左右。這正是需額外製作一塊硅中介層來安裝並連接 HBM 芯片和 GPU 核心的根本原因。

3.3、基座芯片定製化

和硅中介層的情況類似，整個內存模塊有另一個組件 -- 位於堆疊最底層叫做基底層或邏輯層，從 HBM4 開始同樣也需要部分依賴外部廠商代工或協同設計。

基底層的作用簡單來説就是向上支撐並聯通其上的內存顆粒堆，向下通過中介層聯通外部，實現與 XPU 的信息交換並獲取電力，類似一箇中轉站。

a. 在 HBM3e 及前代產品中，基底層的結構相當簡單，包含 3 大部分：用於和 XPU 通信的 PHY 模塊，和內存顆粒聯通的 TSV 模塊，以及用於封裝前測試內存是否合格的 Direct Access（DA）模塊。

由於結構簡單，此前基底層的製作工藝要求不高，20nm 上下即可，因而內存廠商自己就能設計生產。

b. 但最新的 HBM4 中，基底層的製作工藝要求也普遍升級到了 12nm 左右。接下來的部分旗艦產品更會用到最新的 2/3nm 技術，同樣需要由台積電等廠商代工（三星由於有半導體工藝，可以自己生產）。

至於背後的原因也很簡單，HBM4 中的基底層包括的模塊和功能更多了，因而必須要提高工藝精度。具體來看：一方面是 HBM4 的位寬相較前代增加了一倍（從 1K 到 2K），那麼其對外連通的 PHY 模塊就需要以更高的精度製造（或者大幅增加模塊面積但不可行）；

另一個更重要的原因是，在 HBM4 之後的版本中，原本位於 XPU 內部的內存控制器、地址映射管理等功能組件將被轉移到內存的基底層模塊中。這樣也能讓內存控制模塊在物理上更貼近內存本身、減少指令和數據在內存和 XPU 之間的傳輸次數，也能在 XPU 芯片中節省出寶貴的空間用於其他組件。

c. 除了需要更精密的工藝製造之外，另一個重要變化趨勢是HBM 的基底層正逐步由通用組件變成客户專用的定製化組件。

例如英偉達自己公佈的 NVHBM 規格中，將採取私有的 Die-to-Die 協議取代通用 JEDEC 通路。據其公佈的數據，該變化能夠將內存帶寬提升 30%，功耗降低 15%，並省出 25% 的空間用於核心計算單元。此外如 Marvell，Rambus 等也都有宣佈各自定製的基底層。

3.4、內存已不再只屬於 “內存廠”

概括來看，以上提到的共同封裝，以及需定製並由半導體廠商代工的基底層，這兩個需要的新步驟/工藝，對 HBM 內存行業的影響是：

a. 內存廠商實際能交付的 HBM 產量，不再僅由其自身的產能所決定，也取決於其能夠拿到合作代工廠的基底層製作產能和合並封裝產能（主要是台積電的 CoWoS 產能），或者説高性能內存已然成為內存廠、封裝廠和終端用户的共有產品。

b. 新一代 HBM 芯片的規格和設計也不再能由內存廠自身主要完成，而是和其下游客户共同設計決定。這意味着之後的 HBM 內存產品可能更加的定製化而非通用化。因此，內存廠商如何和大客户深度綁定也變的更加生死攸關，一旦大客户改換內存合作伙伴，可能很難找到新客户消化此前專門研發的產品。

以海力士的 HBM4 內存為例，只有內存顆粒的生產和堆疊是由海力士單獨完成，其基底層是和英偉達共同設計並由台積電製作，最終的封裝也是由台積電完成。

從這個角度看，內存廠商的獨立自主權是有所下降的，對應在鏈條中佔據的價值量份額也可能呈走低趨勢。但因為 AI 導致 HBM 等高性能內存整個產業鏈的總價值盤大幅增加，目前仍是各參與者都 “共同富裕” 的階段。

四、尾聲

通過本篇，可以看到無論是從需求角度還是技術角度，內存的兩個核心因素就是容量大小&密度，以及數據傳輸速率這兩點。也能看到目前內存技術的核心差異點主要就在於不同的堆疊和封裝方式上。

在下一篇，海豚君將進一步探討之後更新的內存會如何圍繞容量、速率、以及成本這三個因素，做出進一步的改進或取捨。以及這些變化，會對內存行業及其中的廠商們產生怎麼樣的影響。敬請期待！

<全文結束>

本文的風險披露與聲明：海豚研究免責聲明及一般披露