HBM（High Bandwidth Memory，高頻寬記憶體）是專為高效能運算和 AI 加速器設計的先進記憶體解決方案 [citation:9]。
HBM 的技術特點
傳統 DRAM 透過匯流排與處理器相連，頻寬受限於引腳數量。HBM 則採用 3D 堆疊技術，將多顆 DRAM 晶粒垂直堆疊，並透過矽穿孔（TSV）互連，再與處理器封裝在同一基板上。
以目前主流的 HBM3e 為例，單顆 HBM 堆疊 8~12 層 DRAM，資料頻寬可達 1TB/s 以上，遠高於傳統 DDR5 的數十 GB/s [citation:9]。
為何 AI 晶片需要 HBM？
大型語言模型的參數動輒數千億，訓練過程中需要頻繁讀寫大量權重資料。如果記憶體頻寬不足，GPU 就會陷入「飢餓」狀態，等待資料傳輸。HBM 提供的高頻寬正好解決這個瓶頸。
NVIDIA H200 搭載 HBM3e，記憶體頻寬達 4.8TB/s；下一代 Rubin 平台預計採用 HBM4，頻寬將進一步提升 [citation:9]。目前 HBM 市場由 SK 海力士、三星、美光三家主導，產能供不應求。