事件背景
AI 訓練和推論對記憶頻寬的胃口無止境。OpenAI、Google、Meta 這些大模型梯隊都在燒 GPU——而 GPU 的瓶頸逐漸從算力轉向記憶體。高頻寬記憶體(HBM, High-Bandwidth Memory)應運而生,Nvidia 的 H100、H200 堆疊著 5 層、7 層 DRAM 晶片,用 silicon interposer 連結,頻寬瞬間翻倍。
但問題來了:堆疊層數越多,底層晶片的散熱就越難。熱量從底層往上傳導,每多一層就多一重熱阻。H200 已經接近實際產線的散熱極限——再往上堆,良率暴跌,成本爆表。
這就是所謂「散熱牆」(Heat Wall)。
舊思路的死路
傳統半導體工程的邏輯很直線: - 想要更多頻寬?堆疊更多層。 - 散熱不行?改進材料、改善散熱膏、加風扇。 - 功耗太高?微縮製程、降低電壓。
這些全是在既有座標系內的優化。堆疊高度、散熱系數、製程節點——全是「把已有的東西做得更好」。但當物理極限來敲門,這條路就死了。
破局者的新座標
日韓研究團隊的想法:與其把 HBM 一直往上堆,為什麼不「側向立起」——讓多層 DRAM 不是堆疊成一個高塔、而是並排排列?
這改變了整個散熱拓撲: 1. 散熱路徑短化:不再是底層晶片被上面四層壓著,而是每一層都有直接接觸散熱器的機會。 2. 頻寬不降反升:通過優化交錯存取(interleaving)和並行讀寫架構,側向排列反而能提升有效頻寬。 3. 成本下降:不需要複雜的 3D silicon interposer,可以用 2.5D 甚至 2D 互連方案。
為什麼這是「範式轉移」而非「改良」
這不是「把堆疊改成 6 層或 8 層」這種量的調整。這是根本改寫了「記憶體應該長什麼樣子」的答案。
從物理角度:舊問題是「如何在 Z 軸(高度)方向密集化」;新問題變成「如何在 XY 平面上優化互連拓撲」。這是座標系轉換。
從競爭角度:誰能最快工程化這種側向架構、誰就控制未來 3-5 年的 AI 記憶體市場。Nvidia 已經在 HBM 上投了 10 年工程、有龐大的堆疊製程經驗——但這種經驗在新座標系下可能變成沉沒成本。一個新進者如果先把側向架構做穩定,可以直接開闢新戰線。
歷史迴圈
這不是第一次了。
1970 年代的記憶體戰爭:當 DRAM 面密度逼近極限,業界開始探索 3D DRAM 的可能性;同時 Intel 發現「單層芯片改進成本」比「堆疊複雜度」更低,推出了橫向擴展的記憶體陣列。市場最後接納了「寬而淺」而非「高而窄」的方案。
2010 年代的快閃存儲革命:NAND Flash 3D 堆疊層數從 32 層 → 128 層 → 200+ 層,但同時業界也在探索「橫向陣列 + 並行讀寫」的方案。兩條線並行演化,最後是堆疊和並行的混合體。
當今 HBM 也在走同樣的路:既要堆疊、也要橫向擴展。但誰能找到最優的平衡點,誰就贏。
為什麼會有人沒想到這點
Nvidia 在 HBM 上成功了太久。H100、H200 的堆疊方案在過去 3-5 年統治市場。當一個方案「有效」時,組織傾向於沿著它繼續優化,而不是問「根本上有沒有更好的座標系」。
這是 Clayton Christensen 說的「創新窘境」(The Innovator's Dilemma):領導者被自己的成功困住。
韓國和日本的研究機構沒有 Nvidia 那樣的包袱。他們可以從第一性原理問:「記憶體的本質是什麼?」答案是「容量 × 頻寬 × 散熱效率」。然後問「現有堆疊方案在哪個維度最脆弱?」答案是「散熱」。最後問「有沒有不改變堆疊、而改變互連拓撲的方案?」答案是「有」。
全球格局的微妙變化
如果日韓的側向 HBM 真的能工程化、並且在成本與性能上超越傳統堆疊,那麼:
1. Nvidia 的護城河會變淺:H100、H200 的設計優勢會被新架構蠶食。 2. :TSMC 在 3D 堆疊上有優勢,但側向架構可能對三星、SK 海力士更友好(他們有傳統 DRAM 製程的積累)。 3. :如果記憶體架構不再是「堆疊高度比拼」,而是「互連設計比拼」,那麼小型代工廠和材料廠商會有更多機會。