單芯片功耗2200W，帶寬32TB/s：HBM如何撐起萬億參數(shù)AI時代？
發(fā)布日期:2025-08-28
點擊次數(shù):23
在人工智能(AI)與數(shù)據(jù)中心需求的驅(qū)動下，高帶寬內(nèi)存(HBM)被譽為AI時代的“新石油”，也正掀起下一代“存儲革命”。
隨著AI模型的復雜度和規(guī)模不斷提升，尤其是生成式AI和大模型訓練對算力的需求激增，數(shù)據(jù)中心對高性能存儲的需求也日益迫切。而HBM通過垂直堆疊多個DRAM芯片，結(jié)合硅通孔(TSV)技術(shù)，實現(xiàn)了遠超傳統(tǒng)DDR或GDDR的帶寬和容量，從而有效緩解了AI芯片面臨的“存儲墻”問題。
HBM技術(shù)作為下一代高性能計算和人工智能應用的核心技術(shù)，其技術(shù)路線圖和最新發(fā)展動態(tài)備受關(guān)注。近期，韓國科學技術(shù)院(KAIST)旗下的Terabyte Interconnection and Package Laboratory(TERALAB)發(fā)布了關(guān)于HBM的研究成果。這項研究成果由被業(yè)內(nèi)部分人士譽為“HBM之父”的金正浩教授主導完成，詳細闡述了HBM的未來路線圖，揭示了HBM4到HBM8的諸多技術(shù)細節(jié)，將為未來數(shù)據(jù)中心和AI應用提供強大的技術(shù)支撐。
與此同時，受到AI和高性能計算(HPC)需求的驅(qū)動，尤其是在英偉達、AMD和英特爾等芯片巨頭的推動下，HBM市場正迎來新一輪的升級和競爭。而存儲原廠如SK海力士、三星和美光科技也正積極推進HBM4的量產(chǎn)。值得注意的是，日本軟銀近日也宣布與英特爾合作開發(fā)一款新型堆疊式DRAM芯片，其設(shè)計不同于現(xiàn)有的HBM，預計可將電力消耗減少約50%。
以上發(fā)展動態(tài)和行業(yè)趨勢，不僅反映了AI和HPC需求的增長，也預示著HBM市場將迎來更加激烈的競爭和更快的技術(shù)迭代。然而，HBM的發(fā)展仍面臨產(chǎn)能瓶頸、封裝技術(shù)難題以及成本壓力等多重挑戰(zhàn)。未來，隨著技術(shù)的不斷進步和市場的持續(xù)擴張，HBM有望在AI和高性能計算領(lǐng)域發(fā)揮更加重要的作用，推動整個存儲產(chǎn)業(yè)邁入新的發(fā)展階段。
AI需求爆發(fā)：HBM增長的核心驅(qū)動力
進入2025年，全球科技巨頭在AI數(shù)據(jù)中心的投資與布局顯著加速。
目前，AI算力集群的建設(shè)和數(shù)據(jù)中心的規(guī)劃，以科技公司的業(yè)務導向為主，如微軟云、亞馬遜AWS、Google Cloud、阿里云、騰訊云等，通過AI賦能應用加速推動用戶上云的需求，或像Meta、特斯拉等擁有海量數(shù)據(jù)和AI需求的公司，自建龐大的專用AI集群，其目的主要是服務自身業(yè)務。
今年1月，包括OpenAI、軟銀(SoftBank)、甲骨文(Oracle)和中東人工智能基金MGX等在內(nèi)的美國政府和多家科技巨頭合作啟動了“星際之門計劃”。該項目計劃在未來四年內(nèi)投資高達5000億美元，其中首期投資為1000億美元。
與此同時，亞馬遜、微軟、谷歌和Meta等科技巨頭也將在2025年進一步擴大在AI數(shù)據(jù)中心的投資，以支持云計算和AI服務的擴展。據(jù)CFM統(tǒng)計，2025年大型云服務商微軟、谷歌、亞馬遜和Meta的資本支出總額將超過3200億美元，同比增幅將達到30%。
其中，微軟計劃在2025財年投資800億美元用于AI數(shù)據(jù)中心，其中一半以上的支出將在美國。亞馬遜預計增加約3成，達到1000億美元左右，主要用于AI相關(guān)業(yè)務。谷歌母公司Alphabet的資本支出則將從2024年的525億美元增至約750億美元，主要用于AI基礎(chǔ)設(shè)施，如服務器和數(shù)據(jù)中心。Meta也計劃投資600億至650億美元。
Meta CEO扎克伯格甚至表示，2025年是“人工智能的決定性一年”。
盡管DeepSeek R1發(fā)布之后，人工智能的發(fā)展重心正從模型訓練向?qū)嶋H推理應用轉(zhuǎn)移，同時也在一定程度上緩解了行業(yè)算力焦慮，但“算力至上”的共識似乎仍沒有打破，也未真正動搖美國“星際之門”計劃的基礎(chǔ)。
值得關(guān)注的是，除了中美歐之外，中東國家也在加大AI數(shù)據(jù)中心的投資與布局，特別是沙特阿拉伯和阿聯(lián)酋，正在通過大規(guī)模投資數(shù)據(jù)中心和AI基礎(chǔ)設(shè)施，推動本國的數(shù)字化轉(zhuǎn)型和經(jīng)濟增長。根據(jù)SemiAnalysis預測，到2030年，中東地區(qū)數(shù)據(jù)中心運營容量或?qū)⒊^6GW，并仍可能有顯著的上升空間。僅阿聯(lián)酋的G42就計劃在2026年訂購數(shù)十萬顆GPU。
在AI數(shù)據(jù)中心的資本支出持續(xù)增長的同時，HBM的需求也將經(jīng)歷“爆發(fā)式”增長。根據(jù)Yole Group的預測，主要用于AI的HBM市場營收將從2024年的170億美元增長到2030年的980億美元，年復合增長率高達33%。SK海力士預計，到2025年其HBM銷售額將占其總內(nèi)存銷售額的50%以上，該公司與美光科技的HBM產(chǎn)能在2025年均已完全分配完畢。
值得一提的是，HBM技術(shù)正從數(shù)據(jù)中心向移動終端等邊緣設(shè)備擴展。其中，移動HBM通過堆疊LPDDRDRAM來增加內(nèi)存帶寬，同時保持低功耗，適合移動終端的高性能需求。三星和SK海力士就分別開發(fā)了VCS和VFO技術(shù)，以實現(xiàn)移動HBM的量產(chǎn)。未來HBM在移動大模型終端中的應用將普及，如AI手機、AI PC等設(shè)備對內(nèi)存性能的要求不斷提高。最近有消息稱，2027年20周年紀念版iPhone將帶來多項創(chuàng)新，HBM技術(shù)預計被引入。而華為也打算將HBM技術(shù)引入到智能手機，甚至時間可能比蘋果更早。
此外，HBM在智能汽車中的應用也在不斷拓展。智能汽車對實時數(shù)據(jù)處理、高分辨率圖像處理和數(shù)據(jù)存儲等需求較高，而HBM恰好能夠滿足這些需求。比如，SK海力士的HBM2E已用于谷歌旗下的Waymo自動駕駛汽車。
不過，HBM在移動設(shè)備和PC等邊緣設(shè)備中的應用仍面臨一些挑戰(zhàn)，其中成本較高是主要問題之一。
HBM技術(shù)演進：從HBM3E到HBM4
HBM技術(shù)自2015年推出以來，已經(jīng)歷了從HBM1到HBM3e的多次迭代，并正在向HBM4邁進。HBM4作為第六代HBM產(chǎn)品，將在多個方面實現(xiàn)重大技術(shù)突破，包括更高的帶寬、更大的容量、更低的功耗以及更先進的封裝技術(shù)。
HBM3e是HBM3的擴展版本，在帶寬、容量和能效方面相比HBM3有顯著提升，在2024年由美光科技、SK海力士等頭部廠商量產(chǎn)，是AI加速卡的標配內(nèi)存。
根據(jù)TrendForce的預測，2025年HBM3E的市場需求將大幅增長，尤其是在AI芯片迭代加速的背景下，HBM3E的單位用量和單芯片容量將顯著提升。HBM3E采用24Gb單晶芯片堆棧，并支持8層(8-Hi)和12層(12-Hi)配置，單個HBM3E芯片的容量可達24GB，這將為AI服務器和高性能計算提供更強的算力支持。
毫無疑問，英偉達是HBM市場的最大買家，2025年推出的Blackwell Ultra系列GPU將全面搭載HBM3E，其中B200系列將采用HBM3E 8-Hi配置，Blackwell Ultra則可能采用8顆12-Hi HBM3E，進一步提升其算力密度。TrendForce預測，2025年英偉達在HBM3E市場的采購比重將突破70%，甚至可能達到85%以上。此外，英偉達在2025年推出的GB200系列，進一步推動HBM3E的市場普及。
今年6月，AMD在2025全球AI發(fā)展大會發(fā)布的最新Instinct MI350系列GPU，支持128條HBM3E內(nèi)存通道，每顆HBM3E的單顆容量提升至36GB，總體內(nèi)存容量達到288GB，內(nèi)存帶寬提升至8TB/s，實現(xiàn)了4倍的AI計算能力提升和35倍的推理性能飛躍。
由此可見，HBM3E將成為2025年HBM市場的主流產(chǎn)品，其需求也將顯著增長。
表1：HBM3E與HBM4關(guān)鍵性能對比
而HBM4則是HBM3e的“繼任者”，預計將在2026年大規(guī)模量產(chǎn)應用，其設(shè)計目標直指“帶寬翻倍、容量倍增、能效再優(yōu)化”，以滿足萬億參數(shù)AI模型需求。
在核心技術(shù)上，HBM4的I/O數(shù)量從1024增至2048位，通過增加TSV數(shù)量并縮小凸塊間距實現(xiàn)，使傳輸速度翻倍。這將是HBM技術(shù)自2015年以來的最大變化。同時，HBM4首次采用邏輯-內(nèi)存異構(gòu)架構(gòu)，基礎(chǔ)層(Base Die)由晶圓代工廠(如臺積電)以3－7nm工藝制造，支持可定制化加速功能。此外，HBM4利用混合鍵合取代傳統(tǒng)熱壓鍵合(TCB)，實現(xiàn)＜1μm凸點間距，提升層間互連密度并降低功耗。
目前，英偉達和AMD均已確認在其下一代產(chǎn)品(如英偉達的Rubin和AMD的Instinct MI400)中采用HBM4技術(shù)。其中，英偉達的Rubin GPU將采用8個HBM4，而高端的RubinUltra則會配備16個HBM4。Rubin的GPU裸片面積預計為728mm2，單顆裸片功耗800W，其搭載的HBM4內(nèi)存總?cè)萘靠蛇_288－384GB，總帶寬16－32TB/s，整個芯片功耗2200W。而AMD的Instinct MI400則更進了一步，計劃提供高達432GB的HBM4內(nèi)存容量，內(nèi)存帶寬可達19.6TB/s。不過，因設(shè)計復雜度與邏輯芯片成本，HBM4溢價預計＞30%(HBM3E溢價約20%)。
2025年3月，SK海力士交付用于AI的新型超高性能DRAM 12層HBM4樣品
目前各大存儲巨頭如SK海力士、三星電子和美光科技，正積極推進HBM4的量產(chǎn)，以搶占未來市場的主導地位。今年3月，SK海力士已開始向客戶送樣12層HBM4產(chǎn)品，并計劃在2025年下半年完成量產(chǎn)準備，預計2026年量產(chǎn)HBM4產(chǎn)品。6月，美光科技也宣布向多個關(guān)鍵客戶交付HBM4樣品，計劃在2026年實現(xiàn)HBM4的產(chǎn)能爬坡。三星也計劃在2025年下半年實現(xiàn)HBM4的量產(chǎn)，并預計于2026年開始商業(yè)供應。
HBM“線路圖”：下一代HBM存儲革命
HBM4作為下一代高性能內(nèi)存標準，將于2026年大規(guī)模量產(chǎn)應用。而在AI技術(shù)需求的推動下，HBM技術(shù)仍將不斷迭代與升級，集中圍繞更高的帶寬、更大的容量、更低的功耗、更先進的制造工藝與封裝技術(shù)、更廣泛的散熱解決方案等方面開展。
近期，KAIST旗下TERALAB發(fā)布的HBM線路圖，展現(xiàn)了從單純?nèi)葸M化。從HBM4到HBM8的技術(shù)演進中，HBM不僅在帶寬上持續(xù)突破，還通過優(yōu)化互連數(shù)量、單線路數(shù)據(jù)速率與TSV密度，進一步提升了整體性能。
表2：下一代HBM技術(shù)路線圖
其中，HBM的發(fā)展始終圍繞“更高帶寬”這一核心目標展開，通過TSV、混合鍵合、封裝工藝優(yōu)化和架構(gòu)創(chuàng)新等多方面的技術(shù)突破，實現(xiàn)了從HBM4到HBM8的跨越式發(fā)展。根據(jù)KAIST預測，HBM技術(shù)將從HBM4發(fā)展到HBM8，帶寬將從2TB/s增長到64TB/s，數(shù)據(jù)傳輸速率將從8GT/s提升到32GT/s。這種指數(shù)級增長背后，是混合鍵合、窄間距封裝等工藝的突破——從HBM3的微凸點(MR-MUF)技術(shù)到HBM5的無凸點Cu-Cu直接鍵合，鍵合精度從35μm級向10－15μm級演進。
其次，存儲容量的升級與帶寬增長形成協(xié)同效應，這種效應在HBM技術(shù)的演進中尤為明顯。HBM4通過將堆疊層數(shù)從HBM3的8/12-Hi提升至12/16-Hi，并結(jié)合24Gb/die的存儲密度，使單顆容量達到36/48GB。到HBM8，其將通過20/24-Hi的堆疊與80Gb/die的密度，實現(xiàn)200/240GB的超大容量。這種容量的躍升不僅依賴于DRAM工藝的進步，還得益于分層存儲架構(gòu)與內(nèi)存網(wǎng)絡的創(chuàng)新。比如，HBM7通過集成LPDDR-HBM與高帶寬閃存(HBF)，構(gòu)建起“內(nèi)存-存儲”一體化網(wǎng)絡，支持128GB/s的HBF鏈路與CXL接口，實現(xiàn)了從內(nèi)存到存儲的無縫數(shù)據(jù)流轉(zhuǎn)。
另外，HBM技術(shù)通過將計算能力與存儲架構(gòu)深度融合，正在重塑AI硬件的底層邏輯。其核心在于通過“近內(nèi)存計算(NMC)”技術(shù)將計算單元直接嵌入存儲堆疊，從而減少數(shù)據(jù)在CPU、GPU與內(nèi)存之間的遷移，顯著降低延遲并提升計算能效。HBM4通過定制基底芯片與AI強化TSV布局優(yōu)化，實現(xiàn)了帶寬與容量的突破。HBM5則確立了近內(nèi)存計算模式，通過垂直異構(gòu)堆疊提升算力密度與能效比。HBM6在結(jié)構(gòu)上實現(xiàn)了空間擴展與容量共享，邁入多塔異構(gòu)架構(gòu)階段，為大型模型提供更高效的內(nèi)存平臺。HBM7進一步引入“雙塔式HBM-NMC”架構(gòu)，通過兩堆DRAM與2048條中介層通道與GPU連接，構(gòu)建起以存儲為中心的計算架構(gòu)。
此外，3D集成技術(shù)的突破為HBM的演進提供堅實的物理基礎(chǔ)。隨著封裝需求的不斷提升，硅中介層在尺寸、成本和制造工藝上的限制逐漸顯現(xiàn)，尤其是在面對更大規(guī)模的芯片集成時，硅中介層的面積限制成為了一個瓶頸。為了解決這一問題，HBM6引入了硅/玻璃混合中介層的設(shè)計，通過將硅與玻璃結(jié)合，不僅突破了硅中介層的面積限制，還實現(xiàn)了超大尺寸封裝的可能，從而支持更多HBM堆疊與GPU的集成。HBM6的硅/玻璃混合中介層標志著封裝技術(shù)從單一材料向異質(zhì)集成的跨越。HBM8則進一步推動了封裝技術(shù)的創(chuàng)新，采用了雙面中介層設(shè)計，并在中介層中嵌入冷卻通道與垂直互連柱。未來HBM8的這一突破意味著HBM從單純存儲器件向系統(tǒng)級解決方案的轉(zhuǎn)變，為未來的高性能計算和人工智能應用奠定了基礎(chǔ)。
當然，隨著功耗密度大幅上行，能耗和散熱問題日益突出，將成為行業(yè)長期博弈的主線之一。在HBM4階段，冷卻方式主要依賴于頂部液冷，即通過在芯片封裝頂部加裝散熱器，將冷卻液泵送至熱源。然而，隨著HBM4的功耗和熱密度的增加，這種冷卻方式逐漸力不從心。金正浩教授指出，HBM4的冷卻液僅應用于熱源頂部的散熱器，而無法有效應對整個堆疊的散熱需求。因此，HBM5的浸沒式冷卻成為必然選擇，即整個芯片封裝和基座芯片將被浸入冷卻液中。他也介紹，繼HBM5之后，在HBM7上冷卻方式將再次成為決勝的關(guān)鍵。HBM7將采用嵌入式冷卻，即冷卻液將通過專用的流體TSV通道注入DRAM芯片間隙，以實現(xiàn)更高效的散熱。
總結(jié)
綜上所述，人工智能和數(shù)據(jù)中心需求的急劇增長正在推動HBM存儲技術(shù)的革命性演進與迭代。HBM作為突破“內(nèi)存墻”的關(guān)鍵技術(shù)，將通過3D堆疊和先進封裝技術(shù)，實現(xiàn)帶寬和集成度的顯著提升，成為AI和高性能計算領(lǐng)域的重要支撐。
從HBM4到HBM8的演進，不僅是一次技術(shù)的升級，更是對整個計算架構(gòu)的重新定義。HBM將從單純的高速存儲演變?yōu)?ldquo;內(nèi)存即計算”的核心組件，推動AI、大數(shù)據(jù)分析和高性能計算的進一步發(fā)展。未來，HBM還將與光互聯(lián)、片上網(wǎng)絡(NoC)、存算融合等前沿技術(shù)結(jié)合，構(gòu)建新一代高性能系統(tǒng)的核心內(nèi)存平臺。
發(fā)送郵件
客服咨詢