HBM存储为GPU而生
HBM(HighBandwidthMemory)即高带宽存储器,是一种基于3D堆叠工艺的DRAM内存芯片,具有高内存带宽、低能耗、更多I/O数量、更小尺寸等优势。HBM最早由海力士在2013年推出,起初主要用于提升GPU的读写速度,因此最先用于搭载独立显卡的游戏本(游戏本/台式机),2016-2017年被用于GPU矿机提升挖矿效率,同期研究学者们发现了GPU在深度学习和神经网络中具备超高效率,包括OpenAI等团队开始采用GPU进行机器学习研究,2022年OpenAI推出ChatGPT大模型,集成HBM的高性能英伟达GPU成为AI训练的核武器,市场开始疯抢GPU和HBM。回溯历史我们发现,HBM从出生开始,一直都是和GPU深度绑定。
图:HBM从出现开始就是和GPU深度绑定的
今日需要关注的数据有,中国9月贸易帐、日本8月第三产业活动月率、意大利9月CPI年率终值和美国10月纽约联储制造业指数。
资料来源:HBM白皮书 汇正研究所
HBM主采用了堆叠封装工艺
HBM和传统DRAM的差别只是封装结构不同,HBM将多个DRAM die通过TSV(硅通孔)和Microbump(微凸块)工艺堆叠起来,再通过uBump和Interposer(中介层)连接到GPU芯片上,借用AMD CEO苏丰姿的话来说HBM相当于将DRAM颗粒由传统的平房设计转变为楼房设计,可实现更高的性能和带宽。
图:DRAM和HBM的封装架构明显不同
资料来源:ADM官网 汇正研究所
HBM存储成为AI算力提升的关键
HBM速率快 体积小 功耗低:HBM通过TSV 工艺将多个DRAM 堆叠起来,大幅提升内部传输带宽,并降低功耗和芯片封装尺寸,封住后的HBM叠层在通过Interposer中介层与GPU芯片互联封装在一起,实现近存计算,缩短数据传输距离并提升传输速率,在较小的物理空间里实现高容量、高带宽、低延时与低功耗,根据三星公布的数据,采用TSV堆叠+Interposer中介层封装的HBM存储相比于传统独立封装的DRAM产品,体积减少35%,功耗降低50%,带宽提升8倍。
使用HBM 可以大幅提升AI芯片性能:英伟达第一代专业的AI训练GPU A100采用台积电7nm制程+HBME2存存储,算力约为20T,第二代产品H100采用台积电4nm制程+HBME2存存储,算力约为51T,通过制程的提升,芯片性能翻倍,但是到最新发布的第三代产品H200,该芯片采用和H100完全相同的架构、设计和工艺制程,晶体管数量,芯片峰值算力都和H100相同,只是搭载了容量更大速度更快的HBM3e 内存,实际推理中的效率就提升了90%,仅仅扩大HBM就能够显著提升AI芯片性能,因此HBM已经从一款存储升级为AI算力的倍增器。
图:仅仅增加HBM就能够提升模型推理速度
所有芯片厂商都把HBM作为AI芯片的标配
2023年底OpenAI推出了全球首款AI 大模型ChatGPT,超大语言模型对算力的提升速度要求已经突破了后摩尔时代算力提升速度的极限,“内存墙(显存的带宽和传输速度远低于GPU的运算能力)”的存在严重制约了高性能GPU芯片算力的释放,因此具备高带宽、大容量、低功耗、高集成特点的HBM成为是高速计算平台的最优解决方案,集成HBM的高性能GPU显卡成为AI训练推理的标配,截止到目前所有在2023年之后推出的AI GPU均集成了HBM存储。
图:所有厂商的AI芯片均搭载了HBM产品
资料来源:高盛 汇正研究所
产品升级叠加需求爆发 行业高增长
AI芯片带动HBM需求量爆发:2022 年全球 HBM 销量约为1.8亿GB, 2023 年由于AI 大模型的出现,AI服务器销量大幅增加,同时单机HBM容量从上一代的150G增加到640G,整个HBM需求增长60%达到2.9亿GB,2024年最一代服务器中单机HBM单机容量进一步扩大到1040G,随着英伟达AI芯片的放量,外加AMD、英特尔、谷歌等公司自研的搭载HBM的芯片上市,HBM需求会加速爆发,预计2024 年全球HBM需求将会达到5.8亿GB,2027年进一步提升到40亿GB。
供应紧张叠加规格升级 价格持续保持高位:2023 年由于 AI意外火爆,导致HBM供应严重短缺,行业需求超过总产能的1.05倍,外加供应链备货和过度下单,市场缺口更大,预计 2024 年随着各原厂积极扩产的效果显现,HBM 供需比有望获改善,但是依然存在少量的缺口,供需紧张下产品价格会维持高位,与此同时主流 HBM 产品也逐步从 HBM2E 升级为价值量更高的HBM3 甚至HBM3E(预计2024年HBM3占比将从2023年的35%提高到60%以上),进一步提高产品价格,预计2024年HBM存储价格至少能够维持23Q3时10美元/Gb的水平,并在后续保持稳定。
行业规模4年10倍:2023年全球HBM市场约为35亿美元,预计到2027年将会达到350亿美元,约为2023年的10倍,年复合增速超过58%。
图:HBM市场规模4年10倍
数据来源:高盛 汇正研究所
海外垄断 国内目前不能生产
当前HBM市场仍由三大家主导,2022年全年SK海力士占50%,三星占40%,美光占10%。根据TrendForce,HBM市场仍由三星、海力士、镁光三家海外公司垄断,2022年全年SK海力士份额50%,其次是三星40%,美光10%,目前国内厂商还不掌握相关量产技术。
图:全球HBM市场格局
资料来源:IDC 汇正研究所
投资机会:产品 设备 材料 国产替代
HBM市场需求爆发式增长,最为受益的肯定是生产销售HBM的厂商,其次是受益HBM产能扩张的设备材料供应商,接下来看HBM国产替代供应链。
HBM产品
HBM生产商三星、海力士肯定是HBM需求爆发最直接的受益者,但是全球HBM厂商都被海外厂商垄断,国内只有香农芯创作为海力士HBM产品在华独家代理商,有一点关系。
海外HBM扩产-设备材料
测试设备:传统的DRAM 测试流程主要包括晶圆级测试(老化测试、冷/热测试和修复测试)和封装级测试,而 HBM生产中增加了键合工艺、TSV工艺、Base die结构等,每一道工艺都需要相应的测试,并且由于HBM是三维结构并并且IO接口密度远高于DRAM产品,需要重新开发相应的测试设备和测试工艺,这会带来大量的测试设备需求。相关公司都是海外企业如康特科技、ASMPT、泰瑞达、爱德万等。
铜电镀设备:HBM需要采用TVS工艺将4层DRAM堆叠在一起并实现高速互联互通,因此会用到大量的TVS工艺,对于电镀设备和电镀液需求增加,相关供应商都是海外企业,东京电子等。
材料:HBM试用了大量的TVS(Through Silicon Via硅通孔,在硅微孔中镀铜形成电路)工艺,因此电镀液需求也会增加,相关供应商主要是东京电子等,除了电镀液之外其他传统DRAM使用的材料诸如光刻较、特气、硅片、填料等需求也会增增加,但是弹性很小。国内雅克科技(海力士光刻较前驱体)、联瑞新材(颗粒硅填料)在部分产品在认证,但是目前还没有导入。
国产HBM
根据公开媒体的报道,目前国内存储厂商已经突破HBM核心技术,预计2025年底国产HBM将会上市。目前已经确定的供应商包括通富微电(掌握2.5D/3D封装技术,配套国产HBM封测 ),其他还有大量先后炒作过的公司,他们的产品和HBM生产所需的产品重叠,但是并没有供货,最多只是传闻参与验证,不做介绍。
图:HBM产线投资机会