HBM4技术竞赛,进入白热化

网络与存储 时间:2024-06-20来源:半导体产业纵横

HBM(HighBandwidth Memory,高带宽内存)是一款新型的 CPU/GPU 内存芯片,其实就是将很多个 DDR 芯片堆叠在一起后和 GPU 封装在一起,实现大容量,高位宽的 DDR 组合阵列。该内存技术突破了内存容量与带宽瓶颈,被视为新一代 DRAM 解决方案,也契合了半导体技术小型化、集成化的发展趋势。

过去 10 年里,HBM 技术性能不断升级迭代,已经成为高性能计算领域重要的技术基石之一。2023 年初以来,以 ChatGPT 为代表的 AI 大模型催生了巨量的算力需求,使 HBM 成为整个存储芯片行业为数不多的比较景气的细分市场。

在当下的 HBM 市场有两大热词,一个是「HBM3 缺货」另一个便是「HBM4 技术竞赛」。

HBM3 缺货的号角已经吹响很久。近日 SK 海力士 CEO 郭鲁正透露,公司今年的 HBM 产能已经全部售罄,明年订单也基本售罄。三星电子也透露,HBM 产能已售罄。美光科技也在日前的财报电话会议上透露,其 HBM 产品已全部售罄,且 2025 年的大部分产能也已被预订。

尽管 HBM 产能的紧张状况日益凸显,三大原厂也并未因此而减缓新技术开发的步伐,反而将 HBM4 的技术竞赛推向了更高的热度。

那么 HBM4 较 HBM3 有哪些不同?HBM4 又能给我们带来哪些惊喜?HBM4 的推进是否会影响 HBM3 未来产能开出?在此之前,先来了解一下 HBM4。

HBM4 亮点几何?

据悉,自 2015 年以来,从 HBM1 到 HBM3e 各种更新和改进中,HBM 在所有迭代中都保留了相同的 1024 位 (每个堆栈) 接口,即具有以相对适中的时钟速度运行的超宽接口。然而,随着内存传输速率要求不断提高,尤其是在 DRAM 单元的基础物理原理没有改变的情况下,这一速度将无法满足未来 AI 场景下的数据传输要求。为此,下一代 HBM4 需要对高带宽内存技术进行更实质性的改变,即从更宽的 2048 位内存接口开始。

接口宽度从每堆栈 1024 位增加到每堆栈 2048 位,为 HBM4 带来突破性变革。采用 2048 位内存接口,理论上也可以使传输速度再次翻倍。例如,英伟达的旗舰 Hopper H100 GPU,搭配的六颗 HBM3 达到 6144-bit 位宽。如果内存接口翻倍到 2048 位,英伟达理论上可以将芯片数量减半到三个,并获得相同的性能。

HBM4 在堆栈的层数上也有所变化,除了首批的 12 层垂直堆叠,预计 2027 年存储器厂商还会带来 16 层垂直堆叠。堆叠技术的进步意味着在同一物理空间内可以容纳更多的内存单元,从而显著提高内存容量和带宽。这种高密度堆叠技术对于需要大容量和高速访问的应用来说是一个巨大的优势,特别是在数据中心和超级计算机中。作为对比,HBM3 的堆叠层数主要为 8 层/12 层。此外,HBM 还会往更为定制化的方向发展,不仅排列在 SoC 主芯片旁边,部分还会转向堆栈在 SoC 主芯片之上。

随着技术的进步,HBM4E 有望带来更低的功耗。这将有助于减少系统能耗,降低发热,延长设备的电池寿命。与此同时,HBM4E 内存有望在各种领域得到应用,包括人工智能、高性能计算、数据中心、图形处理等领域,为这些领域带来更高的性能和效率。

各存储巨头各展神通

SK 海力士:采用 MR-MUF 等先进封装技术、携手台积电

在技术层面,SK 海力士将继续采用先进的 MR-MUF 技术,从而实现 16 层堆叠。

在 MR-MUF(批量回流模制底部填充)中,批量回流焊(MR)是通过融化堆叠芯片之间的凸块,让芯片互相连接的技术。模塑底部填充(MUF)是在堆叠的芯片之间填充保护材料从而提高耐久性和散热效果的技术。使用 MR-MUF,则可同时封装多层 DRAM。

与此同时 SK 海力士还致力于芯粒(Chiplet)及混合键合(Hybrid bonding)等下一代先进封装技术的开发,以支持半导体存储器和逻辑芯片之间的异构集成,同时促进新型半导体的发展。

根据 SK 海力士最新公布的信息显示,HBM4 将比第五代 HBM3E 速度提升 40%,而耗电量仅为后者的 70%。

SK 海力士还计划在 HBM4 基础芯片上采用台积电的先进逻辑工艺,以便可以将附加功能封装到有限的空间中。这也有助于 SK 海力士生产定制 HBM,满足客户对性能和功效的广泛需求。SK 海力士和台积电还同意合作优化 SK 海力士的 HBM 和台积电的 CoWoS(基板上晶圆芯片)技术的集成,同时合作响应常见客户与 HBM 相关的要求。

SK 海力士总裁兼 AI 基础设施负责人 Justin Kim 表示:「我们希望与台积电建立强有力的合作伙伴关系,以帮助加快我们与客户的开放合作,并开发业界性能最佳的 HBM4。」

上个月,两家公司签署了谅解备忘录。

三星:同步开发混合键合和传统的 TC-NCF 工艺

三星电子在 HBM4 内存键合技术方面采用两条腿走路的策略,同步开发混合键合和传统的 TC-NCF(thermal compression with non-conductive film 非导电薄膜热压缩)工艺。

混合键合技术作为一种新型的内存键合方式,相较于传统的键合工艺,具有显著的优势。它摒弃了在 DRAM 内存层间添加凸块的繁琐步骤,直接通过铜对铜的连接方式实现上下两层的连接。这种创新的方式不仅提高了信号传输速率,更好地满足了 AI 计算对高带宽的迫切需求,同时也降低了 DRAM 层间距,使得 HBM 模块的整体高度得到缩减。

混合键合技术的成熟度和应用成本一直是业界关注的焦点。为了解决这一问题,三星电子在 HBM4 内存键合技术方面采取了多元化的策略。除了积极推进混合键合技术的研究与应用,三星电子还同步开发传统的 TC-NCF 工艺,以实现技术多样化,降低风险,并提升整体竞争力。

从技术上看,TC-NCF 是一种与 MR-MUF 略有不同的技术。在每次堆叠芯片时,都会在各层之间放置一层不导电的粘合膜。该薄膜是一种聚合物材料,用于使芯片彼此绝缘并保护连接点免受撞击。这种方法的优点是可以最大限度地减少随着层数增加和芯片厚度减小而可能发生的翘曲,使其更适合构建更高的堆栈。

据悉,SK 海力士在第二代 HBM 之前也使用 NCF,但从第三代(HBM2E)开始改用 MUF(特别是 MR-MUF)。业内人士认为 MUF 是 SK 海力士能够在 HBM 市场脱颖而出的原因。也正因此不少人士对三星的技术路线保持怀疑。

不过,三星副总裁 Kim Dae-woo 表示,在最多 8 个堆叠时,MR-MUF 的生产效率比 TC-NCF 更高,但一旦堆叠达到 12 个或以上,后者将具有更多优势。该副总裁还指出,当 HBM4 推出时,定制请求预计会增加。

美光:HBMnext 或出奇招

在 HBM 芯片上,美光科技也加快了追赶两家韩国存储巨头的步伐。不过在技术细节上,美光并未公布太多信息。

关于未来的布局,美光披露了暂名为 HBMnext 的下一代 HBM 内存,业界猜测这有可能便是其 HBM 4。美光预计 HBMNext 将提供 36 GB 和 64 GB 容量,这意味着多种配置,例如 12-Hi 24 Gb 堆栈 (36 GB) 或 16-Hi 32 Gb 堆栈 (64 GB)。至于性能,美光宣称每个堆栈的带宽为 1.5 TB/s–2+TB/s,这意味着数据传输速率超过 11.5 GT/s/pin。

与三星和 SK 海力士不同,美光似乎并不打算把 HBM 和逻辑芯片整合到一个芯片中,在下一代 HBM 产品发展上,美光或许想要通过 HBM-GPU 的组合芯片形式以获得更快的内存访问速度。不过美媒表示,随着机器学习训练模型的增大和训练时间的延长,通过加快内存访问速度和提高每个 GPU 内存容量来缩短运行时间的压力也将随之增加,而为了获得锁定 HBM-GPU 组合芯片设计(尽管具有更好的速度和容量)而放弃标准化 DRAM 的竞争供应优势,可能不是正确的前进方式。

三大原厂的 HBM4 量产时间

关于量产时间,SK 海力士在 5 月举行的记者招待会上表示,其 HBM4 内存的量产时间已提前到 2025 年。具体来说,SK 海力士计划在 2025 年下半年推出采用 12 层 DRAM 堆叠的首批 HBM4 产品,而 16 层堆叠 HBM 稍晚于 2026 年推出。

据三星的规划,HBM 4 将在 2025 年生产样品,2026 年量产。美光预计将在 2026 年推出 12 和 16 层堆叠的 HBM4,带宽超过 1.5TB/ s;到 2027~2028 年,还将发布 12 层和 16 层堆叠的 HBM4E,带宽可达 2TB/s 以上。

如果按照当前各家的计划推进,那么 SK 海力士将先人一步。

台积电也在为 HBM4 蓄力

除此之外,台积电也在积极开发与优化其封装技术,以支持 HBM4 的集成。

在今年 4 月的北美技术研讨会上,台积电推出了下一代晶圆系统平台——CoW-SoW——该平台将实现与晶圆级设计的 3D 集成。该技术建立在台积电 2020 年推出的 InFO_SoW 晶圆级系统集成技术的基础上,该技术使其能够构建晶圆级逻辑处理器。
据了解,台积电的 CoW-SoW 专注于将晶圆级处理器与 HBM4 内存集成。下一代内存堆栈将采用 2048 位接口,这使得将 HBM4 直接集成在逻辑芯片顶部成为可能。同时,在晶圆级处理器上堆叠额外的逻辑以优化成本也可能是有意义的。

随后在 5 月中旬的 2024 年欧洲技术研讨会上,台积电表示,将使用其 12FFC+(12nm 级)和 N5(5nm 级)制程工艺制造 HBM4 芯片。

台积电设计与技术平台高级总监表示:「我们正在与主要的 HBM 内存合作伙伴(美光、三星、SK 海力士)合作,开发 HBM4 全栈集成的先进制程,N5 制程可以使 HBM4 以更低的功耗提供更多的逻辑功能。」

N5 制程允许将更多的逻辑功能封装到 HBM4 中,并实现非常精细的互连间距,这对于逻辑芯片上的直接键合至关重要,可以提高 AI 和 HPC 处理器的内存性能。

相对于 N5,台积电的 12FFC+工艺(源自该公司的 16nm FinFET 技术)更加经济,制造的基础芯片能构建 12 层和 16 层的 HBM4 内存堆栈,分别提供 48GB 和 64GB 的容量。

台积电还在优化封装技术,特别是 CoWoS-L 和 CoWoS-R,以支持 HBM4 集成。这些先进的封装技术有助于组装多达 12 层的 HBM4 内存堆栈。新的转接板能确保 2000 多个互连的高效路由,同时保持信号完整性。据台积电介绍,到目前为止,实验性 HBM4 内存在 14mA 时的数据传输速率已达到 6 GT/s。

台积电还在与 Cadence、Synopsys 和 Ansys 等 EDA 公司合作,对 HBM4 通道信号完整性、IR/EM 和热精度进行认证。

那么,关于 HBM4 未来的研发进度,我们是否应担忧它会侵占 HBM3 的产能呢?毕竟,HBM3 当前的产能状况已经相当紧张。

HBM4 是否会挤压 HBM3 的产能?

众所周知,HBM3 市场的主要竞争者也只有 SK 海力士、三星和美光三大家。

各家 HBM3 系列产品量产进度

据悉,美光、SK 海力士和三星先后在去年 7 月底、8 月中旬、以及 10 月初向英伟达提供了 8 层垂直堆叠的 HBM3E(24GB)样品。其中美光和 SK 海力士的 HBM3E 在今年初已通过英伟达的验证,并获得了订单。

今年 3 月 SK 海力士宣布,公司将超高性能用于 AI 的存储器新产品 HBM3E 率先成功量产,从 3 月末开始向客户供货。美光也宣布已开始批量生产其 HBM3E 解决方案,其首款 24GB 8H HBM3E 产品将会用于 NVIDIA H200 GPU,将于 2024 年第二季度开始发货。

不过近日,据 DigiTimes 报道,三星 HBM3E 尚未通过英伟达的测试,仍需要进一步验证。据了解,三星至今未能通过英伟达验证主要卡在台积电的审批环节。作为英伟达数据中心 GPU 的制造和封装厂,台积电也是英伟达验证环节的重要参与者,传闻采用的是基于 SK 海力士 HBM3E 产品设定的检测标准,而三星的 HBM3E 产品在制造工艺上有些许差异,比如 SK 海力士采用了 MR-RUF 技术,三星则是 TC-NCF 技术,这多少会对一些参数有所影响。

不过,5 月 24 日,三星否认了有关其高带宽内存芯片尚未通过英伟达的测试以用于这家美国芯片巨头的人工智能处理器的报道。

三星表示,其与全球各合作伙伴的 HBM 供应测试正在「顺利」进展。

三星在上个月发布的 2024 年第一季度财报中表示,8 层垂直堆叠的 HBM3E 已经在 4 月量产,并计划在第二季度内量产 12 层垂直堆叠的 HBM3E,比原计划里的下半年提前了。按照三星的说法,这是为了更好地应对生成式 AI 日益增长的需求,所以选择加快了新款 HBM 产品的项目进度。

HBM 的供应紧张局面,主要是来自于英伟达、AMD 等芯片巨头对于 HPC 和 GPU 的强劲需求。在此背景下,各大存储龙头纷纷掏出重金推进 HBM 扩产计划。

扩产动作频频

SK 海力士在今年 4 月宣布,计划扩大包括 HBM 在内的下一代 DRAM 的产能,以应对快速增长的 AI 需求。公司将投资约 5.3 万亿韩元(约 279.84 亿人民币)建设 M15X 晶圆厂,作为新的 DRAM 生产基地。该公司计划于 4 月底开工建设,目标于 2025 年 11 月竣工并尽早量产。随着设备投资计划逐步增加,新生产基地建设总投资长期将超过 20 万亿韩元。

值得注意的是,在此前的一次电话会议中,SK 海力士表示,将扩大 HBE 生产设施投资,对通过硅通孔(TSV)相关的设施投资将比 2023 年增加一倍以上,力图将产能翻倍。

近日,SK 海力士产量主管 Kwon Jae-soon 表示,该企业的 HBM3E 内存良率已接近 80%。此外,Kwon Jae-soon 也提到,SK 海力士目前已将 HBM3E 的生产周期减少了 50%。更短的生产用时意味着更高的生产效率,可为英伟达等下游客户提供更充足的供应。这位高管再次确认 SK 海力士今年的主要重点是生产 8 层堆叠的 HBM3E,因为该规格目前是客户需求的核心。

三星执行副总裁兼 DRAM 产品与技术部负责人 Hwang Sang-joong 在加州圣何塞举行的「Memcon 2024」会议上透露了三星的产能扩增计划。Hwang 表示,三星预计今年的 HBM 芯片产量将比去年增长 2.9 倍,这一数字甚至高于三星早些时候在 CES 2024 上所预测的 2.4 倍的增长。此外,三星还公布了其 HBM 技术蓝图,预测到 2026 年,其 HBM 的出货量将比 2023 年高出 13.8 倍,而到了 2028 年,这一数字将进一步攀升至 2023 年的 23.1 倍
为了满足 HBM 领域的旺盛需求,美光也小幅上调了本财年的资本支出预算,由原计划的 75~80 亿美元调整为 80 亿美元。美光预计,未来几年内,其 HBM 内存位元产能的年均增长率将达到 50%。

产能何时开出?HBM4 是否冲突 HBM3?

观察发现,存储三巨头的新一代 HBM4 的推出时间预计最早将落在 2025 年下半年,而全面步入批量生产的步伐可能需等待至 2026 年。再细观各家新产能的筹备情况,SK 海力士的新工厂预计将在 2025 年 11 月竣工,若竣工后立即投入生产,新产能的启动亦将紧随其后,预计在 2025 年底。

三星预测,到 2026 年,其 HBM 的出货量将较 2023 年激增 13.8 倍。而美光科技虽在行动上稍显稳健,但从前两家公司的产能扩展态势来看,届时 HBM 的产能紧张问题或许已得到缓解,HBM4 的量产时机与新产能的启动有望相互呼应。

然而,考虑到新产品上市所需的适配周期和良率提升过程,以及部分订单从 HBM3 向 HBM4 的迁移,HBM4 的推进在短期内对 HBM3 的市场影响或许不会过于显著。

关键词: HBM4

加入微信
获取电子行业最新资讯
搜索微信公众号:EEPW

或用微信扫描左侧二维码

相关文章

查看电脑版