产业洞察

TrendForce集邦咨询:AI发展驱动高效能运算需求提升,仰赖HBM与CXL优化硬件效能


15 November 2021 半导体 TrendForce

根据TrendForce集邦咨询最新发表的服务器报告指出,近几年受到新兴应用的激励,加速了人工智能及高效能运算的发展,且伴随着仰赖机器学习及推论的需求提升,建构出的模型复杂度也随着需求的精细程度有所增加,因此在计算时须处理的数据量亦随之增大。在此情境下,庞大的数据处理量受硬件效能局限,导致使用者在设备的建置面临了效能、容量、延迟度以及成本间的取舍问题,从而刺激HBM(High Bandwidth Memory)及CXL(Compute Express Link)的出现。功能上来说,HBM为新形态存储器,主要协助更多元、高复杂运算而需要的I/O作辅助,而CXL则为使存储器资源共享的协定,提供xPU更为便捷的应用。

现行DRAM架构垂直堆栈,HBM突破现有解决方案的频宽限制

为了不受限于传统存储器的频宽束缚,存储器原厂开发了HBM,其结构为基本逻辑颗粒上连接数层的DRAM裸晶,而DRAM裸晶之间以硅通孔及微凸块3D堆栈达到高频宽设计,层数又以4层及8层为主流。而以现行世代来看,HBM2e为目前最新的量产世代,单层16GB的裸晶堆栈4层或8层,使得单颗容量分别为8GB及16GB,频宽可达410-460GB/s,而下一代HBM3已进入机构件送样阶段,可望于2022年量产。

根据TrendForce集邦咨询观察,2021年HBM位元需求占整体DRAM市场仍未达1%,主要包含两大原因:首先是消费级应用因成本考量下几乎未采用HBM,其次是服务器市场中作为AI功能的建置低于1%,即服务器搭载相关AI运算卡的比重仍小于1%,且多数存储器仍使用GDDR5(x)、GDDR6来支持其算力。

展望未来,虽然HBM仍在发展期,但随着应用对AI的依赖度增加(包含模型复杂化来优化AI精准度),需要HBM的加入来支援硬件。其中,以与AI最相关的FPGA和ASIC来看,FPGA产品有英特尔(Intel)的Stratix、Agilex-M以及赛灵思(Xilinx)的Versal HBM导入HBM;而ASIC方面,多数数据中心在AI的建置中,逐渐以自研的ASIC芯片作为发展方向,例如谷歌(Google)的TPU、腾讯(Tencent)的邃思、百度(Baidu)的昆仑皆使用HBM。再者,英特尔(Intel)的server CPU Sapphire Rapids亦规划于2022年底释出带HBM的高端版本。TrendForce集邦咨询认为,HBM有助于突破AI发展中受限的硬件频宽瓶颈,未来市场上将出现更多相关应用。

高速运算催生的新协定,CXL将更有效整合系统中的运算资源

CXL则是基于PCIe Gen5规格演变的协定,让CPU及其他加速器(例如GPU、FPGA等之间)建立高速、低延迟的互联性,使其各自的存储器模拟成一个共享的空间,允许存储器资源共享,从而降低系统成本并获得更高的性能,因此有利于解决AI及HPC的工作负载。

而市场上类似概念的存储器资源共享协定并非只有CXL提出,英伟达(NVIDIA)的NVLink、超威半导体(AMD)及赛灵思(Xilinx)的Gen-Z,皆凸显大厂对系统资源整合的重视。然而,TrendForce集邦咨询认为,CXL能由众多协定中脱颖而出的主要原因,来自于其协定为英特尔提出,而该公司在CPU市场占有高采用率的优势,英特尔CPU支援的号召能使得CXL及其相关硬设备商得以自上而下的统合,因此相继获得超威半导体、ARM、英伟达、谷歌、微软、Facebook、阿里巴巴、戴尔等公司的加入,成为目前呼声最高的存储器协定。

在允许CPU及其他硬件进行存储器资源整合下,利于降低各硬件间的通信延迟,也能提高AI及HPC发展需要的计算性能。为此,英特尔将在下一代服务器CPU Sapphire Rapids中支援CXL,而存储器原厂亦规划支援CXL的产品方案,其中,三星(Samsung)宣布将推出支援CXL的DDR5模块,用以扩张服务器存储器容量,满足AI运算需要的庞大存储器需求。未来CXL亦有机会推及至NAND Flash的方案支援,使得DRAM及NAND Flash双双受惠。

HBM及CXL交互合作有利于AI发展,实际应用于2023年将更有能见度

TrendForce集邦咨询认为,CXL导入将随着未来CPU内建CXL功能而普及化,而未来AI服务器的硬件建置,将能见到更多同时采用HBM及CXL的设计。其中HBM能分别增加CPU及加速器各自的频宽,加速数据处理速度;CXL则建立彼此间沟通的高速互联性,两者交互有助于扩展AI算力从而加速AI发展。

在存储器资源共享下,模型的设计能摆脱硬件瓶颈,持续往更复杂的架构建设。TrendForce集邦咨询预估,随着支援CXL的英特尔CPU Sapphire Rapids导入达一定覆盖率,以及存储器原厂陆续量产更高频宽的HBM3及具备CXL功能的DRAM与SSD,2023年可望于市场上见到更多HBM及CXL合作使用的应用。

若有兴趣进一步了解并购买TrendForce集邦咨询旗下半导体研究处相关报告与产业数据,请至https://www.trendforce.cn/research/dram查阅,或洽询业务何凤玲女士linnahe@trendforce.cn 


上一则
TrendForce集邦咨询:元宇宙商机爆发,带动运算核心、网络通讯及显示技术再升级
下一则
TrendForce集邦咨询: 2021年前三季度新能源汽车产业逆势上扬,全球销量超越400万辆