美光发布第二代HBM3，加速AI计算应用

 2015年，AMD发布了搭载HBM的GPU显卡。彼时大众对于HBM并不了解，苏姿丰形象比喻HBM的创新点在于——将DRAM颗粒由传统的“平房设计”转变为“楼房设计”，可实现更高的性能和带宽。
而今，HBM成为了影响GPU显卡实现更高性能AI计算的关键，AI巨头排队抢购。在最近的两次英伟达的新品发布中，黄仁勋也多次强调HBM3于AI计算的重要性。大众也开始意识到HBM的重要性，将HBM视为是躲在GPU背后的大赢家。
作为内存领导者，美光必然不会缺席HBM这场盛筵。近日，美光发布了业界首款8层堆叠的24GB 第二代HBM3，采用美光的1β制程工艺，实现了1.2TB/s超高性能。
我们可以把AI应用分为三大类。首先是生成式AI，包括时下火热的ChatGPT和Mid-Journey等，都属于此类范畴。第二类是深度学习，例如虚拟助理、聊天机器人和医疗诊断等。这类应用需要处理大量的数据，并通过算法来诠释数据、加以预测。第三类是高效能计算，包括全基因测序、天气预测等重大科学问题的解决，都需要依赖于此类AI计算能力发展。
而不论是哪种AI应用，都驱动了大量的计算性能需求和内存需求。据美光副总裁暨计算与网络事业部计算产品事业群总经理Praveen Vaidyanathan分享，光拥有大量的计算能力，却没有足够的內存带宽来支持也是不够的，通常计算性能的瓶颈超过半数都与內存的带宽有关。
此外，大语言模型的参数数量正在巨量增长，因此AI应用上需要更高的内存容量密度，以在相同的体积内实现更高的内存容量。最后还需要关注到功耗，据推测未来7年内数据中心的耗电量将占全球电力消耗近8%，而AI服务器中所需的内存是通用服务器的6～8倍，因此内存的高能效也同样关键。
为了应对数据密集型工作负载和应用程序的增长，数据中心基础构架已经被重新定义。传统上围绕着CPU的数据中心架构已经不足以满足当下的计算需求，GPU、FPGA和ASIC等专用加速芯片正在成为异构数据中心发展的核心。与此同时，仅仅靠DDR也已经不足异构数据中心基础设施的需求，HBM作为超带宽方案更为实现AI计算加速的关键。
HBM位于非常靠近GPU或CPU的中介层上，由多个DRAM Die以堆叠的方式构成，最底层是逻辑控制单元，每一层Die之间采用TVS的方式互联。凭借其宽I/O总线和增加的密度，HBM提供了现代数据中心基于加速器的计算模型所需的高性能和功效。目前HBM技术最新已经发展到了HBM3e，而预期明年的大规模AI计算系统商用上，HBM3和HBM3e将会成为主流。