AI 训练集群的瓶颈早就不只在算力端了。你在很多公开报道里看到“某家大厂一次性采购几万张加速卡”但很少有人追问这些卡等不等得到内存过去两轮 GPU 迭代计算核心的密度一直在涨显存位宽也一直在涨但真正卡住系统吞吐的往往就是那颗 DRAM 与 GPU 之间的窄通道。HBM 就是这条通道上最关键的部件。所以当“消息称三星电子正为英伟达开发定制 8Hi HBM17~18Gbps 高速设计”这类新闻出现时我的第一反应不是“又一款高速内存”而是“HBM 这门生意终于从标准件走向了定制化战场”。这则消息如果为真真正值得分析的并不是“三星拿到了英伟达的单子”这个结果而是一个趋势信号AI 芯片厂商开始深入存储颗粒内部把 HBM 当成与 GPU 一起设计、一起调优的子系统。8Hi、17~18Gbps 这类具体规格背后是一整套关于带宽、功耗、散热、良率和测试的工程博弈。本文就把这层博弈拆开来看。1. HBM 定制化这一代 AI 芯片竞争的真正焦点1.1 为什么 GPU 算力上去了训练速度没上去先回到一个很多人实测过的现象。拿一张 H100 级别的 GPU 跑大模型训练理论算力动不动就是几百 TFLOPS但实际跑起来使用率很难拉满。卡点往往不是矩阵乘法单元不够快而是显存带宽喂不饱数据。每个计算单元要在每个时钟周期里拿到足够的权重和激活值一旦 HBM 带宽不够计算核心就停下来等数据。这种情况在超大模型训练、长上下文推理、多模态场景里尤其明显。模型参数变大中间激活变大batch size 又不能无限增加。GPU 把数据从 HBM 搬进 SRAM 再搬进寄存器这条路径一旦拥堵算力再高也是虚的。所以 HBM 的容量和带宽几乎直接决定了 AI 加速卡的上限。过去几代旗舰加速卡无一例外都是 HBM 的深度用户。你可以把 HBM 理解成 AI 算力的“大型仓库”而仓库的吞吐能力决定了工厂流水线能不能满负荷运转。1.2 从标准 HBM 到定制 HBM一批芯片背后的共同设计过去几年HBM 厂商给市场提供的是标准化产品。JEDEC 定义了 HBM2、HBM3、HBM3E 等规范包括堆叠层数、接口位宽、最低速率、电压范围。GPU 厂商从内存厂商手里买到符合 JEDEC 标准的产品再根据自己芯片的物理管脚布局去适配。但标准化有一个问题它照顾的是最大公约数。GPU 厂商如果想要的不是最大公约数而是和自家架构最匹配的“私有规格”就需要定制。这次消息里提到的“英伟达定制 8Hi HBM”核心就在“定制”二字上。定制意味着英伟达不只卡在封装环节选型而是把需求提前到内存设计阶段用几层 DRAM 堆叠、信号速率定在多少、工作电压怎么调、热预算怎么分配甚至硅片上的物理布局有没有可能为 GPU 的特殊访问模式优化。这种深度耦合和过去“买标准颗粒再自己封装”是两种完全不同的协作方式。对英伟达的好处很直接可以把 HBM 的带宽、容量和功耗调到与 GPU 架构更匹配的状态减少浪费提升能效。对三星这类内存厂商定制订单意味着更高的技术壁垒和更深的客户绑定但同时也意味着更大的研发和良率压力。1.3 定制到底定在哪些参数如果把定制两个字落到具体技术点可以关注四个层面第一堆叠层数。HBM 有 4Hi、8Hi、12Hi、16Hi 等不同层数。定制 8Hi 意味着每个 HBM 栈由 8 层 DRAM die 垂直堆叠通过硅通孔连通。8Hi 的容量和带宽是一个比较成熟的平衡点工艺难度相对可控。第二接口速率。标题提到的 17~18Gbps 是每个引脚的信号速率。速率越高单位时间搬运的数据越多但对信号完整性、供电噪声和散热的要求也越高。第三电压与功耗。高速信号通常意味着更高的动态功耗。定制时可以在速率和电压之间做折中比如压低工作电压用更好的一致性设计换取低功耗。第四面向特定工作负载的访问模式。GPU 在训练和推理场景里的访问模式并不一样例如矩阵数据复用方式、多播机制、原子操作频率。内存厂商如果提前知道这些可以在缓冲器设计、预取策略、刷新策略上做针对性优化。这些层面的定制最终都要落到“和 GPU 协同设计”这一步。单靠内存厂商自己闭门造车很难做到精准匹配。2. 8Hi、17~18Gbps 不是营销词拆一下规格背后的物理账2.1 8Hi 到底指什么先解释 8Hi 这个数字。HBM 的全称是 High Bandwidth Memory它不像普通 DRAM 那样平铺在一层芯片上而是把多层 DRAM die 堆叠起来每层之间通过 TSV 硅通孔垂直打通信号再统一连接到下方的逻辑缓冲 die。Hi 就是 Layer8Hi 就是 8 层 DRAM die 堆叠。8Hi 的含义首先要分开看容量和带宽。每一层 DRAM die 都有一定的单位容量比如 24Gb 或 32Gb不同产品不同。单颗 HBM 栈的总容量单 die 容量×层数。8Hi 不一定等于更高的总容量因为还要看每层 die 的容量但 8Hi 通常能在一个更合理的封装尺寸里提供比 4Hi 更大的容量和带宽。堆叠层数越多垂直打孔、减薄、对准、键合的难度就越高。8Hi 的良率通常低于 4Hi12Hi 又低于 8Hi。但 8Hi 在 HBM3E 时代是一个比较普遍的配置很多加速卡用的就是 8Hi 栈。“8Hi”本身不直接等于性能指标。它更多是封装和堆叠维度上的描述。真正决定访问速度的是接口速率。2.2 17~18Gbps 能从带宽公式里读出什么HBM 的带宽很容易用公式估算单个 HBM 栈带宽约等于每个引脚的速率 × 单个栈的数据位宽。HBM3E 单栈数据位宽通常是 512 bit即 64 字节。如果按 17Gbps 算单栈带宽 17Gbps × 512 / 8 ≈ 1088 GB/s大约是 1.1TB/s。如果按 18Gbps 算就是 18 × 512 / 8 ≈ 1152 GB/s约 1.125TB/s。这个数字意味着什么一个加速卡如果配 6 个 HBM 栈总带宽就在 6.5TB/s 到 6.9TB/s 之间。放在训练场景里1.1TB/s 单栈带宽已经相当可观比很多普通 DDR5 通道高出两个数量级。但要注意17~18Gbps 不是 HBM 的终极速度上限。JEDEC 的 HBM3E 规范目前允许的速率逐步提升行业里已经有人在实验室冲更高。17~18Gbps 更可能是一个“量产可接受、功耗可控、良率可保”的工程平衡点。2.3 高温、功耗、信号完整性高数据率带来的连锁代价很多人只看到速率提升了没看到速率的代价。信号频率越高一根导线上的损耗越明显。HBM 和 GPU 之间的互连要通过硅中介层或有机基板走线走线上有电阻、电容、电感高频信号经过这段路径会产生损耗和符号间干扰。随着速率逼近 18Gbps设计上会要求更好的发送端均衡、接收端均衡、时钟恢复能力和阻抗匹配。如果 HBM 厂商没有提前调整 I/O 驱动强度高速信号很容易出现眼图闭眼、误码率上升。同样重要的还有功耗。1Gbps 的速率提升往往意味着动态功耗的显式增长。HBM 工作时要不断开关大量 I/O 驱动器速率越高充放电功耗越大。整个数据中心都在强调每瓦性能GPU 厂商不可能只盯着带宽数字还要看能效。散热是另一个隐藏变量。HBM 堆叠在一起中间层产生的热量需要通过 TSV 往下导再经过散热盖板排出。8Hi 的垂直方向热阻比 4Hi 更大如果上层 DRAM 工作太热刷新时间会变短可靠性会下降。20Gbps 跑得太爽结果热到降频那就得不偿失了。所以 17~18Gbps 更像是一道综合题不仅要有高速设计能力还要有功耗、散热、信号完整性和可靠性的系统平衡能力。这也是定制 HBM 不便宜的原因。3. 三星为什么能进这个局HBM 工艺竞争里的“追赶与错位”3.1 HBM 三强格局领先者不是固若金汤HBM 市场长期由 SK 海力士、三星电子、美光三家主导。过去两代产品里SK 海力士最早发力 HBM3E并率先进入英伟达供应链一度成为市场的领跑者。三星也在积极追赶在 HBM3E 的量产节奏上反复调整甚至多次传出要加大投入。美光则主打能效和单位容量的优势。这个格局不是固若金汤。因为 AI 加速卡的需求变化太快第一代领先只能说明早期研发高效下一代产品能否持续领先取决于良率、产能和客户定制能力。消息说三星正在为英伟达开发定制 8Hi HBM说明三星试图通过定制化切入英伟达的核心供应链。这种切入方式比单纯拼“标准品量产时间”更聪明。对一个后发者来说和领先客户一起定义差异化规格可以避开正面对抗转而用协作深度建立壁垒。3.2 8Hi 定制设计对三星意味着什么对三星来说接到英伟达定制订单的价值不只是营收。更关键的是它会反向推动三星在 HBM 设计和制造能力上快速补课。定制 8Hi HBM 至少要求三星具备几件事能提供符合信号完整性要求的高速 TSV 设计能在 8 层堆叠中保持高良率能控制热机械应力能和 GPU 厂商的封装流程无缝配合。这些能力不是一朝一夕能建立的。同时定制订单会占用三星的先进封装和测试产能。HBM 不是只有 DRAM 制造还包括 TSV 形成、晶圆减薄、堆叠键合、封装测试等多个环节。如果三星能把 8Hi 定制产品做稳定它就更有可能在下一代 12Hi 甚至 16Hi 上获得同等信任。但这并不意味着三星一定能拿下长期大单。定制项目的生命线是“按期交付 稳定良率 稳定性能”。如果中间某个环节出问题客户有备用供应商风险仍然很大。3.3 良率、散热、测试定制化最容易暴露工业能力的三个环节先看良率。8Hi 堆叠过程中每一层 die 都要做 TSV 开孔和金属填充。任何一层出现缺陷整颗 HBM 都可能报废。层数越多良率损失越明显。三星要想在 17~18Gbps 速率下拿到可观的好品率必须优化 die 之间的对准精度和键合工艺。再看散热。8Hi 堆叠的垂直热阻不小。DRAM 性能会随温度变化高温下的刷新率、数据保留时间都会受影响。定制 HBM 可能会在芯片内部增加温度传感器和动态刷新策略这些细节决定长期可靠性。最后是测试。高速 HBM 完整测试需要专门的探针卡和测试机台。17~18Gbps 信号在测试夹具上会有额外损耗如果测试夹具的设计跟不上测出来的眼图就不可信。三星如果在这个环节投入不足会发现量产筛出来很多“低速料”产能白白浪费。这三个环节正是定制 HBM 最难复制、也最能体现技术纵深的地方。英伟达选择供应商的时候看的绝不是纸面速率而是产量、可靠性和交付周期。4. 工程视角当我们做 AI 基础设施时该如何看待 HBM 选型4.1 先搞清楚你的瓶颈在算力还是带宽对我们这些做 AI 基础设施、做平台规划、做应用部署的人来说HBM 定制化离得远但它会通过加速卡规格渗透到日常选择里。面对新品发布不要只看“XX TFLOPS”先问一句HBM 的容量和带宽是多少算力和带宽的配比是否匹配我的负载判断方法很简单。如果你的训练任务每个 token 消耗的算力很高模型计算密集那么算力上限更重要如果模型很大注意力机制很长需要频繁搬数据那么带宽和容量更重要。很多 MoE 模型的部署瓶颈就在显存带宽因为每个 token 只激活一部分专家但参数仍然要被全部读一遍。这时候8Hi 定制 HBM 带来的高带宽就可能比单纯增加核心数更有效。选型时要看自己的 workload profile不要被一颗芯片的峰值算力带着走。4.2 一张选型评估表从带宽、容量、功耗到供应链我可以给一个比较务实的评估框架适合大家在选型或评审时参考。每个维度后面跟着我们要记录或追问的问题评估维度关注点需要确认的问题单栈带宽每个 HBM 栈的引脚速率与位宽单栈带宽是否足够喂饱 GPU 计算核心总带宽加速卡上的 HBM 栈数量总带宽和峰值算力是否匹配总容量单颗 HBM 容量 × 栈数能否放下目标模型的权重和 KV Cache功耗HBM 电压、速率、读写占比整卡功耗是否在机房供电和散热预算内散热HBM 堆叠层数、风冷/液冷高负载下 HBM 是否会过热降频供应链供应商、定制/通用该规格是否有替代供应商交付周期是否稳定软件生态带宽监控、内存调试工具驱动和应用层能否正确识别并监控显存状态表格里前两项最直接。单栈带宽 1.1TB/s、总带宽 6.5TB/s 以上通常意味着这颗卡在长文本和高并发推理上会有优势。但要注意这些数字只有在实际压测里有意义。4.3 不要忽略软件栈和系统级验证很多人拿着规格表选卡却忘了跑一遍真实的端到端验证。HBM 速率再高如果驱动、内存分配器、通信库没有做针对性优化实际吞吐也会打折。常见的做法是先在目标卡上跑一轮典型任务压测比如用大模型训练跑一个中等规模的 step观察算力利用率、内存带宽占用率和功耗曲线。不要只跑 benchmarking 工具因为工具里的访问模式未必代表真实负载。如果你在做推理服务还要重点看长期占用下的温度。17~18Gbps 的高速 HBM 在连续推理时发热量不低。风冷机箱里如果进风不足HBM 温度可能逼近设计上限导致刷新率调整和性能回退。提前用 ipmitool 或 GPU 厂商的监控工具记录温度曲线比事后排查更有效。提醒不要因为看到高带宽数字就直接换配置。先用你的真实负载跑 30 分钟以上记录带宽、温度、功耗三者之间的关系再判断这颗卡适不适合你的机房环境。5. 长远影响与可执行建议定制化不会只停留在 HBM5.1 存储和逻辑芯片的协同设计会成为主流从“标准 HBM”到“定制 HBM”背后是 AI 芯片竞争的一种总体趋势存储和逻辑芯片的边界正在变得模糊。过去GPU 设计者把内存当成外部器件在手册里写清楚支持哪些协议就完了。现在为了压榨每一瓦性能GPU 设计者会提前介入 HBM 的微架构和物理设计。这种协同设计在 CXL、HBM、甚至未来的光互连里都会越来越频繁。芯片厂商不再满足于“买回来能用”而是希望内存按照芯片特性“长”出来。这会带来三个变化内存厂商从标准化批量供应商转向深度定制解决方案商。系统级协同验证包括散热和测试会成为产品竞争力的一部分。生态壁垒会进一步加深后进者很难靠单一环节的突破进入核心供应链。5.2 对开发者/运维者的三个可执行建议结合上面这则消息我给几个具体建议。第一在阅读新品发布时把 HBM 规格放到和算力同等重要的位置。问三个问题单栈速率是多少堆叠层数是多少总带宽和总容量是否匹配我的模型如果搞不清楚就很难判断新卡到底适合训练还是推理。第二如果日常做训练性能优化主动利用 HBM 的高带宽特性关注数据布局和融合算子。很多优化手段的本质是减少 HBM 访问次数比如算子融合、梯度累积、KV Cache 量化。带宽越高这些优化带来的收益会更明显但如果不做优化再高带宽也会被无效访问浪费掉。第三关注 HBM 供应商的定制化动态。这不是八卦而是供应链风险判断依据。如果某家加速卡绑定了一家 HBM 定制供应商那么这家供应商的产能、良率和交付节奏会直接影响加速卡的供货和成本。做基础设施规划时不能只看 GPU 厂商还要抬头看存储供应链。5.3 风险与边界消息不等于最终产品最后必须强调一点目前只是消息层面。所谓“三星电子正为英伟达开发定制 8Hi HBM”可能代表产品已经进入开发阶段也可能只是早期合作。最终能否量产、速率能否稳定在 17~18Gbps、使用在哪一代产品上、有没有第二供应商都存在不确定性。作为技术观察者我们要从消息里提取方向但不能把消息当成事实来押注。HBM 每一次速率提升都伴随制造成本增加和良率波动厂商经常会根据实际情况调整规格。说不定最后量产的版本是 16Gbps 而不是 18Gbps也可能在 12Hi 上做不同的取舍。所以我的建议是把这种消息当成行业趋势的“信号灯”而不是某张卡的“配置单”。用来调整你对 HBM 定制化、供应链角色和 AI 算力瓶颈的理解不要用来做具体的采购决策。等设备到手用真实负载跑出数据再下结论也不迟。回到最开始的问题。AI 计算往前每走一步HBM 就得跟上一步。三星为英伟达定制 8Hi HBM 这件事真正的看点不是谁又多了个订单而是 HBM 已经从幕后走到了台前成为 AI 加速器设计里的核心变量。对我们这些关注工程落地的人来说尽早理解带宽、堆叠层、信号速率和功耗之间的约束关系才能在下一代硬件真正到来时做出更靠谱的技术判断。