在做 AI 算力选型与集群设计时显存不足、HBM 带宽吃紧、多卡通信开销高几乎是每家做大模型训练团队都会遇到的硬瓶颈。当主流方案普遍选择“GPU HBM”组合时Cerebras 走的是一条更极端的路线不切割晶圆直接把一整块晶圆做成一颗芯片。最近行业里讨论度很高的 CS-6 正是这条路线上的又一次关键进化——首次把 DRAM 通过 3D 堆叠方式垂直集成到计算晶圆上。这篇文章会围绕 CS-6 展开先讲清晶圆级计算与 DRAM 工作原理再拆解“3D 堆叠垂直集成 DRAM”的技术含义以及它和传统 GPU HBM 方案的差异。如果你对 AI 芯片架构、大模型算力瓶颈、存储与计算协同这些方向感兴趣这篇文章可以帮你建立一套完整的分析框架。1. 背景内存墙与晶圆级计算1.1 为什么 AI 芯片越来越依赖存储带宽AI 计算和传统的科学计算有一个显著区别模型参数、中间激活值、梯度、优化器状态都是反复读写的数据。每次前向传播要读取权重每次反向传播要读取激活值并更新梯度。数据移动的能耗和延迟经常比计算本身还高。在芯片设计里这被称为“内存墙”问题处理器单位时间能完成的浮点运算越来越高但数据从存储到计算单元的速度却跟不上。结果就是大量计算单元处于等待数据的状态实际利用率远低于理论峰值。这几年大模型的参数规模从几亿涨到几千亿上下文长度也在持续拉长KV Cache 这类中间数据进一步放大了访存压力。单靠扩大传统 HBM 的容量与带宽成本会急剧上升而物理封装与功耗限制又让这条路越来越难走。此时业界自然会寻找把存储做得更靠近计算核心的方法也就是“异构 3D 集成”和“垂直堆叠 DRAM”。1.2 晶圆级计算把一整块晶圆做成芯片传统芯片的制造流程是在一片圆形晶圆上同时制造几十甚至上百颗相同的芯片然后切割、封装成独立产品。Cerebras 的做法完全不同它不做切割而是把整片晶圆当作一颗芯片来使用因此产品名里有“晶圆级引擎”Wafer Scale EngineWSE的说法。这样做的直接收益是芯片面积大幅增加可以放下更多的计算核心和片上存储。普通 GPU 的核心数通常在几千到一万级别而 WSE 系列的核心数达到数十万甚至近百万。核心之间通过片上互连网络通信省去了传统多卡场景下经过 PCIe 或 NVLink 的跨芯片通信开销。不过晶圆级计算也带来非常具体的工程挑战整片晶圆如何供电、如何散热、如何保证良率、出现坏点时如何隔离都是过去消费级芯片不需要面对的问题。Cerebras 通过冗余设计、动态降频、水冷散热等方案逐步解决了这些问题也让晶圆级芯片从概念走向了实际商用。1.3 从早期方案到 CS-6为什么说“首次垂直集成 DRAM”值得关注Cerebras 过去几代产品非常依赖片上的 SRAM 作为存储层。片上 SRAM 虽然带宽极高、延迟极低但密度远低于 DRAM成本也更高。随着模型越来越大单纯扩大 SRAM 容量既不经济也会让晶圆功耗失控。行业普遍认为Cerebras 需要在保持晶圆级计算优势的同时增加一种更密集、可扩展的存储方案。CS-6 的“首次垂直集成 DRAM”把 DRA M 层直接堆叠在计算晶圆之上意味着存储不再只是旁边的 HBM 颗粒而是计算层的直接邻居。这个变化对整个 AI 芯片设计思路有启发当 2.5D 封装和 HBM 已经接近带宽密度的物理极限时3D 堆叠提供了另一条可行路径。理解这一点是读懂 CS-6 的关键。2. DRAM 工作原理读懂 3D 堆叠的基础2.1 存储单元一个晶体管加一个电容DRAM 的英文全称是 Dynamic Random Access Memory即动态随机存取存储器。“动态”二字来自它的存储方式每个存储单元由一个访问晶体管和一个存储电容构成通常称为 1T1C 结构。电容存储电荷电荷量的高低代表二进制 0 或 1。问题是电容会缓慢泄漏电荷。为了让数据不丢失DRAM 必须周期性地对每个存储单元进行“刷新”也就是检测并恢复电荷。这个操作需要额外的时间与功耗这是 DRAM 与 SRAM 在原理上的根本差异。下面用一个很简化的 Python 模型来展示 DRAM 存储的基本行为# 简化模型展示 DRAM 单元电荷与刷新关系 class DramCell: def __init__(self, initial_charge1.0): self.charge initial_charge # 1.0 表示满电荷 def leak(self, time_step, leak_rate0.01): self.charge - leak_rate * time_step if self.charge 0.5: self.charge 0.0 # 电荷不足时读数可能变成 0 def refresh(self): if self.charge 0.5: self.charge 1.0 else: self.charge 0.0 cell DramCell(initial_charge1.0) for t in range(10): cell.leak(time_step1) print(ft{t}, charge{cell.charge:.2f}) if cell.charge 0.8: cell.refresh() print(refresh)这段代码只是教学演示真实 DRAM 的刷新逻辑远比这复杂但它可以帮助理解一个核心点DRAM 是靠电容电荷存数据的电荷会泄漏所以需要刷新刷新频率和数据保持时间之间存在权衡。2.2 行激活、列读取与刷新机制DRAM 在读取数据时先通过行地址选择一条字线把这一行所有存储单元的电荷送到灵敏度放大器上这个过程叫“行激活”。随后列地址再从这些放大器中选中需要的列输出数据。由于读操作本身会改变电容电荷读出后还需要写回保证数据不丢失。刷新机制通常按行进行控制器会定期刷新所有行确保存储单元不会因漏电而丢掉数据。温度升高会加快漏电速度所以高功耗环境下 DRAM 的刷新压力会显著增加。这也是 3D 堆叠 DRAM 需要特别关注散热的原因之一。2.3 DRAM 与 SRAM 的取舍SRAM 用触发器保存数据不需要刷新速度快但单元面积大。DRAM 单元结构简单、密度高、成本低但延迟更高并且需要刷新。计算芯片通常把 SRAM 作为 Cache 和寄存器组使用而把 DRAM 作为主存。在 AI 芯片里片上 SRAM 可以给计算核心提供超大带宽但容量受限外部 DRAM 容量大但需要通过复杂封装和总线访问延迟明显增加。CS-6 提出“垂直集成 DRAM”本质上是在 SRAM 的带宽优势和 DRAM 的密度优势之间寻找一个更好的平衡点。3. CS-6 首次垂直集成 DRAM3D 堆叠的关键变化3.1 垂直堆叠解决了什么问题传统方案中无论用 DDR 内存条还是 HBM存储芯片都和被访问的计算芯片处在同一个封装平面上或者通过主板走线连接。随着距离拉长信号传输延迟和单位比特的功耗都会上升。所谓“垂直集成 DRAM”就是把 DRAM 层直接堆叠在计算晶圆的上方或下方两层之间通过硅通孔或混合键合进行垂直互连。信号从计算核心到存储单元的距离被压缩到几微米到几十微米而不是传统封装中的几百微米甚至几毫米。这种近距离的优势主要体现在三个方面互连密度大幅提升单个通道未必需要跑极高的频率也能获得很高的总带宽。数据路径变短访问延迟下降。单位比特的 IO 功耗减少对功耗密集的 AI 芯片尤其友好。3.2 3D 堆叠的互连方式TSV 与混合键合实现 3D 堆叠有两种主流互连方式。一种是通过硅通孔在晶圆上刻出贯穿硅片的垂直导电通道把上下层连接起来另一种是混合键合利用铜焊盘实现微米级间距的高密度连接。对于 CS-6 这种超大晶圆来说TSV 是更现实的路径因为整片晶圆的面积很大需要大量的供电和信号通路。TSV 的直径和间距决定了信号密度而混合键合则更多用于小尺寸芯片堆叠比如 CMOS 图像传感器和部分 HBM 的未来方案。互连方式直接决定了 3D 堆叠的带宽上限。过去 2.5D 封装中HBM 通过硅中介层与计算芯片连接带宽受限于中介层走线与引脚数量而 3D 堆叠可以直接用成千上万个垂直互连点把计算层和存储层“缝”在一起。3.3 “垂直集成 DRAM”与“封装贴 DRAM”的区别很多人会把 3D 堆叠 DRAM 和 HBM 混为一谈但两者有本质区别。HBM 是把多个 DRAM die 垂直堆叠起来然后通过硅中介层放在 GPU 或 AI 芯片旁边属于 2.5D 封装思路。它仍然需要通过中介层和基板完成信号传输。垂直集成 DRAM 则是把存储层叠在计算层正上方或正下方两层之间没有中介层信号路径垂直穿越属于真正的 3D 集成。这不仅是物理排列的变化还意味着芯片设计、供电方式、散热路径和测试策略都要重新设计。用一张表格可以更清楚地看出差别方案存储与计算位置互连方式典型场景HBM并列放在中介层上硅中介层 TSVGPU、AI 加速卡垂直堆叠 DRAM直接叠在计算层上下垂直 TSV / 混合键合晶圆级 AI 芯片DDR/LPDDR通过主板布线连接PCB 走线CPU 主存、嵌入式从技术演进看垂直堆叠 DRAM 是比 HBM 更“激进”的一步它把存储和计算从“邻居关系”变成了“上下层关系”。4. 技术架构对比CS-6 与 GPU HBM 路线4.1 两种架构的访存路径差异GPU HBM 方案中计算核心访问片上 L2 CacheL2 再通过中介层访问 HBM。HBM 与 GPU 的距离已经比传统显存近很多但依然存在跨封装、跨互连的开销。CS-6 的垂直集成 DRAM 方案里计算层与 DRAM 层直接堆叠访问路径缩短到垂直距离。更重要的是垂直互连可以在整片晶圆上分布而不像 HBM 只能通过有限的对外接口访问。这种“分布式访问”能力对大模型训练里的高并发访问非常有利。4.2 带宽、容量与功耗的权衡HBM 目前能提供很高的带宽但容量受堆叠层数和封装尺寸限制单颗 HBM 的容量通常在 16GB 到 32GB 级别需要通过多颗组合才能满足大模型需求。多颗 HBM 带来的功耗与成本也相当可观。垂直集成 DRAM 的优势在于DRAM 层可以直接覆盖在整个计算晶圆之上可用存储面积远大于芯片周边能放置 HBM 的物理空间。如果良率和散热问题得到解决理论上可以获得远超当前 GPU 方案的容量和带宽。功耗方面近距离互连能显著降低每比特传输能耗但 3D 堆叠会让发热密度集中在狭小空间里。DRAM 对温度敏感高温会加快漏电、缩短数据保持时间因此散热设计是决定垂直集成 DRAM 能否量产的关键。4.3 适合的工作负载类型GPU HBM 方案在通用 AI 训练和推理生态上非常成熟适合各类模型、各类开发者。Cerebras 的晶圆级方案更适合超大模型训练、需要极高带宽和低通信延迟的场景。如果 CS-6 的垂直集成 DRAM 容量足够大、带宽足够高它能有效减少模型并行带来的通信压力因为更多参数和数据可以直接放在同一颗芯片上无需频繁跨卡同步。对于大规模生成式模型训练这是一个非常吸引人的优势。但我们也应该看到软件生态和灵活性仍然是晶圆级方案的短板。GPU 的 CUDA 生态积累多年而 Cerebras 的编译器与运行时栈需要模型开发者和框架适配这一点在短期内很难拉开差距。5. 工程挑战与制造难点5.1 大尺寸晶圆的翘曲与对准晶圆级芯片本身尺寸就很大要在这样的表面上再堆叠一层 DRAM 晶圆对准精度是极大的挑战。多层堆叠时上下层之间的热膨胀系数差异会产生翘曲和应力导致对准偏移。解决这类问题通常需要在材料选择、晶圆减薄、键合温度曲线和支撑结构上做大量优化。任何微小的形变都会影响到数以万计的 TSV 互连点所以良率控制是 CS-6 量产的最大不确定因素之一。5.2 散热与功耗密度计算层与存储层堆叠在一起后热量更难散发。与传统 2.5D 封装不同散热不再只是把热量从芯片表面带走还要考虑层与层之间的热传导路径。DRAM 的刷新需求会随温度上升而增加如果堆叠区域散热不足可能出现“温度升高→刷新频率提高→功耗增加→温度继续升高”的恶性循环。因此 CS-6 大概率需要在散热结构上做专门设计例如在堆叠层之间预留冷却通道或采用特殊的导热材料。5.3 测试、修复与可维护性芯片测试在堆叠完成后进行如果只有部分 TSV 连接失败可能需要通过冗余通路进行替换。Cerebras 在单晶圆上已经积累了不少坏点隔离经验但 3D 堆叠让测试复杂度进一步上升。在运维层面整颗晶圆级芯片出现故障时很难像普通 GPU 服务器那样单卡替换。因此系统级的冗余设计、故障隔离和在线降级能力会变得更加重要这也是把 3D 堆叠从样品变成可商用产品必须跨越的鸿沟。6. 对 AI 基础设施的潜在影响6.1 大模型训练的存储瓶颈缓解当前训练千亿级参数模型单卡 GPU 显存放不下完整权重需要张量并行、流水线并行、ZeRO 等策略把模型切分到多卡上。切分得越细通信开销越大。如果 CS-6 能通过垂直集成 DRAM 提供足够大的近端存储那么更多参数可以在单片芯片内保存减少跨芯片通信次数。对超大规模训练集群来说这意味着更高的有效计算时间占比也意味着更简单的并行策略设计。6.2 推理场景的带宽收益推理阶段同样受益。大模型推理时每生成一个 token 都需要扫描全部 KV CacheKV Cache 量大时访存延迟直接决定生成速度。把更多 KV Cache 放到靠近计算核心的 DRAM 层能显著降低单 token 生成延迟。从这个角度看垂直集成 DRAM 不只是面向训练对在线推理服务也很有价值。如果未来大模型上下文长度继续增加能装下更多 KV Cache 的芯片会具备更好的性价比。6.3 软件生态与开发范式硬件架构发生大变化软件也必须跟上。3D 堆叠 DRAM 的内存层次、访存模型和显式管理方式跟传统的内存模型不同。开发者可能需要显式分配“近存储”与“远存储”的布局编译器也需要更智能地进行数据放置。Cerebras 的软件栈在近几年持续完善但要吸引更多主流框架开发者还需要提供易用的高层接口。对于普通算法工程师可能更关心的是“把 PyTorch 代码跑上去需要改多少”而不是底层 TSV 有多密。7. 总结与后续观察方向从 WSE 到 CS-6Cerebras 一直在挑战芯片制造与封装的传统边界。垂直集成 DRAM 只是一系列变化中的一环但它的意义是标志性的它首次在晶圆级计算中把 DRAM 真正“叠”到了计算核心上而不只是放在旁边。想跟进这个领域可以从几个维度持续观察第一官方公布的 TSV 互连密度和总存储带宽第二良率与散热方案的公开细节第三主流框架对晶圆级平台的适配进度第四实际客户在训练和推理场景中的公开基准。如果这几个指标都能达到预期晶圆级计算很可能会从“小众路线”变成大模型算力基础设施中的一个重要选项。