共同见证每一次成长和脱变

Cerebras：不切晶圆的芯片“怪兽”，有希望挑战英伟达？

英伟达及多数芯片设计企业的常规做法是，在一块大硅片上完成线路制作后，将其切割成众多小芯片，再将这些小芯片互联形成AI加速器，以此规避因制造缺陷导致整片硅片报废的风险。然而，有一家企业却固执地选择了截然不同的路径。

它直接将整块硅片作为一枚芯片，尺寸相当于一个21.5厘米见方的果盘（面积接近12英寸晶圆所能切割出的最大矩形），集成了4万亿个晶体管和90万个核心，这家公司就是“Cerebras”。

GPU推理面临的核心瓶颈是“内存墙”。英伟达费尽心思绕道而行，而Cerebras则通过晶圆级芯片直接拆除了这堵墙。其护城河主要体现在台积电之外的设计、容错及封装环节。

本文重点阐述Cerebras的WSE（晶圆级引擎）产品是什么、它能解决GPU的哪些问题、WSE的制造过程及其难点所在。 在下篇文章中，将主要分析Cerebras公司的经营表现与未来展望。

以下是详细分析

一、Cerebras做什么？

Cerebras的核心是WSE（晶圆级引擎），这一命名旨在区别于常规芯片的Die级别，而非晶圆Wafer级别。

同行 通常会将一张晶圆切割成几十上百颗邮票大小（800mm²）的裸片，再通过高速互连将它们拼接回去，充当一个大加速器。

Cerebras的逻辑是：既然最终仍要拼接，为何不事先切割？于是，它将所有、各类计算都刻录在一整片晶圆上。

Cerebras将整片晶圆划分为12列乘以7行共84个完全相同的网格（die），这84个网格并非独立芯片，相邻网格之间互联互通，共同构成“一整个芯片”。

在每个die中，有1.07万个激活核心，每个核心面积仅为0.05平方毫米。那么，一整片晶圆（即芯片）对应拥有90万个激活核心（实际物理核心约97万个，结合良率约有7%的设计冗余）。

具体来看，单个核心主要包含三个组件：一个路由器、一个计算引擎和48KB的SRAM（整片晶圆97万个核心大致对应44GB的SRAM）。面积大致对半分，一半用于逻辑，一半用于存储。

这种采用果盘大小芯片模式的WSE路线，目前仅有Cerebras一家。由于WSE单核面积仅为0.05平方毫米（英伟达、苹果的单元面积约3平方毫米），尺寸标准独一无二。

WSE单核内的计算核心、路由器、SRAM组合架构均由Cerebras自主研发。但在SRAM方面，不同于HBM芯片厂的外部采购，bit cell设计与代工由台积电完成，包含在晶圆报价中。

在实际工作中，GPU与WSE（Cerebras）的主要区别在于：

1）GPU如同一座图书馆。 整套百科全书（权重）存放在书库（HBM）中，上百位读者（SM，核心计算单元）坐在阅览室。每写一个字，所有读者都需将整套书完整翻阅一遍。书库到阅览室仅有一条走廊，每秒能传递8TB的书；

2）WSE（Cerebras） 则没有选择建造图书馆。它雇佣了90万个人（核心），每人背诵整套书中的一小段。没有书库，没有走廊，也无需任何人跑腿。要写一个字时，只需将题目念一遍，每个人立刻从记忆中报出自己那一段的答案，汇总即可。

在WSE的场景中，单个核心内的三个组件作用分别为：

①SRAM：主要部分用于存放权重（背诵的一页书）， 其中一小部分用于存放激活值、KV cache等（草稿纸）；

②计算单元：主要在一个数值（激活值）送达时，负责一次乘法、一次加法； 若无数值传来，则保持静止、不耗电；

③路由器：用于传递题目和收集答案。 主要工作是“将题目告知所有人”、“收集大家的答案并汇总”、“将答案送往下一站”。

基于WSE的构建方式不同，它能有效克服GPU面临的主要问题，即缩短传输时间，解决“内存墙”。

这是因为GPU的权重位于HBM，每个Token都需要完整“搬运一次”（B200/B300带宽为8TB/s）。而WSE直接将权重搬入SRAM，紧邻计算单元。

二、GPU针对“内存墙”的努力

HBM的搬运时间远超GPU的计算时间。以Llama 70B模型（FP8）为例，参考B300的情况，HBM的搬运时间约为8.8毫秒，而GPU计算所用时间仅为0.028毫秒，相对搬运时间不到0.5%。

这意味着99.5%的时间都在等待权重从HBM搬运过来，导致GPU算力闲置，这也是推理场景的主要瓶颈。

注：HBM搬运时间=70B参数x单参数占用1B空间/8TB/s带宽=8.8ms；GPU计算时间=2次运算x70B参数/5PFLOPS GPU计算速度 =0.028ms。

从英伟达各代GPU参数来看，即便下一代Rubin将HBM带宽提升2.75倍至22TB/s，但Rubin GPU 17.5PFLOPS的计算速度提升了3.5倍。GPU的闲置时间仍高达99.5%。

面对如此巨大的算力闲置，当前GPU想到的方案是拼团（Batching）。 因为所有用户都需读取同一套权重，既然这一趟已“花费时间”去搬运，顺手将其他人的题目也一并计算（本身99.5%的时间都在等待）。

拼团的目的在于，在一次搬运任务完成后，让上百个计算任务同时进行，以抹平搬运数据所需的时间。由此可测算出当前理论上的拼团上限值（313-398）。低于此临界点，意味着仍在“浪费”算力；高于此临界点，则表明在“浪费”带宽。

“拼团”能提升GPU计算的使用效率（经济性），但在客户端仍会带来一些问题，从而影响用户体验：

1）KV cache会限制拼团上限：虽然权重是共享的，但每个用户的对话记忆（KV Cache）是私有的。

在Llama 70B模型中，每个token按FP8精度，需占用160 KB空间。一个用户对话如有8K上下文，单用户KV Cache需占用1.3GB（即8192x160KB=1.3GB）。

以B300单卡为例：显存288GB，装载70B FP8模型参数后，HBM还剩217GB空间。一个用户占用1.3G的KV Cache，那么一张卡最多同时服务167个8K上下文长度的用户。

此前我们测算的batch临界值为313，这意味着实际拼团上限在167处就已达到顶点，KV Cache已填满HBM，限制了拼团的上限；

2）延迟与吞吐的死结： 在吞吐（服务商的单位成本）改善的同时，拼团会带来首字延迟（等待团凑齐）和字间延迟（争夺资源）的情况，这导致所有GPU推理API都存在“快但贵”和“慢但便宜”两档选择。

基于“拼团”带来的问题，GPU厂商（英伟达）也在寻求克服的方法：

方法一 从单卡迈向机架，扩大整个机架的显存（打破KV Cache的天花板）： 从英伟达的H100到B300再到VR200机架来看，机架级显存方案能克服KV Cache上限的困扰，从而优化“拼团”的效果。

方法二 系统级分解——解耦推理（Disaggregated Inference）：将Prefill（预填充，生成KV Cache）和Decode（解码，消费KV Cache）拆分成两套独立的GPU集群，中间由KV Cache池连接。

a）预填充阶段Prefill：处理完整的输入上下文。这是计算密集型任务，非常适合GPU处理；

b）解码阶段Decode：负责预测新token，且受限于内存带宽。解码阶段对延迟非常敏感，因为模型是逐个预测新token的。

在传统GPU方案中，Attention和FFN（前馈网络）争夺HBM（争带宽）；而英伟达收购Groq后，新一代架构VR200引入了以Groq的LPU为核心的LPX机架，进一步将Decode拆分为Attention和FFN两部分：

①Attention（回看前文）：若有前文，需读取历史上所有token的K和V（即KV Cache）。VR200中的Attention能独享全部HBM带宽，无需与FFN争抢带宽；

②FFN（前馈网络，利用自身知识进行计算）：无或无需前文，仅看当前token来计算， 使用LPX机架的LPU计算芯片。这种芯片的片上内存SRAM非常大，主要用于存储FFN权重。由于权重常驻SRAM，无需从HBM搬运，可实现极低延迟计算。

系统级分解将推理阶段拆成三段：Prefill（计算要求高）-> Decode的Attention（KV Cache带宽密集）-> Decode的FFN/MoE（参数带宽密集，但不依赖KV）。

针对不同阶段的关键要素，GPU厂商（英伟达）提供了不同的方案：

a) Prefill环节对算力要求高但对HBM带宽要求低，可选择英伟达“读题”专用芯片（如Rubin CPX）。

b) Decode中的Attention需关注KV Cache的读取速度，仍需通用GPU（如Rubin、B300）；

c) Decode中的FFN关注权重读取速度，可采用SRAM预存权重（如LPU、Groq机柜），节省从HBM输送的时间**。**

在解耦推理后，相对理想的状态是GPU仅执行Attention操作，其HBM容量可完全分配给KV Cache，从而增加其处理的Token总数，也提高了单个专家平均处理的数量/利用率。

在英伟达从H100到B200/B300再到VR200 NVL72的变化中： 从H100到B200/B300，主要在于算力的提升，结构上无变动，这主要有助于Prefill阶段；而从B200/300到VR200的变化更大，直接从结构上将推理拆成了三段。

其中，LPU的片上SRAM存放模型FFN权重参数。但KV Cache的读取仍在HBM，“单次读取的延迟时间”未变，主要是减少搬运量。

综合英伟达的VR200+LPU方案，相对更适合于“长上下文+高交互+大MoE”的场景（如DeepSeek-V4、Kimi K3等），而在“短上下文+低交互+Dense”的场景中（如此前的GPT-3 175B、Llama 70B等），解耦方案并不适合。

注：短上下文指短对话（几K token）；超大Hidden Dim（超大隐藏维度）指模型每层的数据宽度很大，32k+的超大模型每层FFN达到11.3GB

三、Cerebras的WSE是怎么造的呢？

GPU厂商（英伟达）选择解耦推理并引入LPU，能一定程度缓解HBM拥挤的问题。由于LPU仅承接权重部分，KV Cache仍存于HBM，仍受HBM带宽（22TB/s）的影响。

不同的是，在Cerebras WSE方案中，KV Cache也直接存于片上SRAM，片上带宽（21PB/s），读取延迟不到1纳秒（对比GPU方案的0.1-1微秒），更适用于低延迟、愿意为速度买单的客户。

由于WSE与GPU方案不同，制造过程中也存在巨大差异。Cerebras的晶圆级芯片（WSE）是半导体工程史上最具颠覆性的设计之一。传统GPU通常采用“晶圆切割成小芯片（Die）再封装”，而WSE采用的方案是：一整块晶圆能切出的最大正方形即为一整块大硅片。

从上图来看，WSE仅对单个直径300mm的晶圆切割出21.5cm x 21.5cm的最大正方形，内部并未切割，采用“光刻视场缝合（Reticle Stitching）”技术。

这块硅片面积为4.6万平方毫米，但光刻机曝光存在面积上限——单次最大曝光面积约26mm x 33mm=858平方毫米，称为一个视场/Reticle。

一台光刻机需在晶圆上重复曝光84次，才能打满这块正方形区域，这也对应着WSE的84个Die。

传统做法中，这84个曝光区域之间留有物理划片槽，等待后续切割刀切开。而WSE的做法是：物理划片槽依然存在，但在制造芯片顶层金属线（Top Metal Layers）时，利用特殊的掩膜版，跨越划片槽绘制出微米级的铜走线（作用仅为纯粹的物理连接），从而将这84个原本独立的网格（Die）直接在硅片内部“缝合”连接成一条高带宽的二维网格，这就是上图中看到的线。

WSE与传统芯片明显不同，那么Cerebras具体是如何生产的呢？

它需经历“硅片->版图设计及布线->前道工艺（光刻）->中道测试与容错->后道封装/组装->系统级集成”的过程，这与传统晶圆/芯片的大体流程基本一致，区别在于部分环节的操作。

环节1：硅片制造（与常规完全相同）

WSE也是从标准的12英寸（300mm）高纯度硅片起步，这一段的流程与所有芯片一致。 从冶炼高纯度石英砂（二氧化硅）开始，经过提纯、拉单晶、切割、抛光和清洗，最终得到晶圆。

环节2：版图设计与布局走线（WSE特有）

常规芯片通常是芯片设计厂用EDA软件设计版图后，交给代工厂做掩膜版，而WSE的单核微架构太特殊，由Cerebras自己主导。

芯片上的“布局走线”不只是物理版图，还包含编译器在运行时的逻辑布局——芯片执行计算任务时，84个计算区块中需绕过有缺陷的区块，这是WSE容错机制的关键支撑。

在这个环节中，主要涉及以下方面：

①单核微架构：设计一个38,000平方微米的核。48KB SRAM（8个6KB bank，每bank 32-bit宽）+计算引擎（SIMD ALU、8个微线程上下文）+5端口路由器。自研ISA（指令集架构），非ARM也非RISC-V。

②核阵列版图复制：将单核版图在reticle（光刻视场）范围内阵列复制。 reticle（光刻视场）的物理上限858平方毫米（26mm x 33mm单次曝光），Cerebras的一个计算区块约550平方毫米，容纳约11,548个核。

③冗余与绕行逻辑设计：在版图中预埋冗余计算核、冗余路由、区块失效时的绕行机制。 这是设计阶段就付出的成本，不随台积电的缺陷密度波动。

④划片道走线设计：跨die的短线图案。 这需要台积电专门提供的划片道设计规则，这不在设计厂给代工厂的施工说明书（PDK）里。

⑤设计图交付：使用外购的传统EDA工具进行综合、布局布线、DRC/LVS。 唯一公开披露的外购IP是Synopsys DesignWare的片上传感与监测模块（SLM），主要用于在4.6万平方毫米的大硅片上分布温度、电压、工艺偏差传感器。

环节3：前道工艺（光刻——WSE的技术分叉点）

参考半导体前道标准流程（清洗→氧化/扩散→沉积→光刻→离子注入→CMP→金属化），WSE同样经历了这些环节。这部分与运行一颗普通5nm芯片无任何区别，WSE采用步进重复曝光，将同一张掩模版图案重复曝光84次（550平方毫米的die）。

注：步进重复曝光是光刻机的一种工作方式。掩模版上的图案，通过投影物镜缩小后曝光在晶圆的某个位置，然后晶圆台移动一步，再曝光一次。

目前量产的WSE3采用台积电5nm工艺，N5一般约15层金属。

每一层都是同样的四步循环： ①沉积介质层（整片）；②光刻打图案（步进84次）； ③刻蚀出沟槽和通孔（整片）；④填铜+CMP磨平（整片）。如此重复15次，打造15层结构。

实际上，前12层基本相似，区别主要在第13层及以上，WSE的掩模版发生了变化。

常规芯片的掩模版上，划片道那条带留给工艺监控结构、套刻标记、测试键。那是准备被锯掉的地方，画什么都无所谓。

Cerebras的掩模版上，那条带被改为走线通道。跨越die边界的短金属线，长度不到1mm，这里采用了跨划片线晶圆级互连技术，类似于在高层架设天桥。

这是最关键的地方，这里的一根跨界的线：一半画在曝光场的右边缘、一半画在左边缘。即：第N次曝光（die本体+右侧半截天桥）->晶圆台移动一步->第N+1次曝光（左侧半截天桥+die本体）->两个半截在划片道上空对接，连成一根完整的线。

由于需要设计跨界的线，因此要替换掩模版。天桥无需额外的曝光次数，两次曝光的天桥对接依靠晶圆台的步进精度完成。具体工艺流程与前12层基本相似，区别主要在于掩模版上增加了天桥。

划片道上的铜，与die内部的铜，都是同一次沉积、同一次刻蚀、同一次CMP的产物。使用同样的设备、同样的材料和同样的参数。

高层制作？因为低层的线太细，纳米级的对接误差会直接导致断线或短路，良率归零。高层微米级的容差宽松两三个数量级。

实际上“高层架设1层天桥”理论上够用，但考虑布线灵活性和冗余，推测大概率会架设2-3层。 普通晶圆的划片线是切割芯片时的“禁区”；Cerebras在划片线上进行布线，从而将84个die全部连成一个整体。

环节4：中道测试与容错

传统晶圆过程中，在切割前需对晶圆上每颗die进行电学测试，坏die需打墨点或记