AkiYang推理工程手记

多放一份专家,还是多留一点 KV Cache?显存应该花在哪里

版本与源码依据
首次提交 最近更新 文章修改记录 ↗
系列阅读 · EPLB:统计、迁移与服务收益展开篇目
本页目录

一个热点专家忙不过来,在另一张卡上多放一份,确实能让两边分担 token。但这份权重会常驻显存。假如服务原本把剩余空间都交给 KV Cache,多出来的专家就会挤掉一部分请求历史,能同时留下的长序列也会减少。

这让 EPLB 调优多了一层取舍:更新后的 forward 更快,并不保证整服务输出吞吐更高。单轮计算节省的时间,要和 batch 能否维持、请求是否排队、迁移本身花了多久一起看。

我会先把最低必要的 KV 容量留出来,再考虑用剩余预算复制热点专家。下面把这笔账展开:一份副本实际要花多少、它能换回多少 KV,以及怎样用两种对照区分布局收益和服务收益。

源码沿用 SGLang 2914be60。计算例子采用 DeepSeek-V3 的公开维度,显存与时间都明确列出设定;文末附可以直接复算的 CPU 脚本。DeepSeek-V4 的实测材料单独放在第五节,避免把不同模型的缓存结构混在一起。

一、多一份专家,买到的是分担热点的机会

先看一层 MoE。它有 256 个逻辑专家,部署在 16 个 EP rank 上。逻辑专家可以理解为 256 套不同的计算权重;物理槽位则是卡上真正存放它们的位置。

没有冗余槽位时,每个 rank 放 16 位专家。若每层整个 EP 组增加 16 个槽位,总数变成 272,每个 rank 放 17 位。增加的槽位保存某些逻辑专家的副本,由路由把访问这些专家的 token 分给不同副本。它们不会因此增加模型的逻辑专家数,也不会把每个 token 原本选中的专家数量加一。

这里有两个经常混淆的“16”:R=16 表示每层、整个 EP 组多放 16 个物理槽位。在 EP16 的均匀槽位布局下,每个 rank 每层只增加一个。若模型有 58 个 MoE 层,这一个槽位会在 58 层分别出现;各层有各自的权重,要逐层计算容量。

这与实际构造过程一致。DeepSeek 的 MoE 初始化把冗余数加进物理专家分配;位置元数据也按逻辑专家数加冗余数建立槽位。副本如何挑选,可以接着看16 个冗余专家怎么分。

副本数和动态开关是两个配置维度。固定布局也能使用冗余槽位;动态 EPLB 则负责随负载调整布局。R0 时仍可以通过重新摆放不同专家来均衡各卡,只是没有额外槽位复制热点。做 OFF/ON 对照时,需要同时写出两边的 R,才能知道比较的是动态调整,还是连常驻容量一起改变了。

副本的价值来自原来的不均衡。假设某个热点专家占了一张卡上很大一部分工作,把它的一部分 token 分出去,有机会缩短最慢 rank 的执行时间。如果原本各卡已经接近均衡,或者计算主要受 Attention、通信和调度限制,再复制专家能改善的部分就很少。

副本也不是把原卡的全部工作平均分走。原卡还有其他专家,目标卡也可能忙;路由分流、核函数的 batch 形状和跨卡 dispatch 都会影响结果。判断要落到各 rank 的实际负载和 MoE 执行时间上,不能看到副本数翻倍就写耗时减半。

二、先算清一份副本究竟占多少

DeepSeek-V3 的固定版配置给出 hidden size 为 7,168,MoE intermediate size 为 2,048,共 61 层,前 3 层使用 Dense,后 58 层使用 MoE。这里用它的矩阵维度做一个清楚的容量算例。

一个采用门控结构的专家主要有 gate、up、down 三个投影,权重元素总数是:

gate: [intermediate, hidden]
up:   [intermediate, hidden]
down: [hidden, intermediate]

一层一位专家 = 3 × 7,168 × 2,048 = 44,040,192 个权重元素

假定这三份权重每个元素占 1 字节,且专家矩阵不再做 MoE TP 切分,那么一层一位专家的主权重就是 42 MiB。这个 1 字节是教学设定,不是在还原公开 FP8 权重包的全部存储,也不包含量化 scale、zero point、布局 padding 和分配器对齐。

于是,EP16 下从 R0 增加到 R16,每个 rank 每层多一位专家,58 层合计:

每 rank 增加 = 58 × 42 MiB = 2,436 MiB ≈ 2.379 GiB
整个 EP16 组增加 = 16 × 2,436 MiB ≈ 38.063 GiB

第一行是单个 rank 的负担,第二行是跨 16 个 rank 的合计。后者没有堆在某一张卡上;也不能拿它去除以一份单卡 KV 的字节数,然后声称某张卡少了那么多 token。

后面与 KV 比较时,一直使用第一行的每 rank 数值:这个 rank 多存了多少专家,就看它自己的缓存池能少留多少历史。跨 rank 的合计适合计算整套设备的总成本,不能替代任何一个本地缓存池的容量。

实际工程里,要把公式中的 42 MiB 换成当前量化实现分给一个专家的完整物理字节数。融合的 w13 已经包含 gate 和 up,不能再把 gate、up 重复加一次。scale 和 bias 等辅助张量要一起计入;遇到 NZ 或 packed 权重,还要算物理 padding。多个导出视图共享同一份底层存储时,也不能把整块 storage 按视图数量重复求和。

这几项决定了为什么“磁盘上的模型大小 ÷ 专家数”通常算不准:文件里还包含 Attention、共享专家、Dense、embedding 等权重;部署后又可能重排、分片和补齐。本文的简单公式适合检查数量级,启动后的实际分配和张量布局用于完成最后核对。

量化也会改变这份交换。只看理想主权重,4 bit 相比 8 bit 可以把同样矩阵的字节数减半;实际还要加回量化参数和存储对齐。KV 的 dtype 则单独决定缓存成本。一个“W4”或“W8”标签,没有同时说明 KV 的 dtype,无法完成这笔预算比较。

另外,冗余槽位通常在模型构造、加载时就分配好。后续更新是把不同专家放进这些槽位,不能把每次 update 都算成又增加一整套常驻副本;把更新间隔拉长,也不会把这些槽位自动退还给 KV。

三、这 2.379 GiB,能换回多少 KV

KV 的单位应当是“当前 rank 为一个缓存 token 保存多少字节”。它取决于 Attention 结构、缓存 dtype、当前 stage 的层数,以及 head、序列和层在各 rank 上如何分片。EP16 本身不足以推出 KV 也缩小到十六分之一。

以普通、未量化的压缩 MLA 缓存为例,DeepSeek-V3 每层保存 512 维 latent,加上 64 维 RoPE key。采用 BF16、PP1、61 层都在本 rank,而且这些缓存行没有做序列切分时:

一个本地缓存 token = 61 × (512 + 64) × 2 字节
                   = 70,272 字节 = 68.625 KiB

这里不再乘传统 MHA 的 K、V 两份完整 head 维度。压缩 MLA 把两者所需的信息保存在 latent 与 RoPE 部分,缓存布局已经不同。SGLang 的 MLA pool明确使用 kv_lora_rank + qk_rope_head_dim 作为这条普通路径的缓存维度。

两笔账现在才具备相除的条件:每 rank 增加 2,554,331,136 字节主权重,在这个缓存模型里,约相当于 36,349 个本地 KV token。一条 16K 输入、最多生成 1K 的独立序列,终点约为 17,408 个 token,因此这笔空间略多于两条完整序列的缓存。

但“约两条”还不是服务最大并发的下降量。服务可能有多个 Attention DP 副本,序列长度也不一致;共享前缀可以复用缓存块,页尾会留下碎片,投机解码还要预留候选位置。先在一个确定的本地 pool 内算容量,再结合请求归属和调度,才能讨论整服务并发。

KV token 容量数的是所有驻留序列留下的历史之和。一条请求刚进入时可能只有输入,随后每生成一个 token,历史还会继续增长。因此,“最多有多少条请求”要结合它们当前各自多长来看;表里用完整 17K 序列,是为了给出统一长度下能直接复算的容量边界。

下面把其他固定分配和运行余量先扣除,假定 R0 时本地 KV 可用预算是 40 GiB。只从这块预算里增加上述主权重,得到:

每层 EP 组冗余数 每 rank 新增主权重 剩余 KV 预算 理想本地 KV token 完整 17K 序列
0 0 40.000 GiB 611,191 35
16 2.379 GiB 37.621 GiB 574,842 33
32 4.758 GiB 35.242 GiB 538,493 30

表中的“完整 17K 序列”用 token 容量除以 17,408 后向下取整,余下空间不够再容纳一条完整序列。这里先省略 scale、padding、页尾和运行期变化,专门看主权重与 KV 的交换。真实服务采用 continuous batching,请求会陆续进入和结束,各自的历史长度也持续变化,需要再用实际长度分布检验。

相同预算里,冗余专家主权重与 KV 的交换

图中每条都是同一份 40 GiB 增量预算。增加的专家主权重占走左边一段,KV 使用剩余部分;原有模型和其他运行资源已经在图外扣除。

这个 BF16 MLA 算式也不能直接套给 DeepSeek-V4。滑窗、压缩层、索引缓存和投机状态会改变每种 pool 的存储方式。有些成本随 token 增长,有些随请求槽位增长。应当用当前模型实际分配的各类缓存池逐项计算,并读取启动日志中的最终容量。

四、forward 快了,吞吐为什么还能不动

先只看普通 Decode:每条请求一轮输出一个 token,不开投机解码,不计更新停顿。一个持续满载的稳定 batch,其输出速度可以近似写成 batch ÷ 单轮耗时。

继续沿上面的容量例子,假设原来能维持 batch 35,每轮 35 ms,得到 1,000 token/s。再假定增加副本后,实际单轮为 33 ms,但长序列状态下只够维持 batch 33,仍然是 1,000 token/s。单轮少了 2 ms,TPOT 改善了,输出吞吐却相同。这里的时间是为了说明机制而给出的教学设定,不是 DeepSeek-V3 实测结果。

再换一个条件:用户只需要同时服务 32 条请求,两种配置都能放下,并且在这个相同 batch 上确实测到 forward 加速。那么额外 KV 暂时没有换来更多在跑请求,副本带来的计算收益就更容易保留。KV pool 变小,不一定触发性能损失;关键在于工作集是否撞到了容量边界。

靠近边界时,影响会先出现在接纳、排队和调度里。有请求不能及时进入计算,TTFT 会涨;若发生抢占、撤回或重算,还要记录对应次数和成本。不能仅凭 KV 剩余变少就断言已经重算,也不能只报参与计算的请求 TPOT,而把排队时间藏掉。

DSpark 下更不能直接沿用 batch ÷ forward。一轮 target verify 后,每条请求实际推进多少输出 token,与接受长度有关;draft、verify、候选 KV 和回滚也有各自的成本。此时应该比较同一窗口内真正交付的输出 token,同时保留原生接受长度、严格接受率及其计数分母。单看 target verify 快了多少,会漏掉完整解码过程。

PD 分离还会把取舍拆到两个服务。P 的冗余专家占用 P 的内存,D 的冗余专家占用 D 的内存;P 的省下空间不能自动搬给 D。P 需要关注接纳和 Prefill 合批,D 需要关注驻留序列、有效 batch 与持续输出。整服务的请求供给若受 P 限制,D 的单轮加速也不会按比例变成最终吞吐。

五、EPLB 的显存账,还要加上更新时的工作空间

常驻副本之外,还有统计记录、路由映射、通信资源和迁移 scratch。它们的增长方式不同,应该单列,才能判断哪一部分值得优化。

在本文固定源码的 stat 路径中,记录 buffer 的形状包含记录条数、层数、物理专家数,并使用 int32。有限环形 buffer 按设定长度一次分配。这里还有个容易漏掉的区别:DeepSeek 的位置元数据使用全部 61 层,因此这块 buffer 按 61 层算,不能照搬主权重的 58 个 MoE 层。

设 buffer 长度为 1000,272 个槽位的这一块就是 1000 × 61 × 272 × 4 字节,约 63.29 MiB;R0 到 R16,仅槽位增加使它多约 3.72 MiB。完整 recorder 还可能有其他缓冲与历史。记录数改变时,这笔开销也会改变,需要与常驻副本分开列账。

迁移 scratch 也不能当成全部权重的永久复制。当前 NPU adapter直接暴露原权重的可写字节视图,独立申请 updater 所需的临时缓冲。执行时这些缓冲还会受布局、通信与异步生命周期影响。固定 KV 的对照,才容易看清它到底增加了多少水位。

我们此前在 Ascend 910C 上做过一次 DeepSeek-V4-Flash W8A8 的新旧搬运路径对照。两边都开动态 EPLB,冗余数相同,实际 KV 容量固定;移除 NZ↔ND 整层中转后,P 每芯片采样 HBM 差值的中位数下降 839.5 MiB,D 下降 1,641.5 MiB。完整配置、采样范围和逐芯片原始数据放在存储路径重构文章。

这组实验比较两种 ON 实现,在保持专家和实际 KV 相同的条件下,观测到了更低的设备水位。省下的空间目前表现为运行余量。若想把它换成更多驻留序列,下一步需要重新配置 KV pool,记录最终 token 容量,再测对应长度下能维持多少实际 batch。R0、R16、R32 的副本预算比较则属于前面的另一项实验。

还有一种容易错算的情况:两边设置相同 mem_fraction_static,更多权重挤掉了自动规划的 KV,最终设备总占用却差不多。总水位相同,不代表开关没有成本。SGLang 的 KV 预算计算使用加载后的可用内存,并扣除运行余量等项目;已经驻留的权重会通过剩余空间影响预算。

反过来,pool 分配完以后才第一次激活的通信缓冲、迁移峰值和图执行 workspace,也需要安全余量。只在启动后空闲时拍一张设备读数,既看不到完整高水位,也看不出 KV 被缩小了多少。

六、实验分两步,分别回答值不值

第一步先问:相同 KV 能力下,增加副本有没有改善计算? 固定模型、量化、卡数、并行布局、实际 KV 容量与负载,在合法的 R 档位之间对比。上面的 EP16 教学布局可以选 R0、R16、R32;实际后端的槽位数还要满足它自己的整除与对齐约束。实际 KV 容量选到最大 R 档也能安全放下的值,让所有组满足同一运行余量要求。

这一步需要看到更新前后热点是否减轻,以及同输入、同上下文、同实际 batch 的 forward 如何变化。更新前已经很均匀,意味着这份负载没有给副本多少发挥空间。可以检查不同真实业务切片,不能为得到漂亮结果临时构造热点,然后当作普通生产收益。

动态更新也要进入计时。记录每轮是否真的改变布局、update 的完整耗时,以及更新之间能运行多久。把一份副本始终放在正确位置的理想状态,与包含采集、迁移和热点变化的动态服务分开,才能判断收益能否抵过维护成本。

第二步再问:同一台机器、同一份显存上限下,哪个配置能交付更多合格请求? 允许各组按剩余空间分配 KV,记录最终 token 容量,再跑相同到达流量与长度分布。这轮把真实容量取舍纳入结果,适合决定上线配置。

两步的主表都要有平均与尾部 TTFT、TPOT、E2E、输出吞吐、失败数。另附实际 batch 分布、KV 使用峰值、接纳等待,以及发生过的抢占或重算;开启投机解码时再加原生接受指标。只报最大并发数,或者只截一段最高 token/s,都不足以说明用户体验。

显存也保留三个阶段:加载并完成预热后、第一次完整更新期间、稳定运行并排空后。把权重与辅助参数、KV 各 pool、统计与 scratch、allocator 的 allocated/reserved、设备总 HBM 分开记录。它们有包含关系,不应把所有读数相加。多个 rank 最后逐个对齐,避免用平均剩余量掩盖某一块卡已经放不下。

七、怎么决定下一笔显存花在哪

如果真实负载已经出现 KV 接纳等待,长上下文让驻留序列数明显下降,而各卡 MoE 负载相近,我会先保 KV,再减少占空间却没有改变慢端的副本。此时增加副本要拿出足够的单轮收益,才能补回少服务的那些请求。

如果 KV 仍有余量,实际 batch 由到达流量或请求数上限决定,而最慢 rank 长期被少数热点专家拖住,那么把一部分空间分给副本更有依据。先增加一个合法档位,核对热点、副本分流与稳态结果,再决定是否继续加。

还有一个更直接的检查:当前配置已经能达到目标吞吐和延迟,增加副本却只让空闲时的 forward 好看一点,就没有必要继续占用容量。副本、缓存和运行余量都应该对应当前服务要解决的问题。

为了方便核对本文数字,我把容量计算做成了纯 Python 示例,在博客仓库根目录,或解压后的示例包根目录执行:

python examples/eplb-expert-kv-memory-budget/memory_budget.py --output results

脚本会生成 capacity.csv 和 budget.json,复算 42 MiB、2,436 MiB、三档 KV 容量及 35→33 的教学例子。示例包直接下载,参数和来源见evidence.json。它逐项计算字节、可容纳 token 数和完整序列数,输出与正文表格对应。

下一次看到“更新后 forward 快了几个百分点”,可以继续追问两个具体数:这个工作集还剩多少 KV 余量,稳定运行时实际 batch 保住了多少。把这两个数和更新成本放到一起,才知道那份专家副本有没有花对地方。

计数已经均匀、执行却仍有慢端时,可以接着看专家收到的 token 一样多,为什么有的卡还是更慢?。

返回 EPLB 专题。

返回阅读地图 →
读到这里

从一条请求,看见整个系统。

返回文章目录

本页目录

搜索文章与 Skills

↑ ↓ 选择 · Enter 打开 · Esc 关闭 · Ctrl / ⌘ K 搜索

工程图