动态 EPLB 调整了专家布局,下一轮推理会用到新的专家位置。但在它生效之前,服务先要付出一次更新成本:整理专家热度、计算新布局、准备搬运、交换权重,再切换路由映射。
我们在 DeepSeek-V4-Flash 的 Ascend 910C 服务里采过这段过程。一次 profiling 中,P 端 rank 0 的 updater 标注持续了 665.44 ms,D 端为 515.90 ms。把时间线展开,会看到几十层迁移、几千次收发调用,以及末尾一段很长的复制接口。
665.44 ms 对应 CPU 主线程进入 updater、再从它返回这一段。前面的统计导出和布局计算在标注之外;标注里面既有主机准备,也有通信提交、复制和等待。接下来要做的,就是沿这段调用逐层展开,找出每笔时间到底由哪个动作产生。
下面先走完一次更新,再把真实计时放回各自的位置。本文 P 指 prefill 端,D 指 decode 端;毫秒数均注明测量范围。源码主线按 SGLang 2914be608 解读,profiling 使用较早的 e60cc1a994,两份材料分开使用。
一、到达更新间隔以后,系统先做什么
先假设模型有四个逻辑专家 A、B、C、D,分布在两张卡上。近期 A 比较忙,EPLB 决定调整副本分配和摆放位置。这里至少有两个问题要分别回答:新布局应该是什么,以及怎样把现有权重安全地搬成这个布局。
第一个问题由负载统计和布局算法处理,第二个问题交给权重 updater。manager 的整轮日志会包含这两部分,EPLB/update 标注只包住后面的 updater。
在 EPLBManager.rebalance() 中,主要顺序是:
到达重平衡间隔
↓
dump_record:取出窗口内的统计,整理为布局算法使用的计数
↓
检查是否需要重平衡
↓
计算新专家布局
↓
选择需要更新的层,调用 updater
↓
权重迁移完成后,更新位置元数据
↓
后续 forward 使用新布局
“到达间隔”只表示轮到这次判断。均衡度阈值可以跳过重平衡;计算出的布局也可能与原布局相同。这时不会发生一轮完整的权重搬家。看实验日志时,要把周期触发次数、真正改变布局的次数和实际通信量区分开。
统计导出本身也有计算与通信。在本文源码的 _StatAccumulator.dump() 中,系统先把物理槽位计数换成逻辑专家计数,再执行 all_reduce(SUM),把各 rank 的计数合在一起。这个通信汇总的是热度数据,后面的 P2P 搬运才传专家权重,两者用途不同。
统计还有一部分成本发生在普通 forward 中:每轮路由时记录专家计数。到更新时才做的统计导出,与每步持续记录的成本,属于两个时间范围。只测一次 updater,得不到开启动态 EPLB 的全部运行成本。
日志里的 rebalance time 包住哪一段
在不按层分 chunk 的同步计时分支里,manager 先同步设备,再记开始时间;完成统计导出、布局计算和更新后,再同步并记结束时间。把已执行重平衡的路径缩成示意代码,就是:
device.synchronize()
start = time.time()
records = recorder.dump_record(output_mode="object")
new_layout = compute_layout(records)
updater.update(...)
device.synchronize()
elapsed = time.time() - start
实际代码还有跳过判断、恢复流程和日志,这里只保留计时边界。按层分 chunk 时,manager 可以在 chunk 之间让出执行,不能继续套用这段整轮同步计时。
前面的同步用于排空此前工作,位于计时起点之前;末尾同步位于计时范围之内。这样得到的日志时长,比只围住一个 Python 函数调用更接近“本轮工作做完需要多久”。它仍然只是这一段重平衡的耗时,不包含此前每轮 forward 的计数成本。
二、进入 updater 后,才开始处理怎样搬
新布局已经算出来,updater 接下来处理的是具体存储和通信。NPU 路径的调用关系可以概括为:
ExpertLocationUpdater.update
├─ 对比旧、新布局,选择变化的层与本 rank 参与的任务
├─ 检查权重布局,创建专家权重访问视图和临时缓冲
├─ 逐层调用 update_expert_weights_single_layer
│ ├─ 确认每个目标槽位的数据来源
│ ├─ 保存后面仍需读取的源数据
│ ├─ 构造、分批提交 send / recv,建立完成依赖
│ └─ 将暂存的专家块写到目标槽位
└─ 更新原有位置元数据
具体实现见 NPU migrate_expert_weights() 和单层更新函数。
这里有几项工作即使没有跨卡发送,也可能发生。例如两个专家只在本卡交换位置,直接先把 B 覆盖到 A 的槽位,就会丢失后面还需要的 A。因此要先保存仍需读取的源数据,再覆盖目标。scratch 是为这类依赖准备的临时空间。
临时缓冲、发送源和原模型权重的关系,会影响能否安全原位修改。它们不能只按“多了一次 copy”就直接删掉;先要确认源数据之后是否仍被某个目标或发送操作使用。原位更新与图地址的关系,见图捕获与权重地址。
prepare 不一定在搬权重,writeback 也有两种含义
旧 Ascend 路径先把 NZ 权重转换成连续 ND 中转张量,在中转张量上迁移,最后转回原格式并复制到模型权重。这里的准备和写回包含整层权重转换、复制。
新的物理存储路径为原权重创建可写的字节视图。创建视图主要准备张量描述和生命周期关系,并不复制整层权重。后续仍有 scratch 与目标槽位之间的专家块复制,但不再需要把整层 ND 结果转换、写回。
因此,时间线上出现 prepare_weights,不表示又做了一遍 NZ→ND;出现 local_writeback,也不表示旧的整层写回回来了。标注覆盖哪个函数,比名字本身更重要。上一篇存储路径文章展开了这部分实现。
三、把一份真实 trace 的主线程时间账算清楚
这份采集使用 DeepSeek-V4-Flash-0731 W8A8、Ascend 910C,每端 TP16/EP16、attention DP16,CP1、PP1;开启 DSpark,gamma 为 5、verify width 为 6,每个 EP 组配置 16 个冗余专家槽位。P 的更新间隔/统计窗口为 50/50,D 为 4000/1000。
采集代码固定为 e60cc1a994。P 端采了 53 个 target forward 步,D 端采了 240 个 target graph forward 步,两边各覆盖一次真实更新;D 采集负载为滚动 C64。下面只看各端 rank 0,不把它当成 16 个 rank 的完整通信关键路径。
实验脚本在采集期间给几个函数加了 CPU 标注,结束后恢复。它们的对应关系是:
表格可左右滑动 →
| 搜索名称 | 包住的代码范围 |
|---|---|
EPLB/update |
ExpertLocationUpdater.update,包含权重与位置元数据更新 |
EPLB/prepare_weights |
make_weight_views,准备原权重的访问视图 |
EPLB/scratch |
create_temp_buffers,分配临时缓冲 |
EPLB/layer_migration |
一层的迁移函数 |
EPLB/local_writeback |
该次实验中的专家块复制 helper,位于单层迁移内部 |
这些是实验标注,并非要求上游代码长期保留的接口。profiler 和标注会增加观测开销,下面的数字用于解释这次采集中的调用范围。
最容易重复计算的一笔:父范围里已经有子范围
P 端 43 个 layer_migration 的 CPU 时长合计为 430.865 ms,其中已经包含 13.759 ms 的 local_writeback。把两者相加,会把这 13.759 ms 算两遍。
这次重新解析原始 trace 时,先按 updater 所在的同一进程、同一线程筛选,再检查子区间的包含与重叠关系。扣掉嵌套项后,可以得到下面这张不重复计数的主线程范围表:
表格可左右滑动 →
| CPU 范围,单位 ms | P,rank 0 | D,rank 0 |
|---|---|---|
| 分配 scratch 的调用范围 | 0.194 | 0.201 |
| 43 层准备权重视图 | 8.434 | 8.385 |
| 单层迁移中的本地专家块复制 | 13.759 | 18.487 |
| 单层迁移的其余范围,已扣除上一项 | 417.106 | 367.963 |
| updater 中其余未被上述子标注覆盖的范围 | 225.949 | 120.864 |
| updater CPU 总范围 | 665.442 | 515.899 |
表格按原始微秒值计算后显示为三位小数,末位可能有四舍五入差异。原始 trace 分别扫描了 2,442,301 和 5,050,714 个事件;配套统计保留计算结果,证据说明记录源码与 trace 的校验值。
可以把这张表当作主线程的行程记录:在每段代码里停留多久,就记在哪段。主线程调用一个接口后等设备,等待也落在这段 CPU 范围里;设备同时执行的工作则可能与其他范围重叠。因此,417.106 ms 需要继续沿内部调用拆解,不能直接拿来当通信完成时间。
单层迁移的其余范围还包括来源选择、索引、临时数据准备、通信对象构造、接口提交和完成依赖。updater 外层余下的范围,则还包含选层、校验和位置元数据更新等工作。要继续拆分,就应在这些具体边界补观测,而不是给差额统一贴上“通信”的标签。
四、P2P 要分成提交、设备执行和完成依赖看
跨卡搬运时,公共迁移函数会构造 P2P 操作,按专家 ID 区间分批提交:
reqs = torch.distributed.batch_isend_irecv(batch_ops)
for req in reqs:
req.wait()
这两行代码背后至少有三段工作。主线程先构造和提交任务;后端将通信安排到设备侧;之后读取或覆盖相关存储的操作,需要正确等待这次通信。
三段可以交错。CPU 还在提交后一批,设备已经执行前一批;后续复制也可能通过流依赖等待通信。把所有 API 时长、所有通信 task 时长和所有等待时长直接相加,会重复计算重叠部分。
这里的 stream 可以先理解为设备任务队列。让当前流等待通信事件,是把“后面的操作要等这次通信完成”登记到执行依赖里;它与“CPU 线程停在这里,直到通信完成才返回”是两种不同的等待。
用一个教学例子说明:CPU 在第 0~2 ms 提交工作,设备在第 1~5 ms 执行,CPU 在第 2~5 ms 等待。这段从开始到完成是 5 ms,不能把提交 2 ms、设备执行 4 ms、等待 3 ms 加成 9 ms。
trace 里有八千多次收发调用,说明了什么
在这次 updater 的主线程范围内,P 端 c10d::send 与 c10d::recv_ 共 8,286 次,这些 CPU 事件的范围时长合计 217.055 ms;D 端为 8,298 次、181.319 ms。它们是 43 层累积的数字。
这说明提交路径由大量小操作构成,值得检查构造、索引与提交成本。它不表示 217.055 ms 之后所有权重才刚好传完,也不能再加到前面的单层迁移范围上。这些调用本来就发生在那段迁移中。
trace 的底层事件名称显示为 send、recv_,也不意味着 Python 写的是同步 dist.send();这里调用的仍是批量异步收发接口。
wait 返回,究竟保证了什么
这一点要看实际后端。本文核对的 torch_npu WorkHCCL::wait()会进入 synchronizeInternal():先让当前流等待 HCCL 完成事件;在配置 blocking wait 或 barrier 等条件下,还会发生相应的主机等待或设备同步。对应实现把这些分支写得很明确。
因此,要量完整通信完成时间,不能只在 Python 的 req.wait() 两侧放墙钟,就把差值解释为传输时长。需要看通信任务的实际区间、完成事件,以及后续依赖操作何时能够继续。
五、迁移结束后的复制接口,为什么会显示两百毫秒
在 P 端这次更新中,最后一个单层迁移范围结束后,出现了一个 209.953 ms 的 aten::_to_copy CPU 事件。D 端对应位置有一个 99.591 ms 的事件。各端共四次 _to_copy,都在最后一层迁移标注之后。
如果只按 CPU duration 排序,很容易把它列成头号拷贝优化对象。但这里的 duration 量的是 Host 接口进入到返回的范围,单凭这一列,分不出设备真正复制数据用了多久,以及接口返回前承担了哪些准备或等待。
位置元数据更新确实在权重迁移之后。ExpertLocationMetadata.update()会准备更新 mask,把它放到对应设备,并更新原来的映射张量。源码给出了这段尾部工作,trace 给出了长接口的所在位置;继续归因时,还要沿关联事件检查这个接口内的设备复制、排队和同步。
一个常见的归账现象是:前面提交的是异步工作,后面遇到需要确认完成的操作,等待就显示在后面的调用里。此时,删掉后面的调用并不会自动消除前面尚未完成的工作;等待可能转移到另一个位置。
在 Insight 中,应先选中这个 209.953 ms 的 Host 事件,再沿关联关系找设备上的复制任务:任务实际执行了多久,提交到开始之间等了什么,接口返回又依赖哪项完成。这样才能把“接口里停留约 210 ms”继续拆成真正的数据复制与等待。只看 Host 那条长矩形,还无法完成这一步归因。
这与末尾 synchronize() 的道理相同:它让此前排队的工作完成。把同步删掉,函数返回可能更早,但只要下一次 forward 仍要等待这些权重,服务的停顿就没有凭空消失。
六、真正减少 update 成本,要减少哪些工作
有一组不带 profiler 的旧、新存储路径对照,可以先说明已经兑现的变化。两边都开启动态 EPLB,固定实际 KV 容量:P 为 911,104 token,D 为 514,304 token;每端 TP16/EP16,PP1,冗余专家均为 16,P 使用 50/50,D 使用 4000/1000。
旧版提交为 ddc2a3abab,新版为 4eb587cad。下面每轮都取该端 16 个 rank 日志耗时的最大值,再对 P 的三轮取中位数:
表格可左右滑动 →
| 完整 manager 重平衡日志,单位 ms | 旧路径 | 新路径 |
|---|---|---|
| P,第 1 轮最慢 rank | 696 | 576 |
| P,第 2 轮最慢 rank | 711 | 621 |
| P,第 3 轮最慢 rank | 689 | 611 |
| P,三轮中位数 | 696 | 611 |
| D,一轮最慢 rank | 730 | 658 |
P 的这个代表值减少 12.21%,D 的一次观测减少 9.86%。原始数据见逐轮 CSV与公开实验附件。两版各自根据运行统计生成布局,这组完整服务对照记录了更换存储路径后的更新时间。分析单纯链路带宽时,再固定同一份迁移计划和字节数进行测量。
读这两组时间时,分别保留它们的测量目的:e60cc1a994 的 profiler 采集用于拆解 updater 内部,611 ms 所在的完整服务对照用于比较两种存储路径。两轮采集的配置和边界不同,统计与规划成本应在同一轮闭合计时中读取。
比较时还要区分首次执行和热态。统计 accumulator 的首次 dump、updater 的首次执行都有清理缓存的代码,通信预热和缓冲分配状态也要记录。只拿旧版第一轮与新版预热后的某一轮比较,会把初始化状态混进存储路径收益。本文保留逐轮数值,P 用三轮中位数,D 按一次观测报告。
省掉整层转换,比只缩短接口返回更直接
新路径减少的工作很具体:整层 NZ→ND、整层 ND→NZ,以及将中转结果额外写回原权重。这些操作不再需要,临时大张量的驻留也随之减少。在前面的 e60 采集中,updater 范围内没有出现 format_cast 事件;prepare_weights 包住的是原存储视图的准备。
本地专家块复制与 P2P 则继续存在,因为专家的数据仍然必须到达正确槽位。换一种访问视图可以省去转换,但不能省去真实的数据依赖。
进一步优化时,我会先看三个量:本次布局有多少槽位真正变化、跨卡需要搬多少字节、为这些字节构造并提交多少个操作。它们分别指向不同的办法:
- 减少无意义的布局变化,可以少搬专家,但必须确认没有损失均衡收益。
- 保留本卡已有副本、选择合适来源,可以减少真实跨卡流量;还要核对发送方负载和目的端依赖。
- 对大量小操作减少重复索引、构造或提交,可以降低主机成本;合并时必须保持各 rank 的匹配、批边界和覆盖安全。
公共迁移器已经会跳过内容不变的目标槽位,并优先寻找本卡已有来源。进一步优化要先找出它仍在重复处理的工作,再用相同迁移计划做对照。仅仅把多个 record_function 合成一段,或者把等待挪到下一层,改变的是时间显示的位置,不能作为优化结果。
七、一次更新快了,多久能在推理里赚回来
update 发生得少,平均成本可以不高,但触发当下仍会形成一次集中停顿。这两种影响应分别报告。
假设一次更新为 600 ms,每 4,000 次 forward 触发一次,正常每步为 35 ms。这是教学算例:
正常 forward 总时间:4,000 × 35 ms = 140,000 ms
更新相对 forward 的摊销比例:600 / 140,000 ≈ 0.429%
平均摊到每步:600 / 4,000 = 0.15 ms
“平均每步多 0.15 ms”并不表示发生更新的请求只多等 0.15 ms。同步更新期间,已经进入服务的请求可以共同受到这次集中停顿影响。
反过来,若新布局让后面的每步从 35 ms 降到 34 ms,每步省 1 ms,持续约 600 步就能抵掉这次 600 ms 的更新。如果每步只省 0.2 ms,就要约 3,000 步。这里还没有加入持续记录统计的额外成本;比较完整开销时,这笔每步成本也要一起计算。
这也是为什么更新间隔 I 与统计窗口 W 要配合:I 决定多久做一次判断,W 决定用多长历史作判断。间隔拉长能降低摊销成本,但旧布局在负载变化后也可能使用得更久;窗口拉长能看更多样本,也可能混入过时的热度。选择参数前,先确认更新后的布局在同 batch、同上下文和同输入条件下,普通 forward 是否真的更快,以及收益能够持续多久。
在 DSpark 场景还要明确“步”的含义:target verify 一步可以产生多个 token,manager 的触发步数要沿实际 forward 回调确认,不能把 I=4,000 写成每 4,000 个请求或每 4,000 个输出 token 更新。
在 MindStudio Insight 里,按这个顺序找
先搜索 EPLB/update,确认它来自这份采集的实验标注;再展开 layer_migration、prepare_weights 和 local_writeback,看清父子关系。沿 Host 到设备的关联事件找到通信任务和复制任务,观察它们何时提交、何时执行、下一次 forward 何时能够继续。
看多 rank 时,先在每个 rank 自己的时间线上解释更新,再核对慢 rank 与通信对端。不要把 16 个 rank 的耗时加起来,当成一次服务停顿,也不要把 16 份通信时长除以一份 forward 时长。
采完以后,把短 profiling 与不带 profiler 的同负载结果放在一起。前者用来解释一次停顿,后者确认日常请求是否受益。若时间线里少了格式转换、通信计划也没有变,就有了继续核对 update 差值的依据;若只是等待换了位置,下一次 forward 仍迟迟开始,就还没有减少这次停顿。
关于统计窗口和检查间隔怎样影响热点响应,见动态负载均衡会不会追着旧热点跑?。