AkiYang推理工程手记

到了更新间隔,为什么不一定要搬专家?

版本与源码依据
首次提交 最近更新 文章修改记录 ↗
系列阅读 · EPLB:统计、迁移与服务收益展开篇目
本页目录

EPLB 每 1000 步更新一次,并不保证每隔 1000 步就搬一次权重。rebalance start 打出来之后,流程可能还没计算新布局就结束了;也可能已经算完布局,发现这一层原样不动。

即使全局布局有变化,一个 Rank 也未必需要接收权重。它本地没变,又可能正好要给另一个 Rank 发送旧权重。日志里看起来都是“没搬”,退出的位置却各不相同。

I 到了以后,manager 做什么

ModelRunner 在 forward 后推进 manager,生成器等待指定次数,才进入 rebalance()。这个间隔参数是 eplb_rebalance_num_iterations,下文记为 I。forward 调用与生成器能对上这两处动作。

一批 256 条请求做一次 forward,manager 仍只推进一次;DSpark 一轮提交多个 token,也不会按输出 token 数推进。ROCm 特定模式还有额外条件,计数得落到实际执行路径上。

抽取原函数、设 I=4,前四次调用分别停在 yield,第一次重平衡出现在第 5 次,后续是第 9、13 次。首次偏移是生成器启动控制流带来的,相邻检查之间仍隔四次调用。

进入 rebalance() 后,manager 先处理停用与弹性阶段,再导出统计。普通固定拓扑会走过下面这些判断。

flowchart TD
    A[完成 I 次等待推进] --> B[导出统计并取得历史均衡度]
    B --> C{均衡度超过阈值?}
    C -->|是| D[跳过本轮布局规划与迁移]
    C -->|否,或没有该指标| E[计算目标布局]
    E --> F{Ascend:这一层布局改变?}
    F -->|否| G[跳过该层权重更新]
    F -->|是| H[判断本卡接收、发送与写回需求]
    H --> J[执行必要的数据操作并提交元数据]

评分挡下整轮时,planner 还没运行。图中整层布局相等的判断则来自本文核对的 Ascend PR,在更靠后的权重更新路径上。

threshold 只看当前的路由均衡度

一层的两个 Rank 各有 100 次路由,分配是均匀的;变成 180/20,前一个 Rank 就会更忙。社区实现用下面的比例评分。

balancedness = (各 rank 路由数的均值 + 1e-5)
               / (最忙 rank 的路由数 + 1e-5)

100/100 得到 1,180/20 约为 0.5556。每条记录先逐层计算,再求层均值写进历史,manager 最后对这些历史评分求平均。指标和公式记录了计算过程。

日志把它称为 utilization,数据来自路由计数,和 npu-smi、nvidia-smi 的设备忙碌时间不同。路由均匀了,Attention、访存或通信仍可能决定一步要跑多久。

manager 的判断省略日志与配置读取后是这样。

if average_utilization_rate_over_window is None:
    return True
if average_utilization_rate_over_window > threshold:
    return False
return True

返回 True 才继续规划。阈值设 0.90,各分支如下。

历史均衡度 是否继续 原因
0.70 是 尚未达到设定的均衡程度
0.90 是 代码使用严格大于,相等时继续
0.95 否 已超过阈值,跳过本轮
没有该指标 是 缺少指标不会自动阻止重平衡

它用严格大于比较,所以恰好 0.90 还会继续。日志只打印两位小数,看到 0.90,也得留意原值是否已经略高于阈值。

降低阈值,更容易跳过;提高阈值,更容易继续。这时尚未计算新方案,0.90 表达的是当前均衡程度,推不出“预计提速超过 10% 才更新”。对应的判断在 manager 里。

report 没开,阈值就拿不到评分

默认的 expert_balancedness_report_mode 是 off,不维护评分历史,导出 None 后仍然继续规划。阈值本身采用默认 1.0 时,也会专门返回 None,是否接近 1 用 math.isclose 判断。只改 threshold,未必就启用了这项筛选,默认项、历史条件和导出要一起看。

下面是追加到已有启动命令的普通 stat 片段,模型与并行配置沿用原命令,0.90 仅作演示。

--enable-eplb \
--eplb-rebalance-num-iterations 4000 \
--expert-distribution-recorder-mode stat \
--expert-distribution-recorder-buffer-size 1000 \
--expert-balancedness-report-mode server_log \
--eplb-min-rebalancing-utilization-threshold 0.90

I4000 决定检查频率,W1000 决定 planner 读取的路由窗口。评分历史另外有容量 10、100、1000 的队列,manager 使用最后一组的平均值,容量并不跟 W 任意变化。

比如设 I4000、W200,planner 取最后 200 条路由记录,评分却可以覆盖本周期末至多 1000 条;评分队列只有 50 条时,就对已有的 50 条求均值,不等填满 1000。dump 后还会 reset,清掉计数和评分,随后即使因阈值跳过,本轮重置也已经发生。求均值与reset分别对应这些行为。

平均的顺序也有影响。用两步教学负载看,大 batch 均匀,小 batch 偏斜。

执行步 rank 0 路由数 rank 1 路由数 本步均衡度
大 batch 900 900 1.0000
小 batch 18 2 0.5556

当前实现每条记录等权,逐步评分再平均,约得 0.7778,会在 0.90 阈值下继续更新。若先把路由合成 [918,902] 再评分,约为 0.9913,就会跳过。同样两步数据,换个平均顺序,决策已经不同。

全零记录的分子、分母都是 1e-5,评分为 1,混进去会把历史均值抬高。零记录那篇展开了有效路由与身份问题,阈值调整以前得先把统计修对。

Ascend 可以提前跳过没变的层

通过评分,planner 才根据逻辑负载、副本和拓扑生成目标映射,分配过程见副本与物理布局。计数变了一点,副本数和放置未必跟着变,最终映射仍可能完全相同。

这份 Ascend 实现在 staging 之前比较各层完整的 physical_to_logical_map_cpu,只给变化的层准备权重。整块都相同就直接返回,省下 NZ→ND、迁移准备和回填。此时统计、评分检查和规划早已完成,层筛选省的是它们后面的工作。

社区通用更新器会先建 buffer,再逐槽分析,已经支持不变槽位返回,但准备成本和 Ascend 提前筛层不同。对照buffer与槽位,能看见两个退出点的先后。

要比较的是完整物理映射。只看副本数,下面的变化会被漏掉。

原布局:[E0, E1 | E2, E3]
新布局:[E1, E0 | E2, E3]

竖线分开两个 Rank。每个专家仍各有一份,Rank0 的两个槽位却交换了。可以不做 P2P,本地仍要重排。原通用单层函数的 CPU 例子中,Rank0 写回两次;布局完全相同的对照,两端都不写目标权重。

Rank0 不接收,也可能需要发送

全局层有变化时,本地映射相同还不足以让一个 Rank 退出。四个 Rank 各两槽的例子里,rank0 就保留着别人需要的 E0。

          rank 0   rank 1   rank 2   rank 3
原布局:  [0, 1]   [2, 3]   [4, 5]   [0, 2]
新布局:  [0, 1]   [0, 3]   [4, 5]   [2, 2]

rank1 的新槽需要 E0,rank0 本地虽然不变,直接退出可能切断来源。rank2 的 E4、E5 没被任何变化后的目标槽需要,它才可以跳过。

Ascend 的参与判断保留本地有变化的 Rank,也保留持有潜在来源的 Rank。后者只是候选发送者,实际从哪取权重仍由公共迁移算法决定。只发送、本地布局没变的 Rank,发完不必再写回自身权重,候选来源与写回判断处理的是这两个阶段。

ElasticEP 不走这些退出路径。弹性状态下,映射不变,可用来源仍可能因故障而变化,所以实现会保留整层相等或本地无需求情况下的参与。

此前要求全体参加的统计归约也得照常完成,metadata 有自己的提交步骤。减少某个 Rank 的权重操作,不会顺带取消这些协议。

600ms 的更新,多久能省回来

rebalance start 在 dump 和评分之前打印,只能说明流程进入了。后面的 Skipped ep rebalancing 才表示评分挡下本轮。

即便评分决定跳过,stat 映射和 all_reduce 已经发生;report 还增加逐步归约与历史维护,默认不分块路径在判断前也会同步设备。规划、权重搬运和 metadata 更新可以省掉,检查本身仍然要花时间。

退出位置 已经完成 主要省掉
均衡度超过阈值 统计维护、导出与归约 布局规划及后续更新
Ascend 整层布局相同 统计与布局规划 该层权重 staging、迁移
某卡无需接收或作为候选发送者 全局布局与本地参与分析 本卡该层的数据准备与操作
某个目标槽位没变 层级准备与槽位检查 该槽位接收、本地重排和写回

再看一个教学算例,update 花 600ms,布局调整后每步省 0.1ms,需要 6000 步才能抵消。若 4000 步后又换布局,只省回 400ms。这时路由确实失衡,搬运却还没回本。

threshold 评估当前均衡程度,I 决定多久检查一次,也影响收益能摊多久。decode 测量继续测固定状态 Forward 的变化、收益持续时间和服务时延、吞吐,其中也保留了小收益与长尾变差的结果。

源码版本与 CPU 验证

社区部分固定在 SGLang fb9846d3,Ascend 整层与本地参与筛选固定在 9f4ee2cc,对应写作时仍在评审的 PR #47574。这份 Ascend 版本的 manager 与本文引用的社区 manager 内容一致。

阈值、历史平均、生成器边界和布局例子,都在 PyTorch 2.5.1+cpu 上抽取原函数执行。验证含 10 个阈值分支、4 个指标返回空值的配置、5 个负载评分、8 个 Ascend 参与选择、4 个本地权重更新,以及弹性状态保留参与的对照。输入是教学数据,没有跨设备传输或服务吞吐测试。完整 CPU 结果和源码校验信息随文保存。

返回 EPLB 专题。

返回阅读地图 →
读到这里

从一条请求,看见整个系统。

返回文章目录

本页目录

搜索文章与 Skills

↑ ↓ 选择 · Enter 打开 · Esc 关闭 · Ctrl / ⌘ K 搜索

工程图