AkiYang推理工程手记

一个 EPLB PR 怎样收敛沿提交看存储、兼容性与优化取舍

版本与源码依据
首次提交 最近更新 文章修改记录 ↗
系列阅读 · EPLB:统计、迁移与服务收益展开篇目
本页目录

最终 diff 只能看到留下来的代码,commit 才能看见它怎样走到这里。一次改动最初可能同时覆盖存储、通信、PP 和若干小优化,后面又删掉一部分,把注意力集中到真正需要解决的问题上。

这篇沿 SGLang PR #49701 的实际提交走一遍。该 PR 于 2026-11-13 合入,GitHub 列出 16 个提交,其中两个是合并主线。正文按技术问题组织,不把每个 commit 都算成一份独立性能收益;功能分析以 2914be60 为固定快照,最后一次主线合并为 851f5f31。

整个过程围绕一件事展开:让 Ascend EPLB 直接使用专家的原始物理存储,尽量复用现有迁移器,同时把格式、地址、通信成员和统计边界说明白。

一、先换掉中转表示,保留已有迁移算法

起点提交 4c9a1c24 修改 NPU 的 eplb.py,从“准备连续 ND 工作权重,搬完再转换和写回”,改为暴露原权重的可写字节行。

旧路径的好处是给公共 updater 一个熟悉的连续张量。代价是某些 NZ、转置或 packed 权重需要额外转换,迁移完成后还要把结果写回模型本来使用的存储。代码既要管理格式,也要管理临时空间及其异步释放。

新路径把每位专家表示为一段完整物理字节,形状为 [路由专家数,每专家字节数]。公共 updater 仍决定来源、接收与写入,变化的是它看到的权重表示。字节 view 与原模型共享存储,更新它就会改变模型之后读到的数据。

把一次移动展开就能看清改动范围。旧路径先准备 ND 工作权重,在工作区里完成搬运,再把结果转换、写回模型。新路径让搬运函数直接写原存储的专家行,省去中间那套表示。至于本地交换需要先保存旧源、远端专家需要发送接收,这些依赖依然由原迁移协议处理。

对应机制和数据,已经在物理存储重构中展开。沿 commit 阅读时,只需先记住这条边界:核心变化是表示方式,原有搬运算法继续复用。

二、把 dtype 与 shape 分开,修正“合法打包也被拒绝”

初版物理路径读取底层存储元数据,再校验导出的专家张量。这里曾把底层 descriptor 的 dtype、首维与导出 view 绑得太紧。

真实量化路径可以在同一份内存上做 dtype view。例如 [6,17,64] int8 被看成 [6,17,16] int32,逻辑元素数减少四倍,元素字节数增加四倍;每位专家仍是 1088 字节,边界没有变。若要求两者元素大小相同,这种合法表示就会被拒绝。

另一个例子是先分配二维 packed 参数,再 reshape 为三维专家张量。底层首维可以是 E×K,导出张量首维才是 E。连续 reshape 不保证重新分配,原 descriptor 的第一维不能统一当作专家数。

83a22098 把这两类约束分开:基础 ND 路径从导出张量的专家 stride 与元素大小计算字节跨度,再检查容量能否完整划分;NZ 路径保留原专家块的布局约束,用完整存储元数据处理物理 padding。

这项修复没有把检查全部删掉。它改的是检查使用的单位与依据:ND 的合法 dtype view 应按字节验证,NZ 的物理块仍要保持完整。后续 a4d6fc31 又整理了存储检查与 rank 含义,让两个契约更容易读清。

这段演进适合独立记成一条经验:共享存储的两个张量,不必有相同 dtype 和 shape;验证搬运边界时,先确定要保持的是元素、逻辑行还是物理字节块。

这两类输入的尺寸、字节计算和拒绝边界,另见合法 int32 权重为什么曾被拒绝。

三、名字也要跟着行为变,避免维护者误判副作用

旧实现的对象叫 Staging,load() 听起来像把模型权重加载进独立临时区。物理路径已经不这样工作,沿用名字会让调用者误以为修改返回值不影响模型。

a9430a31 将这层对象整理为 _ExpertWeightAdapter,使用 make_weight_views() 表达创建视图的行为,并把 owner 改成 full_storage_tensor,区分用于校验的完整存储描述与真正保活的原始 weight。

这个命名让调用者在进入函数前就知道返回值是什么:make_weight_views() 创建的是视图,文档进一步说明它与原权重共享存储,写入会改变模型。读代码时,数据副作用由接口直接交代,无需再猜 load() 是否申请了独立副本。

别名还有生命周期责任。新的 storage descriptor 借用了原分配的地址,并不拥有另一份独立模型权重。实现保留原 weight 引用,并记录当前 stream 使用关系,避免 Python 变量变化或分配器复用破坏尚未完成的设备工作。

名字、注释与实际副作用一致以后,维护者不必同时理解旧转换路径,才能判断当前接口怎样用。相应的地址与图回放问题,见图捕获以后为什么不能随便换张量。

四、通信复用保留了,PP 扩展与小优化收回来了

d84edc66 接入了已有 TP device group,同时包含 pipeline-stage 统计、peer 翻译和分 stage 导出等扩展。它还保留 NPU 图捕获入口的 draft 保护。

这些内容不是同一个问题。TP 复用针对的是通信器与运行时资源;PP 则要求重新说明参与成员、rank 坐标、层范围和导出关系。把两者放在一起,会让存储重构的评审需要同时处理更大的协议范围。

例如,TP 覆盖全体进程时,一个全局 rank 可以直接用在这条通信路径里。开启 PP 后,每个流水线阶段只持有一部分层,各阶段的 TP 组也可能成为不同子组。此时“发给 rank1”究竟指全局进程 1,还是当前组中编号为 1 的进程,就必须先定义清楚。PP 扩展因此涉及通信协议,改动范围比存储视图更大。

后面的 4802d2bb 移除了这次 NPU 修改中的 PP 支持,也删除离线 merge 脚本。分析最终版本时,不能把早期 stage 导出逻辑继续写成已经交付的能力。最终 NPU 入口明确检查 PP=1 及相应全组拓扑。

小优化也经历了回撤。早期 a3cff6d2 去掉 P2P 分批前的排序、展平;NPU 还尝试过逻辑专家到 rank 的预建索引,以及连续槽位复制合并。

08865d16 又撤回了这些分支,让迁移计划和写入复用公共流程。因此,不能只看前一条 commit 标题,就宣称最终版本保留了这项 CPU 或复制优化。它们在历史中确实存在,最终取舍则以撤回后的代码为准。

这里保留的大收益方向是减少整层转换与额外资源,收回的是需要额外维护的计划、复制分支。是否再次研究那些小优化,应该作为独立对照,而不是给本 PR 的收益表重复记账。

五、FP4 格式补全,没有顺手放宽专家边界

基础版本只接受常规基础格式与 FRACTAL_NZ。之后实际 FP4 权重导出的格式为 FRACTAL_NZ_C0_16,第一次需要迁移时被白名单拒绝。格式名称与分块方式不同,并不表示逻辑专家需要换一套算法。

e7fc1cdd 补上 packed NZ 家族的格式允许项,后续 a29d6456 将它们写成有名字的常量。读取的是张量实际格式,不能仅根据模型或卡型猜测。

这一步没有修改 _validate_nz_expert_blocks 的核心条件。格式被接受以后,三维专家轴、stride、容量及等长物理块检查仍然存在。FP4 实测更正也指出,原来推断的第二处 stride 报错并未发生,没有理由为了一个不存在的报错把边界放宽。

这段修改回答的是兼容性,不是独立吞吐提升。它让合法 packed 格式能够进入同一物理搬运路径;搬运后计算是否正确,仍要由相应数据与模型验证支持。

三组 FP4 探针、共享专家后缀和恢复严格检查后的迁移对照,见格式补全与 stride 检查。

六、复用通信组,也要核对成员与初始化阶段

已有 TP 组不等于默认 WORLD;即使成员一样,也可能是不同通信器,后端资源还可能延迟分配。复用设计的依据和显存实验放在TP 与 WORLD 的显存差异中。

240f795f 把 NPU 预热入口限定在启用 EPLB、非对应弹性分支的条件下,避免关闭该功能时仍进入专属预热。预热位置在 KV sizing 之前,使相关通信资源计入容量决策。

随后 2914be60 收紧 TP 复用条件:TP 必须覆盖 WORLD,且 PP=1。统计使用的全局 rank 与 root 语义,不能在成员集合不同的 TP 子组里原样套用。

这项检查的价值,是让“复用”有可解释的协议条件。相同后端名称、相同 group size,都不能单独证明 rank 与成员对应一致;最终需要按当前支持拓扑核对。把检查放在选择入口,也比在每个通信调用里临时猜测更容易维护。

七、用两组数据分别回答两个问题

物理存储方案与旧 ND 路径的公开完整服务对照中,P 三轮更新的中位数从 696 降到 611 ms;D 的一次观测从 730 降到 658 ms。同实际 KV 容量下,采样 HBM 的同芯片减少量中位数为 P 839.5 MiB、D 1641.5 MiB。完整条件、原始日志与采样口径保留在存储路径文章。

两次运行分别根据各自负载生成迁移计划。这组对照的变化是 update 更短、采样设备水位更低,whole-run 输出吞吐则未提高。提交历史中几项改动共同组成了候选版本,因此这里按完整存储路径报告结果。

另一组 08865d168 的动态 EPLB OFF/ON 持续负载对照,输出吞吐提高 36.93%,同时平均 TPOT 增加 18.82%。它回答“开启动态布局更新后整服务怎样变化”,不是“物理字节搬运比 ND 提高了 36.93%”。两种指标为何能同时发生已经单独展开。

回看最终版本,可以沿三个具体问题读代码。数据部分先确认每位专家的字节边界,以及写视图是否就会写模型;通信部分确认哪些 rank 参加、资源何时初始化;结果部分则分别查看存储路径对照和动态 EPLB OFF/ON 对照。被撤回的 PP 与小优化保留在提交历史里,理解设计取舍时可以回看,判断当前能力则以最终快照为准。

完整提交索引与文章对应可下载,专题入口按统计、通信、存储与性能分别组织了后续阅读。

返回 EPLB 专题。

返回阅读地图 →
读到这里

从一条请求,看见整个系统。

返回文章目录

本页目录

搜索文章与 Skills

↑ ↓ 选择 · Enter 打开 · Esc 关闭 · Ctrl / ⌘ K 搜索

工程图