AkiYang推理工程手记

EPLB 专题从专家热度、权重迁移到服务收益

版本与源码依据
首次提交 最近更新 文章修改记录 ↗
系列阅读 · EPLB:统计、迁移与服务收益展开篇目
本页目录

EPLB 要解决的问题很具体:同一层 MoE 的工作没有均匀落到设备上,部分 rank 忙,其他 rank 等。增加热点专家的副本、重新安排位置,可以改善这种分配;但它同时引入统计、规划、搬权重和切换映射的成本。

这个专题围绕 SGLang 与 Ascend 的实际实现展开。先用小例子建立逻辑专家、物理副本与槽位的关系,再读统计和迁移源码,最后用已有 profiling、显存、服务性能与正确性材料判断优化值不值得保留。

如果是第一次接触 EPLB,先读下面的三篇入门。已经在排查问题,可以直接使用按问题索引。每篇的固定版本和实测条件写在正文;教学数字、代码事实与设备结果分别保留来源。

先读这三篇

  1. EPLB 到底改了什么?从一次路由到一次专家搬家:先分清模型要执行谁、权重放哪里,以及什么情况下才搬权重。
  2. 16 个冗余专家怎么分:用四专家、两冗余走完副本分配与槽位安排,再对应真实布局。
  3. 热度表到底记录了什么?把 NPZ 里的专家计数读明白:实际打开两份 200 条记录,读懂维度、归约、角色与映射。

想先看整项工程怎么演进,可以从一个 EPLB PR 怎样收敛进入。它按 PR #49701 的实际 commit 解释核心改动、兼容性修复和撤回的尝试,再连接到各篇深挖。

新补充:GPU / NPU 对照与边界修复

想理解 NPU 为什么需要额外适配,先读 SGLang 的 GPU / NPU 动态 EPLB 实现对照。四张源码图把共同主链、计数入口、权重表示与更新顺序放在一起。

接着可以按问题深入:

一、从统计开始:窗口里究竟装了什么

统计的单位不是客户端请求。一次 forward 可以处理多个请求或多个候选,一个请求也可以经历很多次 forward;物理槽位的路由计数,还要按正确布局汇总成逻辑专家负载。

你在问什么 对应文章
NPZ 的三个轴和每个字段是什么 把专家计数读明白
收到的路由为什么不全是有效工作 DeepEP 收到多少,与模型真正执行多少
加一条零记录,为什么求和没变而决策变了 零记录与滚动窗口
数据已经采到,为什么导出还能触发故障 专家计数导出与 HCCL / Gloo
P 和 D 的 I、W 应该怎样理解 两端为什么不能照抄同一套参数
新布局为什么会追着旧热点跑 统计历史与热点延迟

零记录文章使用历史缺陷的固定版本。它说明怎样验证窗口组成和修复生命周期,不把历史现象当作当前主线状态。新版本排障,应先确认自己部署的 recorder 与 runner 代码。

二、从热度到布局:要放几份,又放在哪里

Planner 要同时满足每位逻辑专家的基本副本、冗余预算与各 rank 的槽位容量。统计看起来更均匀,也不保证真实设备时间一定缩短。

如果业务组成相对固定,也可以先看场景静态 EPLB。静态布局与动态更新分别解决不同的适应问题,比较时要对齐实际 KV、冗余与缓存条件。

三、从布局到权重:数据、地址和通信怎样一起切换

映射表很小,表指向的专家数据却必须真实到位。这里最容易混淆三件事:格式转换、源数据保护,以及对原模型存储的最终写入。

两篇历史文章也保留在专题中:动态迁移的旧 ND 路径与逐层转换为何仍堆出多层临时张量。它们解释方案演进,后续物理路径已删除转换中转,不应把两代代码拼成一份当前实现。

四、看成本:到底花了多少时间和显存

先数实际工作,再解释耗时。变化槽位数、远端新增专家数、传输字节数、通信 API 时间与完整 update 墙钟,分别对应不同对象。

物理路径对旧 ND 路径的显存与 update 对照,和动态 EPLB 的 OFF/ON 服务对照,是两套实验。前者比较迁移实现,后者比较启用运行时更新;数字不能跨组拼成同一条收益链。

五、看收益:先固定一次执行,再验证整个服务

动态 EPLB 的 Decode 收益怎么测给出两层对照:固定真实输入、batch、上下文与 KV,执行 A→update→B→restore A;随后再用一致负载做持续 OFF/ON,确认吞吐、延迟、失败与投机指标。

吞吐提高,平均 TPOT 为什么变差分析一组真实 PD 服务结果。P 端更快可能让 D 实际 batch 增大,服务产出与单请求生成节奏需要一起解释,不能只选一个方向写结论。

如果输出文字发生变化,接着看同样输入换个 batch,为什么答案会变。先定位同一前缀上的第一处分叉,区分数据、索引、映射错误与计算路径差异;temperature=0 和固定 seed 不能替代这套检查。

沿 PR 的优化点阅读

演进问题 主要提交或证据 读哪篇
NZ→ND 中转与独立写回 4c9a1c24 物理存储重构
打包 ND 的 dtype view 与 reshape 83a22098 ND 专家字节边界
视图命名、存储描述与生命周期 a9430a31、a4d6fc31 提交演进、图与地址
TP 复用、预热和拓扑约束 d84edc66、240f795f、2914be60 TP / WORLD 显存实验
FP4 packed NZ 格式 e7fc1cdd、a29d6456 格式补全与边界保留
PP 与计划/复制分支的收敛 4802d2bb、08865d16 哪些尝试最后撤回了
draft 与 padding 的统计边界 原始计数与固定源码 零记录、有效路由

提交索引 JSON保留完整 SHA;算例包汇总负载、槽位复用、I/W 时间尺度、收益上限与字节预算的 CPU 计算。真实 NPZ 放在热度表文章的独立下载包中。

可以按系列阅读顺序继续阅读并保存本地进度,也可以从这页直接跳到当前遇到的问题。

返回阅读地图 →
读到这里

从一条请求,看见整个系统。

返回文章目录

本页目录

搜索文章与 Skills

↑ ↓ 选择 · Enter 打开 · Esc 关闭 · Ctrl / ⌘ K 搜索

工程图