AkiYang推理工程手记

一次更新到底搬了多少数据?从专家字节账到 P2P 时间下限

版本与源码依据
首次提交 最近更新 文章修改记录 ↗
系列阅读 · EPLB:统计、迁移与服务收益展开篇目
本页目录

看到一次 EPLB update 花了几百毫秒,第一反应常常是问带宽够不够。但如果还不知道这一轮到底传了多少字节,就很难判断:它接近链路上限,还是时间花在提交、等待或本地复制上。

这份字节账至少包含三层:一位专家实际存多少字节;旧、新布局要求哪些目标设备引入数据;这些传输怎样落到源 rank、目标 rank 和共享链路上。只用“变化槽位数乘逻辑参数量”往往把几种工作混到了一起。

下面用明确的教学维度算一遍,再对应 SGLang 2914be60 的物理字节视图与迁移计划。文中的专家维度和带宽均为教学设定;真实设备分析时,替换为当前权重字节数和对应链路的有效带宽。

一、一位专家,先把主权重和辅助参数列齐

一个常见 gated MLP 专家包含 gate、up、down 三个矩阵。设 hidden 为 H、intermediate 为 I,主权重逻辑元素总量是 3 × H × I。如果 gate/up 融成 w13,张量数量可能从三个变成两个,但主矩阵元素总数没有因此减少。

先设 H=4096、I=2048,每个主权重元素按 1 字节计算:

3 × 4096 × 2048 = 25165824 字节 = 24 MiB

再假设该量化实现每个输出通道存一个 FP32 scale,gate/up 共 2I 个,down 有 H 个,辅助数据为 (2I+H) × 4 = 32768 字节,即 32 KiB。一位专家合计为 24 MiB 加 32 KiB。

这是一份特意写明量化规则的教学账。真实模型可能采用 block scale、zero point、bias、打包参数或其他元数据;不能看到 W8A8 就假定全部都是按输出通道 FP32 scale。应从模型实际导出的迁移张量清单开始求和。

读清单时,可以把同一专家的条目放在一起:w13 主矩阵、w2 主矩阵,再加上各自使用的 scale 等辅助张量。每项分别按实际存储计算字节,最后求和。这样既不会因为 gate/up 合成了 w13 而漏算一半,也不会只盯着大矩阵,把数值计算必需的辅助数据落下。

权重分片也会改变本 rank 的尺寸。若专家矩阵还被 MoE TP 拆分,应该用当前 rank 真正迁移的本地分片,而不是把完整模型专家量重复算到每个 rank。拓扑与单位先确认,公式才有意义。

二、逻辑元素数,还不是最终通信字节数

NZ 存储可能包含 padding;量化打包张量也可能以另一种 dtype view 导出。numel × element_size 描述的是这份逻辑视图的字节数,它未必等于需要保留的完整物理专家块。

当前 NPU adapter 读取实际存储元数据和容量,构造 [路由专家数, 每专家物理字节数] 的 uint8 视图。其布局校验与别名构造保留物理 padding 与 packed 值,避免通过数值格式转换重新表达权重。

因此,诊断字节量时最直接的对象,是实际交给通信操作的张量:其元素数乘元素字节数。uint8 行本身的长度已经以字节计量,不能再按原权重 dtype 乘一次。反过来,从底层 descriptor 得到的元素数,需要使用 descriptor 对应的元素大小,不能与导出 view 的 dtype 混用。

共享专家后缀也要区分。分配可能有 81 行,参与路由迁移的是前 80 行,整块 allocation 大小不能直接当成每次发送量。完整存储元数据用于确认专家块边界,通信只覆盖实际需要迁移的那些行。

这些区别在普通连续 ND、小规模专家里不太显眼,遇到转置 NZ、packed INT4 与 padding 后,就会变成实质的数据量误差。物理存储路径详细解释了为什么要保留这份表示。

dtype view 的字节守恒可以直接复算:[6,17,64] int8 每位专家为 17×64×1=1088 字节;同一分配改看成 [6,17,16] int32,仍是 17×16×4=1088 字节。若只比较元素数或只比较 element_size,两边都会看起来不同,完整字节跨度却完全一致。

NZ 则不能直接用这个 ND 例子跳过格式约束。其逻辑轴和底层分块还有 padding 关系,应该按已经验证的完整专家物理块求容量。支持一种格式,不表示任意切片、步进 view 或跨专家别名都能作为独立搬运单位。

三、从布局算传输量,先去掉原地和本地复用

假设某一层的目标卡需要两个 A、一个 B。旧布局已经在本卡保存 A,那么两份目标 A 都能通过本地源安排;只为本卡原本没有的 B 引入远端数据。若 A 原来不在本卡,同样可以先接收一份 A,再满足本地多副本需求。

所以传输对象更接近“目标 rank 新增的逻辑专家”,而不是每个 changed slot 都单独接收。固定 updater 的来源与目标关系会对 rank 去重,并优先利用已有位置。

若一层共有 8 个这样的远端新增专家,每个为前面算出的 24 MiB+32 KiB,发送载荷合计为 192.25 MiB。20 层都恰好如此,则为 3845 MiB,约 3.755 GiB。真实更新应逐层求和,不能因为模型有 43 个 MoE 层,就默认 43 层都发生同样迁移。

这份全局发送合计适合描述总工作量。接收端会看到对应的同一批字节,不能把全局发送与接收再相加后称作链路必须传两遍。若报告双向 I/O 计数,应明确自己采用的是两端计数口径。

同节点、跨节点还要分别统计。两者可能经过不同资源,同样多的字节也可能落在不同的瓶颈上。先保留源 rank、目标 rank、层和专家,再按需要汇总,比一开始只留一个全局总数更容易解释。

四、时间下限要看最忙的资源

如果 3.755 GiB 全部穿过一条有效带宽为 25 GiB/s 的共享通道,单看载荷传输,至少约需 150.2 ms。但“所有字节经过同一条通道”是这里的假设,不是多卡拓扑的通用事实。

再看另一个教学例子:四个源 rank 分别发送 [1.5,0.5,0.5,0.5] GiB,各有独立 20 GiB/s 的发送能力,暂不考虑其他瓶颈。总共 3 GiB,不应只拿总和除以四个 rank 的总带宽 80,得到 37.5 ms 就当可达下限。最忙源自己要发送 1.5 GiB,已经需要至少 75 ms。

原因是轻载源提前发完,不能把已经空闲的发送口借给最忙源。整轮迁移需要等所有必需数据到齐,最后那份 1.5 GiB 仍决定完成时间。若这些发送还共享同一条上行链路,就要继续检查共享链路的约束,不能只停在单卡发送能力。

目标接收口和共享链路也有类似约束。一个有用的下限表达是:

传输时间 ≥ max(
    各源发送字节 / 对应有效发送带宽,
    各目标接收字节 / 对应有效接收带宽,
    各共享瓶颈资源经过的字节 / 对应有效带宽
)

实际还需要知道路由和资源共享关系。不能把同一物理链路的多个逻辑 peer 当作完全独立的带宽,也不能用设备标称总带宽代替本次消息模式下的有效值。下限用于发现明显算错的账,不保证每轮都能接近它。

五、为什么字节减少一半,update 不一定快一半

完整 update 包含统计、规划、Python 提交、通信启动、设备传输、本地源保护、目标写入和映射提交。只有其中受传输字节限制的部分,才可能随字节近似成比例变化。

例如一轮 500 ms 的教学更新,若只有 150 ms 受载荷带宽限制,其余 350 ms 保持不变,把传输量减半后约为 350+75=425 ms,总时间减少 15%。若还发生消息合并、源端分配改变或重叠变化,应重新看实际时间线,而不是继续套线性模型。

很多小张量也会让操作数变得重要。主矩阵、scale 等分别发送,每次调用都有提交和后端管理成本。总字节不大但操作很多,时间可能主要花在小消息与调度上。此时“字节 / 时间”的结果是整段有效载荷速率,不等于物理链路吞吐。

另一类情况是等待。源 rank 尚未准备好、某个 peer 通信顺序不匹配、最后的依赖阻挡写回,都能把通信区间拉长。按总字节除以区间得到低速率,只说明端到端交付慢,根因还需要 trace 中的准备、提交与设备执行证据。

统计优化还需要注意复制范围。为了保护旧源而做的一次本地 snapshot,写入字节可能大于最终网络发送字节;接收缓冲也可能按整个本地专家区分配,但只填了其中几行。分配容量、实际本地读写量和网络有效载荷,是三份不同的账。

HCCL 缓冲则另列一项。配置容量描述通信器可使用的缓冲资源,本轮消息大小取决于实际发送张量,预热 payload 又只是一次测试消息。分析显存时看通信器激活前后的分配,分析流量时看本轮实际发送的专家行,再用时间线把两者关联起来。

六、为下一次 profiling 留一份能对上的账

我会把这轮旧、新布局及每项权重的真实物理字节数保存下来,离线重算每层需要的引入关系,再按源和目标统计字节。与其先猜带宽,先确认这轮确实搬了哪些东西。

设备采集则覆盖更新前正常 forward、一次完整 update、更新后正常 forward。CPU 提交与设备通信分别看,逐 rank 对齐,不把各 rank 的并行时间相加。若要看额外阻塞,应继续追到下一次 forward 什么时候真正可以使用新权重。

报告里同时保留完整更新墙钟、各阶段时间、发送/接收字节口径、消息数、实际参与层数,以及最忙的源和链路。这些字段足以区分“减少转换”“减少数据量”“减少提交”“更好重叠”几种不同优化。

同一份迁移计划换成物理字节视图后,主要减少的是格式转换和独立回写,原来要从远端引入的专家仍要传输。调整槽位和副本位置则会改变另一份账:哪些数据原地保留、哪些本地复制、哪些跨卡引入。报告时把计划、字节和时间对应起来,就能判断收益来自少做转换、少传数据,还是更快完成了相同工作。

配套字节与带宽算例可由标准库脚本重算。返回 EPLB 专题。

返回阅读地图 →
读到这里

从一条请求,看见整个系统。

返回文章目录

本页目录

搜索文章与 Skills

↑ ↓ 选择 · Enter 打开 · Esc 关闭 · Ctrl / ⌘ K 搜索

工程图