EPLB 给出一份更均匀的布局以后,下一件事是把它安装好。最直接的想法是逐个比较物理槽位:内容不同,就从原位置搬到新位置。但“槽位变了”与“必须跨卡传权重”并不等价。目标卡上已经有这个专家时,很多工作可以在本卡完成。
再往前一步,新布局有时只规定每张卡应该持有哪些专家,并没有要求它们必须占某个特定的槽位。同样的成员分配,换一种槽位排列,就能保留更多原地权重。
这篇把三个层次拆开:原槽位保留、本卡重排、跨卡引入。随后对照 SGLang 2914be60 已有 updater,说明它已经复用了哪些数据,以及进一步稳定槽位时需要保证什么。文中的布局和数据量来自配套教学脚本,可以逐项复算。
一、六个槽位都变了,网络也可以一字节不传
先设两张卡各放三个专家:
旧布局:rank 0 [A,B,C] rank 1 [D,E,F]
新布局:rank 0 [C,A,B] rank 1 [F,D,E]
六个槽位逐个比较,全部不同。可是 rank 0 所需的 A、B、C 全在本卡,rank 1 所需的 D、E、F 也都在本卡。这里需要处理的是本地换位,不需要从另一张卡取专家。
如果目标约束只要求这两个专家集合,没有额外固定槽位含义,那么旧布局已经满足要求。保留 [A,B,C] 与 [D,E,F],更新相应位置元数据即可表达同一份成员分配,连本地换位也可以免掉。
不过,若 planner 已生成一份精确到槽位的布局,迁移器就必须按这份布局执行,不能单方面宣称“集合一样就不搬”。后续 Router 位置表、物理到逻辑映射和其他缓存表都依赖它。想稳定槽位,应在最终布局提交前统一调整,并重新生成所有相关映射。
因此,是否搬运要先明确目标是哪一层:设备上拥有同样的专家、占据同样的槽位,还是整张物理映射完全一致。这几个要求会产生不同的工作量。
二、真正需要远端数据的是哪些目标卡
把新布局换成:
旧布局:rank 0 [A,B,C] rank 1 [D,E,F]
新布局:rank 0 [D,B,C] rank 1 [A,E,F]
rank 0 缺 D,rank 1 缺 A。B、C、E、F 可以原地保留;A 与 D 各需要被另一张卡引入一次。若一个完整专家数据块为 40 MiB,这一层的发送载荷合计为 80 MiB。接收端也会记录 80 MiB,但那是同一批传输的另一端,统计网络载荷时不能再加一次变成 160 MiB。
副本还会进一步减少通信。假设某张目标卡最终需要两个 A,只要原来本卡已有一份 A,就可以由这一份生成本地所需的多个副本,不必分别从远端取。若本卡原来没有 A,也可以先接收一份,再在本地复用。
可以把目标位置逐个勾掉:旧槽位就有正确专家的,直接保留;本卡其他位置有的,安排本地复制;本卡完全没有的,才去远端找来源。同一个 A 在目标卡需要两份时,远端只要提供一份完整 A,剩下的由本地复制完成。网络引入次数和目标槽位变化数,正是在这里分开了。
所以一个有用的基础计数是“目标 rank 新增了几个原来完全没有的逻辑专家”。它比 changed slots 更接近最低必要的引入次数。真实时间还取决于哪些源 rank 发送、是否跨节点、各 rank 发送字节是否均衡,以及主权重与辅助参数分成多少个操作。
这也解释了为什么只报告“变化了 10000 个槽位”还不够。它可能包含本地交换、同卡副本扩展与远端新引入,三者对应的设备工作完全不同。
三、现有 updater 已经按这些层次寻找来源
固定源码的接收计划先看原槽位是否已经是目标专家;相同则直接返回。
如果原槽位不同,它继续在本 rank 的旧布局中找同一逻辑专家。有就复制到临时缓冲,安排之后写入目标位置。这条分支在代码注释中称为 same-gpu,表达的是本地设备,NPU 路径也复用这套计划。
再下一层,当前新布局前面的位置若已经安排了同一专家,后续副本可以跟随它复用,代码称为 free-rider。之后才选择同节点来源或跨节点来源,生成对应 P2P 接收。
来源选择还会对目标 rank 去重:旧布局已经在某张目标卡上拥有该专家时,就无需为它新增远端引入。对应的通信关系计算把同节点与跨节点来源分别组织起来。
现有 updater 已经具备“先本地找、同一卡只收一份”的复用。分析性能时,可以先数这几条分支各处理了多少目标:原地保留多少、本地来源多少、跟随已有接收的副本多少,最后才是新生成的远端接收。新增优化应对着剩余工作展开。
四、少复制之前,先守住源数据
最简单的本地交换 [A,B] → [B,A] 就有覆盖风险。如果先把 B 写进槽位 0,随后从旧槽位 0 读 A,读到的已经是 B。最后可能得到 [B,B],shape 和 dtype 都合法,通信也不会报错。
正确流程需要让还会被使用的旧源保持有效。现有 updater 先准备目标数据与发送,再完成通信,最后执行缓冲到模型权重的复制。它把源保护和最终写入放在同一更新协议中,本地优化必须保留这种关系。
这意味着不能简单把所有 .copy_() 删掉,声称原位 view 已经零复制。物理字节 view 省掉的是 NZ→ND 数值转换及独立的整层回写路径;覆盖前的源暂存、远端接收和必要目标写入仍然存在。
还要考虑只发送、不接收的 rank。某张卡自己的布局没变,别的卡却可能需要它手上的专家。按“本地槽位没变”直接跳过整层,会漏掉合法发送。当前 NPU 后端的参与层选择同时检查本地变化与发送职责。
用三 rank 可以看清发送职责:旧布局为 [A,B] / [C,D] / [E,E],新布局为 [A,B] / [A,D] / [C,E]。rank 0 的两个位置完全没变,但新 rank 1 需要 A,而旧 A 只在 rank 0。因此 rank 0 必须参与发送。它没有本地重排,不等于没有迁移工作。
反过来,某个 rank 的所有目标变化都能由本地旧源满足,仍要确认它是否为别的 rank 提供来源。对参与者的筛选,必须同时看本地接收/写入与全局发送关系。这个判断最好从同一份旧、新映射导出,避免各 rank 用不同的简化规则决定是否进入通信。
五、稳定槽位,应该在哪个阶段做
如果想在成员分配不变的前提下减少本地换位,一个容易验证的策略是:先保留旧槽位中仍被目标集合需要的专家,再把剩余目标填进空位。重复专家按数量匹配,不能把集合去重后丢掉副本预算。
例如旧卡内 [A,B,C]、目标成员列表 [C,A,B],三个旧位置都能保留;目标成员列表若为 [A,A,D],只能保留旧 A,剩余位置放新增的 A、D。第二个 A 由本地源生成,D 才需要远端来源。
这类调整的输出仍是一份精确物理布局,所有 rank 必须看到同一个结果,并据此生成路由表和迁移计划。它应与 planner 的容量、层级约束和副本关系一致。某些策略可能对位置或 rank 分布还有额外要求,不能只优化本卡复制数。
是否值得落地,要看减少了什么。如果只免掉少量本地槽位复制,P2P 与统计仍占主导,收益可能不大;若保留槽位能让整层映射完全不变,就可以连这层迁移准备一起跳过,价值更高。反过来,为保留旧位置牺牲明显的负载均衡,也可能得不偿失。
稳定槽位在这里是一项待评估的规划策略。比较时固定目标成员和容量,再分别生成普通排列与保留旧位置的排列,数清两者的本地写入差异。随后把两份精确映射交给原迁移器执行,检查权重、路由表和源保护是否一致。这样才能判断少搬的工作是否值得新增一层规划。
稳定槽位还存在一个简单的匹配下限:对本 rank 的每种逻辑专家,最多能原地保留“旧槽位中该专家数量”与“新需求数量”的较小值。但具体能保留哪些位置,要结合精确目标约束。多副本必须按数量处理,不能使用普通 set 后把 [A,A,B] 错当成 [A,B]。
如果新布局已经是精确槽位表,直接比较每个位置就能确认原地保留数;若允许在同一 rank 内重排目标表,则可以先匹配所有仍需要的旧位置。两种结果应分开记录,不能把放宽了目标约束带来的减少,伪装成同一迁移计划的执行优化。
六、评估这种优化,先数工作,再测时间
下一轮记录可以从每层的一张小账单开始:多少槽位原地保留,多少目标需要本地复制,多少专家需要从远端首次引入,各 rank 分别收发多少字节。再把这些工作量对到 update 的时间线上:准备和提交看 CPU,实际传输看设备通信,落到原权重的过程看目标写入。
比较时固定同一份旧布局、新需求和实际专家字节大小。只看两次在线运行的 update 时间,热点和布局本身也在变,难以说明收益来自哪里。可以先离线复算迁移计划,再用完全相同的计划做设备对照。
如果只减少操作数量却没有减少字节,重点看提交和小操作开销;如果跨节点字节下降,重点看最忙链路及慢 rank;如果网络载荷不变、仅本地复制减少,应该在本地拷贝区间寻找变化。不要把“少变了多少槽位”直接换算成“少花了多少毫秒”。
最终还要回到正常 forward 与服务延迟。本地布局稳定可能减少更新停顿,但并不会自动让更新后的专家计算更快。它优化的是安装布局的成本,与布局本身分担负载的收益需要分别报告。
配套算例实际比较原地保留、本卡排列和跨卡交换,并用缓存源数据完成循环换位;结果 JSON保留了计数与字节账。后续可接着看一次更新到底搬多少数据。