PD 分离服务里,P、D 跑同一个模型,也都有相同数量的专家,很容易把动态 EPLB 配成同一套参数。可是 P 的一次 forward 可能处理一大段新输入,D 的一次执行则推进已有请求的生成;开启 DSpark 后,还会出现多候选验证。它们统计到的工作量、推进速度和热点持续时间都不同。
我们之前的实验使用 P 的 I50/W50、D 的 I4000/W1000,分别配合两端的执行节奏。理解这组配置,要先把参数对应到执行事件和实际经过的时间,再看新布局多久能收回迁移成本。
本文沿固定 SGLang 2914be60 解释普通 stat 记录与整轮更新,讨论固定 EP、PP=1。第三节用等间隔的教学时钟计算 I/W 的时间含义,实际服务则读取记录时间戳。
一、先弄清楚 I 与 W 的单位
I 对应 --eplb-rebalance-num-iterations,控制 manager 经过多少次推进后检查重平衡。固定源码的生成器入口按这个计数推进;它不监听“客户端已经完成多少请求”。
W 对应 --expert-distribution-recorder-buffer-size,是统计环形缓冲的记录容量。正常记录时,每次 accumulator append 占一格,写满后覆盖旧记录。W1000 表示最多保留这套记录语义下的一千个位置,不表示一千个请求,也不表示一千个输出 token。
两者还受到生命周期影响。target forward、draft forward、IDLE、图捕获和实际入窗,不是天然一一对应。历史版本的 draft 零记录问题会占掉窗口位置,却没有因此让 target manager 的检查计数自动加倍。现在读配置时,也应把记录角色和 manager 的实际回调一起核对。
在这份源码中,manager 初始化要求 I 不小于 W;未显式设置 W 时,参数解析会用 I 填入它。因此,想测 I4000/W1000,两个值都应该写出来。只改 I,很可能同时改了历史窗口。
二、P 的一次记录,与 D 的一次记录覆盖不同工作
对 P 端,一条长请求可能拆成多次 chunked Prefill。一次模型执行处理多少有效 token,受请求长度、chunk 大小、合批和 attention DP 分摊影响。客户端只进来一条请求,manager 也可能经历多次执行;反过来,一次 batch 也可能处理多条请求的输入。
对普通 D 端,一个活跃请求通常在每次解码推进中产生很少的新位置,但要读取已有上下文。一个长输出请求会经历许多次执行。相同的客户端请求数,在 D 端可以形成远多于 P 的推进次数。
所以 P 的 I50 与 D 的 I4000,不应该直接解读成“D 比 P 慢 80 倍才更新”。两边一次推进消耗的时间和推进的 token 都不同。要比较更新节奏,需要分别记录两端相邻检查点的墙钟时间。
W 也有同样的问题。P 的 50 条记录,可能已经覆盖大量输入 token;D 的 1000 条记录,则可能是同一批长输出请求的很长一段生成过程。两边的记录数接近,并不表示看到了接近的路由样本量或业务时间范围。
还有一个容易忽略的变化:把 P 的 chunk 调大后,一次记录更重,manager 在同样墙钟时间内可能推进得更少。此时 I 没变,实际更新频率已经改变。调 Prefill 的合批参数以后,应该重新看一次 EPLB 的时间尺度,而不是照搬旧结论。
三、把步数翻译成时间,差别就具体了
先用一个均匀步进的教学设定:P 相邻记录平均相隔 80 ms,D 相邻记录平均相隔 35 ms,且记录与相关 manager 推进在本例中一一对应。忽略启动相位、空闲与更新本身,得到:
表格可左右滑动 →
| 设置 | 约多久检查一次 | 窗口约覆盖多长时间 |
|---|---|---|
| P:I50/W50 | 4 s | 4 s |
| D:I1000/W1000 | 35 s | 35 s |
| D:I4000/W1000 | 140 s | 35 s |
| D:I4000/W4000 | 140 s | 140 s |
I4000/W1000 的含义是较少检查,但检查时看较近的一段历史。它并没有关闭前面 3000 次的记录;旧记录仍会写入,只是随后被覆盖。
仍按表里的简化条件,每次推进恰好写一条记录:写到第 1000 条时,窗口第一次填满;第 1001 条覆盖第 1 条;等第 4000 条写完,窗口保留的就是第 3001~4000 条。此时 manager 用这些近期记录检查布局。因此,I 决定何时来检查,W 决定检查时还能读到多远以前的数据。
表中采用等间隔时钟,便于把两个参数分开计算。真实服务的 batch、上下文和忙闲状态会变,所以实测时给记录和更新点保存单调时钟时间。窗口最早、最晚有效记录之间的距离,就是它实际覆盖的历史;新布局提交时刻则标出这些历史何时开始影响后续执行。
相同 I、W 还可能随负载产生不同效果。高并发时一步变慢,窗口看得更久;服务变快后,窗口看得更短。把时间戳一起保存,才能知道参数是在跟踪近期热点,还是在汇总一段早已过去的业务。
四、DSpark 改变 token 进度,不能只改一个换算倍数
DSpark 一轮 target verify 可以验证多个候选,并接受其中一段。gamma5、verify width6,并不保证每轮稳定输出 6 个 token。接受长度会随业务、模型状态和请求结束位置变化,draft 本身也有成本。
因此,D 的 I4000 不能直接写成“每生成 24000 token 更新”。即使某个复制负载的平均 AL 接近 6,别的任务也未必如此;同一轮里还可能有多个请求。manager 的推进单位应该按实际调用路径确认,token 进度则从服务返回的原生计数读取。
这里至少需要同时保留 AL、实际接受 draft 数、提议 draft 数、verify 次数和请求数。严格接受率要用正确的 accepted/proposed 分母,bonus token 不计入 draft 接受率。只有平均 AL,没有原始计数,很难判断更新频率改变以后,测试是否仍在处理相近的生成工作。
DSpark 还会改变热点形态。一次 verify 输入多个候选位置,专家层看到的 token 行与普通逐 token Decode 不同;接受与丢弃又影响后续前缀。用不开投机的统计参数直接套到 DSpark 上,可能得到不同的历史范围和路由分布。
选参数时,可以先做两项记录:一项是每次 target 执行何时推进 manager,另一项是每条有效统计何时进入窗口。把它们放在同一条时间线上,就能读出 DSpark 开启后实际多久检查一次、用了多旧的负载。参数调整也就有了对应的执行事件。
低流量时,按步数触发还会出现长墙钟间隔。服务停留在空闲或等待交接阶段,几千次有效推进可能很久才到;高流量时则相反。配置数字相同,不代表不同并发下使用了同样频率的动态调节。这也是正式报告需要直接写“发生几次更新”的原因。
另外,W 是容量,不表示从启动第一刻就拥有 W 条真实历史。初始化、reset 和窗口填充都影响检查点能读到什么。某些实现返回整块带零的缓冲,需要结合有效记录数解释;不要把尚未填满的窗口与已经稳定循环的窗口当作同一种统计条件。
五、先确认布局有收益,再决定多久付一次更新成本
选 I 的前提,是更新后的布局在相同执行条件下有用。若更新前已经很均匀,或者主要耗时在 Attention,减少更新频率只能降低额外成本,不能制造本来不存在的布局收益。
一个有用的小对照是:固定输入、batch、上下文和 KV,测正常 forward;执行一次更新;再测相同状态的正常 forward;恢复旧布局复查。这样得到的正常执行差值,才适合与一次更新成本比较。
假设一轮更新额外花 600 ms,此后每次 forward 节省 0.2 ms,那么至少需要约 3000 次有相近收益的执行,才能抵回这一次成本。若热点只再维持 500 次,刚刚开始受益就要换另一套布局。这里的数字是教学设定,实际还要考虑统计、规划、同步与副本分流的成本。
P、D 需要分别算这笔回本账。P 一次执行可能处理较多输入 token,单次布局改善有机会节省较多时间;D 执行次数多,但每次节省可能很小。把各端实测的单次差值乘以布局有效期间的执行次数,再扣除该端更新成本,才知道检查节奏是否划算。
W 则要平衡样本量与新鲜度。太短的历史容易受瞬时请求组成影响,太长又混入过期热点。判断依据应是不同窗口产生的逻辑负载、布局和后续真实运行,而不是只看哪一个均衡度分数最高。旧热点与统计延迟详细解释了这条时间链。
六、一套省实验时间的选择顺序
第一步保留相同初始布局、冗余数、实际 KV、模型、缓存和投机设置,分别看 P、D 的负载与检查时间。先确认有热点、能触发更新、窗口由预期角色推进。参数写入命令不等于迁移已经执行,要数实际布局变化与完成日志。
第二步固定 W,只选少量 I 候选。对 D 可以围绕已有 I4000/W1000,比较更短或更长的检查节奏;对 P 则围绕它自己的记录时间选值。每组至少覆盖一次真实更新,并记录相邻检查点的时间;候选的保留依据是更新成本和后续正常执行的总变化。
第三步在有希望的 I 下比较 W。记录每次更新前后的逻辑专家分布、设备负载和正常 forward。看新布局有没有改善当前工作,改善能持续多久,以及是否在相近的两份布局之间来回切换。需要跳过更新时,再检查当前均衡度报告与阈值路径是否符合预期。
在候选很多时,先把实验缩成一个有顺序的比较:保留当前 W,比较两个 I;若它们的正常布局收益相近,较长 I 能否减少更新干扰;若布局已经过期,再优先检查 W 与热点持续时间。不要一次同时修改 I、W、冗余、chunk 和并发,然后给每个参数分别写收益。
若负载并不稳定,可把同一条请求序列重复回放,分别保存每次实际布局与统计。但重复请求是否触发缓存、DSpark 接受率是否改变,都要保留在结果中。调参需要重复性,也需要确认重复本身没有换掉工作量。
最后做整服务持续负载对照。完整保留输出吞吐、TTFT、TPOT、E2E、尾延迟、失败和接受计数,同时报告 P、D 的更新数与耗时。P 的吞吐改善可能让 D 实际 batch 变大,因而吞吐与 TPOT 朝不同方向变化,这也需要在同一组数据里解释。
如果只能保留很少的实验,我会优先做“是否有布局收益”和“收益能否覆盖更新成本”这两个判断。先把两端各自的执行节奏读清,再调 I、W,配置更容易收敛,也能向评审说清每个数的来历。