深入研究 / 分布式工程已读稍后读静态 EPLB 之后:动态专家负载均衡怎样安全地迁移权重?从逻辑专家与物理槽位出发,沿真实Ascend适配解释W8A8/NZ权重暂存、HCCL通信等待、逐层映射提交和Graph地址约束,结合功能验证与正负性能结果分析动态EPLB的成本。SGLangAscend 910CEPLBMoEExpert Parallel14 分钟阅读更新于 2026-10-24阅读全文 ↗
深入研究 / 源码解析已读稍后读DeepSeek-V4 DSpark 的并行限制与 Draft 布局Target 能使用 TP32 / DP16,为什么 MoE Draft 启动时被拒绝?追踪 DSpark 的配置检查、Token 布局和决策同步。SGLangDeepSeek-V4DSparkTP/DP/EP分布式并行14 分钟阅读更新于 2026-10-24阅读全文 ↗
深入研究 / 源码解析已读稍后读多卡投机解码:Draft、Verify 与 Accept 怎样保持一致一张卡接受两枚候选,另一张接受三枚,会发生什么?区分模型分片通信与投机决策同步,追踪分歧怎样传到下一轮。SGLangDeepSeek-V4多卡一致性TP/DP/EP投机解码16 分钟阅读更新于 2026-10-24阅读全文 ↗
深入研究 / 性能分析已读稍后读DeepSeek-V4 W8A8 性能分析:小 M、NZ 布局与测量方法INT8 矩阵乘法省下的时间,能否覆盖动态量化等额外开销?结合小 M、专家批次和 NZ 布局分析该怎样测量。DeepSeek-V4Ascend 910CW8A8CANN TilingProfiling18 分钟阅读更新于 2026-10-24阅读全文 ↗
深入研究 / 性能分析已读稍后读Ascend 910C 投机解码:Graph、多流与通信的执行依赖开了 Graph 和多流,下一步为什么仍在等?沿 EAGLE/NextN 标出候选、缓存和通信依赖,再说明怎样与实测时间线对应。DeepSeek-V4Ascend 910CNPU GraphCommunication Overlap投机解码24 分钟阅读更新于 2026-10-24阅读全文 ↗
深入研究 / 性能分析已读稍后读在 Ascend 910C 上分析 DSpark:从阶段计时到 NPU 时间线DSpark 慢在哪一段,怎样从计时字段追到 NPU 时间线?说明阶段边界、通信等待和 Profiling 对照方法。DeepSeek-V4Ascend 910CProfilingDSpark投机解码23 分钟阅读更新于 2026-10-24阅读全文 ↗
深入研究 / PR 精读已读稍后读日志里的 TP16 为什么应是 TP8:SGLang PR #39871TP16 / DP2 的 Attention 实际宽度是 8,日志却打印 16。这个小补丁说明了原始配置值和运行时派生值为什么要分清。SGLangPR 精读DP AttentionRuntime DerivationObservability8 分钟阅读更新于 2026-10-17阅读全文 ↗
深入研究 / PR 精读已读稍后读小 Tensor 为什么保活大内存:SGLang PR #39120 的 View 缓存修复缓存里只有 0.8 MiB 的小 Tensor,为什么可能占住约 7.8 MiB?解释 View 如何引用整块存储,以及补丁为什么选择复制。SGLangPR 精读PyTorch ViewStorageMemory Accounting11 分钟阅读更新于 2026-10-17阅读全文 ↗
深入研究 / 源码解析已读稍后读SGLang 投机解码调度:请求进度、设备状态与跨轮交接开启重叠执行后,CPU 记录和设备进度可能暂时不同。看请求长度、KV 预留和结果发布怎样保证下一轮接得上。SGLangSchedulerScheduleBatch投机解码30 分钟阅读更新于 2026-10-24阅读全文 ↗
深入研究 / 源码解析已读稍后读EAGLE 候选树:从候选池到 Verify 与接受路径EAGLE 怎样把候选分支整理成一次 Verify 输入?跟着小树读索引和接受路径;DeepSeek-V4 固定版本仍限定 topk=1。SGLangDeepSeek-V4EAGLE投机解码KV Cache27 分钟阅读更新于 2026-10-24阅读全文 ↗
深入研究 / 源码解析已读稍后读EAGLE Tree Attention:候选布局、位置与可见性候选树排成 Tensor 后,一行怎样只读自己的祖先?用一棵小树解释位置和可见性;多分支部分属于通用 EAGLE 机制。SGLangDeepSeek-V4Tree Attention投机解码27 分钟阅读更新于 2026-10-24阅读全文 ↗
深入研究 / 源码解析已读稍后读投机解码 Accept:从 Verify 行到最终输出路径Verify 算出了候选位置的预测,哪些 Token 最终能输出?区分几种接受规则,并解释行索引与新 bonus 的错位关系。SGLangDeepSeek-V4Accept DecisionRejection Sampling投机解码17 分钟阅读更新于 2026-10-24阅读全文 ↗
深入研究 / 源码解析已读稍后读投机解码 KV 管理:接受路径怎样提交、整理与回收候选算过了,不代表都能留在历史里。看接受路径怎样映射到正式 KV,以及被拒绝候选的空间何时整理、复用或释放。SGLangDeepSeek-V4KV Cache投机解码25 分钟阅读更新于 2026-10-24阅读全文 ↗
深入研究 / 投机解码已读稍后读DSpark 自适应 Verify:怎样分配候选预算验证预算有限时,每条请求都分配相同长度合适吗?解释 DSpark 的候选预算分配,以及 Ascend 固定版本仍使用 static 的原因。DeepSeek-V4DSparkRagged VerifySTSSPSAscend 910C25 分钟阅读更新于 2026-10-24阅读全文 ↗