速查 / 分布式基础已读稍后读SGLang Rank 与 Group：读懂 TP、DP Attention 和 EP 坐标同一个进程为什么有好几个 Rank 编号？用 TP16 / DP8 展开它在 Attention、请求分组和 MoE 中的不同位置。SGLangDeepSeek-V4Rank / GroupTP/DP/EP18 分钟阅读更新于 2026-10-24阅读全文 ↗
深入研究 / 源码解析已读稍后读DeepSeek-V4 DSpark 的并行限制与 Draft 布局Target 能使用 TP32 / DP16，为什么 MoE Draft 启动时被拒绝？追踪 DSpark 的配置检查、Token 布局和决策同步。SGLangDeepSeek-V4DSparkTP/DP/EP分布式并行14 分钟阅读更新于 2026-10-24阅读全文 ↗
深入研究 / 源码解析已读稍后读多卡投机解码：Draft、Verify 与 Accept 怎样保持一致一张卡接受两枚候选，另一张接受三枚，会发生什么？区分模型分片通信与投机决策同步，追踪分歧怎样传到下一轮。SGLangDeepSeek-V4多卡一致性TP/DP/EP投机解码16 分钟阅读更新于 2026-10-24阅读全文 ↗
入门 / 分布式基础已读稍后读模型怎样跨多卡运行：从显存容量到 TP、DP Attention 与 EP每个 Token 只激活部分专家，为什么仍需要放下整套权重？先算设备内存，再区分 TP、DP 和 EP 各自拆分什么。DeepSeek-V4Ascend 910CTP/DP/EP分布式并行16 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 源码解析已读稍后读DeepSeek-V4 分布式 Forward：Attention 与 MoE 怎样交换布局同一批进程在 Attention 和 MoE 中怎样改变分工？用 TP32 / DP16 的 Target 布局追踪 Token 行的转换与恢复。SGLangDeepSeek-V4TP/DP/EP分布式并行11 分钟阅读更新于 2026-10-24阅读全文 ↗