速查 / 分布式基础已读稍后读SGLang Collective：从张量分片到 Attention 与 MoE 通信该求和、拼接，还是把 Token 送给另一位专家？先看四类通信的小张量例子，再对照 SGLang 的 Attention 与 MoE。SGLangDeepSeek-V4CollectiveDeepEP分布式并行16 分钟阅读更新于 2026-10-24阅读全文 ↗
深入研究 / 源码解析已读稍后读DeepSeek-V4 DSpark 的并行限制与 Draft 布局Target 能使用 TP32 / DP16，为什么 MoE Draft 启动时被拒绝？追踪 DSpark 的配置检查、Token 布局和决策同步。SGLangDeepSeek-V4DSparkTP/DP/EP分布式并行14 分钟阅读更新于 2026-10-24阅读全文 ↗
入门 / 分布式基础已读稍后读模型怎样跨多卡运行：从显存容量到 TP、DP Attention 与 EP每个 Token 只激活部分专家，为什么仍需要放下整套权重？先算设备内存，再区分 TP、DP 和 EP 各自拆分什么。DeepSeek-V4Ascend 910CTP/DP/EP分布式并行16 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 源码解析已读稍后读DeepSeek-V4 分布式 Forward：Attention 与 MoE 怎样交换布局同一批进程在 Attention 和 MoE 中怎样改变分工？用 TP32 / DP16 的 Target 布局追踪 Token 行的转换与恢复。SGLangDeepSeek-V4TP/DP/EP分布式并行11 分钟阅读更新于 2026-10-24阅读全文 ↗