分布式推理 · AkiYang

速查 / 分布式基础

同一个进程为什么有好几个 Rank 编号？用 TP16 / DP8 展开它在 Attention、请求分组和 MoE 中的不同位置。

18 分钟阅读更新于 2026-10-24阅读全文

速查 / 分布式基础

该求和、拼接，还是把 Token 送给另一位专家？先看四类通信的小张量例子，再对照 SGLang 的 Attention 与 MoE。

16 分钟阅读更新于 2026-10-24阅读全文

深入研究 / 分布式工程

从逻辑专家与物理槽位出发，沿真实Ascend适配解释W8A8/NZ权重暂存、HCCL通信等待、逐层映射提交和Graph地址约束，结合功能验证与正负性能结果分析动态EPLB的成本。

14 分钟阅读更新于 2026-10-24阅读全文

深入研究 / 源码解析

Target 能使用 TP32 / DP16，为什么 MoE Draft 启动时被拒绝？追踪 DSpark 的配置检查、Token 布局和决策同步。

14 分钟阅读更新于 2026-10-24阅读全文

深入研究 / 源码解析

一张卡接受两枚候选，另一张接受三枚，会发生什么？区分模型分片通信与投机决策同步，追踪分歧怎样传到下一轮。

16 分钟阅读更新于 2026-10-24阅读全文

入门 / 分布式基础

每个 Token 只激活部分专家，为什么仍需要放下整套权重？先算设备内存，再区分 TP、DP 和 EP 各自拆分什么。

16 分钟阅读更新于 2026-10-24阅读全文

进阶 / 源码解析

同一批进程在 Attention 和 MoE 中怎样改变分工？用 TP32 / DP16 的 Target 布局追踪 Token 行的转换与恢复。

11 分钟阅读更新于 2026-10-24阅读全文

进阶 / 源码解析

P 端已经采样出首 Token，为什么它还没有自己的 KV？从这个交接点看 Decode 接管需要哪些缓存、资源和确认。

22 分钟阅读更新于 2026-10-24阅读全文

分布式推理08