速查 / 分布式基础已读稍后读SGLang Rank 与 Group:读懂 TP、DP Attention 和 EP 坐标同一个进程为什么有好几个 Rank 编号?用 TP16 / DP8 展开它在 Attention、请求分组和 MoE 中的不同位置。SGLangDeepSeek-V4Rank / GroupTP/DP/EP18 分钟阅读更新于 2026-10-24阅读全文 ↗
速查 / 分布式基础已读稍后读SGLang Collective:从张量分片到 Attention 与 MoE 通信该求和、拼接,还是把 Token 送给另一位专家?先看四类通信的小张量例子,再对照 SGLang 的 Attention 与 MoE。SGLangDeepSeek-V4CollectiveDeepEP分布式并行16 分钟阅读更新于 2026-10-24阅读全文 ↗
速查 / 基础原理已读稍后读AI 推理基础设施名词表:从 Token 到 Ascend Kernel读源码时遇到陌生名词,可以按正在解决的问题查:输入表示、模型计算、缓存调度、多卡通信和 Ascend 执行。AI InfraSGLangDeepSeek-V4Ascend 910C33 分钟阅读更新于 2026-10-24阅读全文 ↗