SGLang · AkiYang

速查 / 分布式基础

SGLang Rank 与 Group：读懂 TP、DP Attention 和 EP 坐标

同一个进程为什么有好几个 Rank 编号？用 TP16 / DP8 展开它在 Attention、请求分组和 MoE 中的不同位置。

18 分钟阅读更新于 2026-10-24阅读全文

速查 / 分布式基础

SGLang Collective：从张量分片到 Attention 与 MoE 通信

该求和、拼接，还是把 Token 送给另一位专家？先看四类通信的小张量例子，再对照 SGLang 的 Attention 与 MoE。

16 分钟阅读更新于 2026-10-24阅读全文

深入研究 / 分布式工程

静态 EPLB 之后：动态专家负载均衡怎样安全地迁移权重？

从逻辑专家与物理槽位出发，沿真实Ascend适配解释W8A8/NZ权重暂存、HCCL通信等待、逐层映射提交和Graph地址约束，结合功能验证与正负性能结果分析动态EPLB的成本。

14 分钟阅读更新于 2026-10-24阅读全文

深入研究 / 源码解析

DeepSeek-V4 DSpark 的并行限制与 Draft 布局

Target 能使用 TP32 / DP16，为什么 MoE Draft 启动时被拒绝？追踪 DSpark 的配置检查、Token 布局和决策同步。

14 分钟阅读更新于 2026-10-24阅读全文

深入研究 / 源码解析

多卡投机解码：Draft、Verify 与 Accept 怎样保持一致

一张卡接受两枚候选，另一张接受三枚，会发生什么？区分模型分片通信与投机决策同步，追踪分歧怎样传到下一轮。

16 分钟阅读更新于 2026-10-24阅读全文

速查 / 基础原理

AI 推理基础设施名词表：从 Token 到 Ascend Kernel

读源码时遇到陌生名词，可以按正在解决的问题查：输入表示、模型计算、缓存调度、多卡通信和 Ascend 执行。

33 分钟阅读更新于 2026-10-24阅读全文

入门 / 基础原理

Prefill 与 Decode 为什么性能不同：从计算形状到执行开销

同一份权重，为什么处理长输入和逐枚生成的性能不同？从矩阵形状讲到权重复用、专家 Token 数和每轮固定开销。

21 分钟阅读更新于 2026-10-25阅读全文

入门 / 基础原理

从一次 Decode 读懂 SGLang：Tensor、缓存与下一枚 Token

刚生成的 Token，下一轮怎样变成模型输入？用三条请求的小批次串起长度、KV 写入、Attention、MoE 和采样。

23 分钟阅读更新于 2026-10-24阅读全文

入门 / 压测实践

用 AISBench 压测 SGLang：从第一条请求到一份可信报告

从一条请求接通SGLang，到独立配置、JSONL、N/C/r和原生稳态后处理。附小样例，讲清retry的版本语义、实际token长度和原始结果怎样保留。

12 分钟阅读更新于 2026-10-24阅读全文

入门 / 压测实践

AISBench 的 whole、native、TPOT 和 ITL，到底在量什么？

TPOT 10.4ms、ITL 58.6ms为何同时成立？沿固定AISBench源码解释请求时间线、事件加权、whole/native选样边界、并发封顶与两种输出token/s。

12 分钟阅读更新于 2026-10-24阅读全文

进阶 / 压测实践

SGLang 流式压测：怎样保留接受率和缓存计数，又不改坏计时

8条请求已带投机开关，SSE却没有sglext。从字段产生、父类解析和writer落盘走到原计时规则，解释metadata-only事件、接受率分母与whole/native窗口。

11 分钟阅读更新于 2026-10-24阅读全文

进阶 / 性能调优

一次Ascend 910C推理调优复盘：真正有效的优化、失败假设与实验成本

哪些改动带来了吞吐，哪些只增加了实验成本？放在一起看 P 端合批、IndexCache、静态布局和 Compact 的真实对照。

17 分钟阅读更新于 2026-10-24阅读全文

进阶 / 性能调优

Ascend 910C推理调优负例分析：为什么合理的优化没有带来吞吐收益

TPOT 降了，吞吐却没涨；分块少了，执行反而慢了。沿几项负例，判断原假设漏了什么、何时值得重试。

14 分钟阅读更新于 2026-10-24阅读全文

进阶 / 性能调优

Ascend 910C上的P端场景静态EPLB：从路由计数、专家布局到实测收益

专家布局怎样从路由计数拟合出来？沿一次 P 端静态方案解释放置与分发，并说明 14.18% 的组合收益该怎样归因。

14 分钟阅读更新于 2026-10-24阅读全文

进阶 / 调优实践

Ascend 950DT 单机 PD 调优：128K/1K、90% Cache 场景下的配置与实测

一次 Ascend 950DT 单机长输入调优记录：解释两端配置、缓存与并发如何一起影响结果，避免把总收益归给一个开关。

14 分钟阅读更新于 2026-10-17阅读全文

进阶 / 调优实践

从缓存校准到并发取舍：DeepSeek-V4-Pro 在 Ascend 910C 上的一次 32k/1k 调优记录

先把缓存命中率校准，再比较并发。记录一次 32K/1K 调优中，吞吐、TPOT 与首 Token 等待之间的取舍。

18 分钟阅读更新于 2026-10-17阅读全文

深入研究 / PR 精读

日志里的 TP16 为什么应是 TP8：SGLang PR #39871

TP16 / DP2 的 Attention 实际宽度是 8，日志却打印 16。这个小补丁说明了原始配置值和运行时派生值为什么要分清。

8 分钟阅读更新于 2026-10-17阅读全文

深入研究 / PR 精读

小 Tensor 为什么保活大内存：SGLang PR #39120 的 View 缓存修复

缓存里只有 0.8 MiB 的小 Tensor，为什么可能占住约 7.8 MiB？解释 View 如何引用整块存储，以及补丁为什么选择复制。

11 分钟阅读更新于 2026-10-17阅读全文

入门 / 源码解析

SGLang 请求生命周期：从 Chat Completion 到 Ascend NPU

一句聊天消息怎样变成 NPU 上的一轮计算？跟随一条请求，串起分词、排队、缓存、组批和持续生成。

28 分钟阅读更新于 2026-10-25阅读全文

进阶 / 源码解析

SGLang Scheduler：请求怎样组批、执行和持续生成

请求会持续很多轮，设备每轮只执行一个批次。看 Scheduler 怎样在前缀缓存、Token 预算和 KV 空间之间安排工作。

17 分钟阅读更新于 2026-10-24阅读全文

进阶 / 源码解析

DeepSeek-V4 分布式 Forward：Attention 与 MoE 怎样交换布局

同一批进程在 Attention 和 MoE 中怎样改变分工？用 TP32 / DP16 的 Target 布局追踪 Token 行的转换与恢复。

11 分钟阅读更新于 2026-10-24阅读全文

进阶 / 源码解析

SGLang ModelRunner：九个输入 Token 怎样产生两行 Logits

两条请求共有九个输入 Token，为什么最后只需两行 Logits？用这个例子读懂 ModelRunner 的输入、前向和采样交接。

11 分钟阅读更新于 2026-10-24阅读全文

进阶 / 源码解析

DeepSeek-V4 Attention：Query、缓存写入与历史寻址

多条请求打包进同一个 Tensor 后，Attention 怎样找到各自的历史？沿 Query、缓存写入和页表追踪一次 Decode。

11 分钟阅读更新于 2026-10-24阅读全文

进阶 / 源码解析

DeepSeek-V4 MoE：Token 从路由到专家计算，再回到原位置

一个 Token 会被送到哪些专家，算完又怎样回到原位置？用四个 Rank、八个专家的例子解释路由、分发和合并。

11 分钟阅读更新于 2026-10-24阅读全文

进阶 / 源码解析

DeepSeek-V4 PD 分离：首 Token、KV 状态与 Decode 接管

P 端已经采样出首 Token，为什么它还没有自己的 KV？从这个交接点看 Decode 接管需要哪些缓存、资源和确认。

22 分钟阅读更新于 2026-10-24阅读全文

进阶 / 工程排查

GSM8K 精度排查：从 200 题失败到全量与逐题对照

200 题得分未过线，扩大到 1314 题后却通过了。沿配置对照和逐题结果，分开检查评测覆盖与输出稳定性。

12 分钟阅读更新于 2026-10-24阅读全文

进阶 / 源码解析

DeepSeek-V4 DSpark：一轮 Draft、Verify、Accept 与 Commit

Draft 猜 A/B/C，Target 接受 A/B 后生成 X，下一轮从哪里继续？沿一个例子走完 DSpark 的提议、验证、接受和提交。

18 分钟阅读更新于 2026-10-24阅读全文

深入研究 / 源码解析

SGLang 投机解码调度：请求进度、设备状态与跨轮交接

开启重叠执行后，CPU 记录和设备进度可能暂时不同。看请求长度、KV 预留和结果发布怎样保证下一轮接得上。

30 分钟阅读更新于 2026-10-24阅读全文

进阶 / 源码解析

DeepSeek-V4 MTP：NextN 怎样逐步生成候选

三枚 Draft 候选需要几次 NextN Forward？算清第一枚候选的来源、后续逐步预测和 Target 验证窗口的关系。

21 分钟阅读更新于 2026-10-24阅读全文

深入研究 / 源码解析

EAGLE 候选树：从候选池到 Verify 与接受路径

EAGLE 怎样把候选分支整理成一次 Verify 输入？跟着小树读索引和接受路径；DeepSeek-V4 固定版本仍限定 topk=1。

27 分钟阅读更新于 2026-10-24阅读全文

深入研究 / 源码解析

EAGLE Tree Attention：候选布局、位置与可见性

候选树排成 Tensor 后，一行怎样只读自己的祖先？用一棵小树解释位置和可见性；多分支部分属于通用 EAGLE 机制。

27 分钟阅读更新于 2026-10-24阅读全文

深入研究 / 源码解析

投机解码 Accept：从 Verify 行到最终输出路径

Verify 算出了候选位置的预测，哪些 Token 最终能输出？区分几种接受规则，并解释行索引与新 bonus 的错位关系。

17 分钟阅读更新于 2026-10-24阅读全文

深入研究 / 源码解析

投机解码 KV 管理：接受路径怎样提交、整理与回收

候选算过了，不代表都能留在历史里。看接受路径怎样映射到正式 KV，以及被拒绝候选的空间何时整理、复用或释放。

25 分钟阅读更新于 2026-10-24阅读全文

SGLang33

SGLang Rank 与 Group：读懂 TP、DP Attention 和 EP 坐标

SGLang Collective：从张量分片到 Attention 与 MoE 通信

静态 EPLB 之后：动态专家负载均衡怎样安全地迁移权重？

DeepSeek-V4 DSpark 的并行限制与 Draft 布局

多卡投机解码：Draft、Verify 与 Accept 怎样保持一致

AI 推理基础设施名词表：从 Token 到 Ascend Kernel

Prefill 与 Decode 为什么性能不同：从计算形状到执行开销

从一次 Decode 读懂 SGLang：Tensor、缓存与下一枚 Token

用 AISBench 压测 SGLang：从第一条请求到一份可信报告

AISBench 的 whole、native、TPOT 和 ITL，到底在量什么？

SGLang 流式压测：怎样保留接受率和缓存计数，又不改坏计时

一次Ascend 910C推理调优复盘：真正有效的优化、失败假设与实验成本

Ascend 910C推理调优负例分析：为什么合理的优化没有带来吞吐收益

Ascend 910C上的P端场景静态EPLB：从路由计数、专家布局到实测收益

Ascend 950DT 单机 PD 调优：128K/1K、90% Cache 场景下的配置与实测

从缓存校准到并发取舍：DeepSeek-V4-Pro 在 Ascend 910C 上的一次 32k/1k 调优记录

日志里的 TP16 为什么应是 TP8：SGLang PR #39871

小 Tensor 为什么保活大内存：SGLang PR #39120 的 View 缓存修复

SGLang 请求生命周期：从 Chat Completion 到 Ascend NPU

SGLang Scheduler：请求怎样组批、执行和持续生成

DeepSeek-V4 分布式 Forward：Attention 与 MoE 怎样交换布局

SGLang ModelRunner：九个输入 Token 怎样产生两行 Logits

DeepSeek-V4 Attention：Query、缓存写入与历史寻址

DeepSeek-V4 MoE：Token 从路由到专家计算，再回到原位置

DeepSeek-V4 PD 分离：首 Token、KV 状态与 Decode 接管

GSM8K 精度排查：从 200 题失败到全量与逐题对照

DeepSeek-V4 DSpark：一轮 Draft、Verify、Accept 与 Commit

SGLang 投机解码调度：请求进度、设备状态与跨轮交接

DeepSeek-V4 MTP：NextN 怎样逐步生成候选

EAGLE 候选树：从候选池到 Verify 与接受路径

EAGLE Tree Attention：候选布局、位置与可见性

投机解码 Accept：从 Verify 行到最终输出路径

投机解码 KV 管理：接受路径怎样提交、整理与回收

没有找到符合条件的文章

探索手记

搜索文章与 Skills

工程图