入门 / 源码解析已读稍后读SGLang 请求生命周期:从 Chat Completion 到 Ascend NPU一句聊天消息怎样变成 NPU 上的一轮计算?跟随一条请求,串起分词、排队、缓存、组批和持续生成。SGLangAscend请求链路28 分钟阅读更新于 2026-10-25阅读全文 ↗
进阶 / 源码解析已读稍后读SGLang Scheduler:请求怎样组批、执行和持续生成请求会持续很多轮,设备每轮只执行一个批次。看 Scheduler 怎样在前缀缓存、Token 预算和 KV 空间之间安排工作。SGLangScheduler请求调度17 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 源码解析已读稍后读SGLang ModelRunner:九个输入 Token 怎样产生两行 Logits两条请求共有九个输入 Token,为什么最后只需两行 Logits?用这个例子读懂 ModelRunner 的输入、前向和采样交接。SGLangModelRunnerDeepSeek-V411 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 源码解析已读稍后读DeepSeek-V4 Attention:Query、缓存写入与历史寻址多条请求打包进同一个 Tensor 后,Attention 怎样找到各自的历史?沿 Query、缓存写入和页表追踪一次 Decode。SGLangDeepSeek-V4AttentionKV Cache11 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 源码解析已读稍后读DeepSeek-V4 MoE:Token 从路由到专家计算,再回到原位置一个 Token 会被送到哪些专家,算完又怎样回到原位置?用四个 Rank、八个专家的例子解释路由、分发和合并。SGLangDeepSeek-V4MoEExpert Parallel11 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 工程排查已读稍后读GSM8K 精度排查:从 200 题失败到全量与逐题对照200 题得分未过线,扩大到 1314 题后却通过了。沿配置对照和逐题结果,分开检查评测覆盖与输出稳定性。SGLangDeepSeek-V2-LiteGSM8K精度评测Ascend12 分钟阅读更新于 2026-10-24阅读全文 ↗