入门 / 基础原理已读稍后读从一次 Decode 读懂 SGLang:Tensor、缓存与下一枚 Token刚生成的 Token,下一轮怎样变成模型输入?用三条请求的小批次串起长度、KV 写入、Attention、MoE 和采样。SGLangDeepSeek-V4DecodeKV CacheMoESamplingAscend 910C23 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 性能分析已读稍后读128K 已经命中 90% 前缀缓存,为什么推理仍然不轻松?沿真实128K/1K请求区分复用前缀、新Query和逻辑上下文,解释DeepSeek-V4的SWA/C4/C128历史访问、PD状态交接,以及90%命中之后仍然存在的生成与排队成本。DeepSeek-V4Ascend 910CPrefix CachePD 分离KV Cache12 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 源码解析已读稍后读DeepSeek-V4 Attention:Query、缓存写入与历史寻址多条请求打包进同一个 Tensor 后,Attention 怎样找到各自的历史?沿 Query、缓存写入和页表追踪一次 Decode。SGLangDeepSeek-V4AttentionKV Cache11 分钟阅读更新于 2026-10-24阅读全文 ↗
深入研究 / 源码解析已读稍后读EAGLE 候选树:从候选池到 Verify 与接受路径EAGLE 怎样把候选分支整理成一次 Verify 输入?跟着小树读索引和接受路径;DeepSeek-V4 固定版本仍限定 topk=1。SGLangDeepSeek-V4EAGLE投机解码KV Cache27 分钟阅读更新于 2026-10-24阅读全文 ↗
深入研究 / 源码解析已读稍后读投机解码 KV 管理:接受路径怎样提交、整理与回收候选算过了,不代表都能留在历史里。看接受路径怎样映射到正式 KV,以及被拒绝候选的空间何时整理、复用或释放。SGLangDeepSeek-V4KV Cache投机解码25 分钟阅读更新于 2026-10-24阅读全文 ↗