进阶 / 源码解析已读稍后读DeepSeek-V4 DSpark:一轮 Draft、Verify、Accept 与 CommitDraft 猜 A/B/C,Target 接受 A/B 后生成 X,下一轮从哪里继续?沿一个例子走完 DSpark 的提议、验证、接受和提交。SGLangDeepSeek-V4DSpark投机解码18 分钟阅读更新于 2026-10-24阅读全文 ↗
深入研究 / 源码解析已读稍后读SGLang 投机解码调度:请求进度、设备状态与跨轮交接开启重叠执行后,CPU 记录和设备进度可能暂时不同。看请求长度、KV 预留和结果发布怎样保证下一轮接得上。SGLangSchedulerScheduleBatch投机解码30 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 源码解析已读稍后读DeepSeek-V4 MTP:NextN 怎样逐步生成候选三枚 Draft 候选需要几次 NextN Forward?算清第一枚候选的来源、后续逐步预测和 Target 验证窗口的关系。SGLangDeepSeek-V4MTP投机解码21 分钟阅读更新于 2026-10-24阅读全文 ↗
深入研究 / 源码解析已读稍后读EAGLE 候选树:从候选池到 Verify 与接受路径EAGLE 怎样把候选分支整理成一次 Verify 输入?跟着小树读索引和接受路径;DeepSeek-V4 固定版本仍限定 topk=1。SGLangDeepSeek-V4EAGLE投机解码KV Cache27 分钟阅读更新于 2026-10-24阅读全文 ↗
深入研究 / 源码解析已读稍后读EAGLE Tree Attention:候选布局、位置与可见性候选树排成 Tensor 后,一行怎样只读自己的祖先?用一棵小树解释位置和可见性;多分支部分属于通用 EAGLE 机制。SGLangDeepSeek-V4Tree Attention投机解码27 分钟阅读更新于 2026-10-24阅读全文 ↗
深入研究 / 源码解析已读稍后读投机解码 Accept:从 Verify 行到最终输出路径Verify 算出了候选位置的预测,哪些 Token 最终能输出?区分几种接受规则,并解释行索引与新 bonus 的错位关系。SGLangDeepSeek-V4Accept DecisionRejection Sampling投机解码17 分钟阅读更新于 2026-10-24阅读全文 ↗
深入研究 / 源码解析已读稍后读投机解码 KV 管理:接受路径怎样提交、整理与回收候选算过了,不代表都能留在历史里。看接受路径怎样映射到正式 KV,以及被拒绝候选的空间何时整理、复用或释放。SGLangDeepSeek-V4KV Cache投机解码25 分钟阅读更新于 2026-10-24阅读全文 ↗
深入研究 / 投机解码已读稍后读DSpark 自适应 Verify:怎样分配候选预算验证预算有限时,每条请求都分配相同长度合适吗?解释 DSpark 的候选预算分配,以及 Ascend 固定版本仍使用 static 的原因。DeepSeek-V4DSparkRagged VerifySTSSPSAscend 910C25 分钟阅读更新于 2026-10-24阅读全文 ↗