DeepSeek-V4 · AkiYang

进阶 / Ascend 实践

DeepSeek-V4 W8A8 执行链：从量化权重到 Ascend INT8 算子

W8A8 权重加载后，激活在哪里量化，矩阵乘法又交给谁？分别沿 Dense 与 MoE 追到 Ascend 算子入口。

26 分钟阅读更新于 2026-10-24阅读全文

速查 / 分布式基础

SGLang Rank 与 Group：读懂 TP、DP Attention 和 EP 坐标

同一个进程为什么有好几个 Rank 编号？用 TP16 / DP8 展开它在 Attention、请求分组和 MoE 中的不同位置。

18 分钟阅读更新于 2026-10-24阅读全文

速查 / 分布式基础

SGLang Collective：从张量分片到 Attention 与 MoE 通信

该求和、拼接，还是把 Token 送给另一位专家？先看四类通信的小张量例子，再对照 SGLang 的 Attention 与 MoE。

16 分钟阅读更新于 2026-10-24阅读全文

深入研究 / 源码解析

DeepSeek-V4 DSpark 的并行限制与 Draft 布局

Target 能使用 TP32 / DP16，为什么 MoE Draft 启动时被拒绝？追踪 DSpark 的配置检查、Token 布局和决策同步。

14 分钟阅读更新于 2026-10-24阅读全文

深入研究 / 源码解析

多卡投机解码：Draft、Verify 与 Accept 怎样保持一致

一张卡接受两枚候选，另一张接受三枚，会发生什么？区分模型分片通信与投机决策同步，追踪分歧怎样传到下一轮。

16 分钟阅读更新于 2026-10-24阅读全文

入门 / 分布式基础

模型怎样跨多卡运行：从显存容量到 TP、DP Attention 与 EP

每个 Token 只激活部分专家，为什么仍需要放下整套权重？先算设备内存，再区分 TP、DP 和 EP 各自拆分什么。

16 分钟阅读更新于 2026-10-24阅读全文

速查 / 基础原理

AI 推理基础设施名词表：从 Token 到 Ascend Kernel

读源码时遇到陌生名词，可以按正在解决的问题查：输入表示、模型计算、缓存调度、多卡通信和 Ascend 执行。

33 分钟阅读更新于 2026-10-24阅读全文

入门 / 基础原理

Prefill 与 Decode 为什么性能不同：从计算形状到执行开销

同一份权重，为什么处理长输入和逐枚生成的性能不同？从矩阵形状讲到权重复用、专家 Token 数和每轮固定开销。

21 分钟阅读更新于 2026-10-25阅读全文

入门 / 基础原理

从一次 Decode 读懂 SGLang：Tensor、缓存与下一枚 Token

刚生成的 Token，下一轮怎样变成模型输入？用三条请求的小批次串起长度、KV 写入、Attention、MoE 和采样。

23 分钟阅读更新于 2026-10-24阅读全文

深入研究 / 性能分析

DeepSeek-V4 W8A8 性能分析：小 M、NZ 布局与测量方法

INT8 矩阵乘法省下的时间，能否覆盖动态量化等额外开销？结合小 M、专家批次和 NZ 布局分析该怎样测量。

18 分钟阅读更新于 2026-10-24阅读全文

进阶 / 性能分析

128K 已经命中 90% 前缀缓存，为什么推理仍然不轻松？

沿真实128K/1K请求区分复用前缀、新Query和逻辑上下文，解释DeepSeek-V4的SWA/C4/C128历史访问、PD状态交接，以及90%命中之后仍然存在的生成与排队成本。

12 分钟阅读更新于 2026-10-24阅读全文

进阶 / 性能分析

投机解码的性能收支：接受长度、Verify 成本与并发

接受长度变大，投机解码为什么仍可能变慢？把每轮有效输出与 Draft、Verify、通信和并发成本放在一起算。

15 分钟阅读更新于 2026-10-24阅读全文

深入研究 / 性能分析

Ascend 910C 投机解码：Graph、多流与通信的执行依赖

开了 Graph 和多流，下一步为什么仍在等？沿 EAGLE/NextN 标出候选、缓存和通信依赖，再说明怎样与实测时间线对应。

24 分钟阅读更新于 2026-10-24阅读全文

深入研究 / 性能分析

在 Ascend 910C 上分析 DSpark：从阶段计时到 NPU 时间线

DSpark 慢在哪一段，怎样从计时字段追到 NPU 时间线？说明阶段边界、通信等待和 Profiling 对照方法。

23 分钟阅读更新于 2026-10-24阅读全文

进阶 / 性能分析

CP2 替代 CP4：通信组变小了，为什么整体吞吐没有提高？

复盘CP4/DP4切到CP2/DP8的N480同负载负例：单rank行数、page预算、EP16通信轮次与请求驻留时间，解释TPOT改善却没有吞吐收益。

12 分钟阅读更新于 2026-10-24阅读全文

进阶 / 性能分析

DeepSeek-V4 IndexCache freq2：跨层 TopK 复用省了什么，又改变了什么

跨层复用 TopK 后，哪些计算省下了，哪些状态还得更新？对照实际执行路径和同负载实验，看 freq2 的收益与代价。

13 分钟阅读更新于 2026-10-24阅读全文

进阶 / 性能分析

Prefill chunk 应该怎么选：从 DP 折算、页对齐到通信轮次与尾块合批

把 chunk 从 8192 增到 8320，分块少了，吞吐却略降。结合页对齐、并行布局和通信轮次解释为什么。

14 分钟阅读更新于 2026-10-24阅读全文

进阶 / 调优实践

从缓存校准到并发取舍：DeepSeek-V4-Pro 在 Ascend 910C 上的一次 32k/1k 调优记录

先把缓存命中率校准，再比较并发。记录一次 32K/1K 调优中，吞吐、TPOT 与首 Token 等待之间的取舍。

18 分钟阅读更新于 2026-10-17阅读全文

进阶 / 性能分析

NPU 时间线里有 19% 空隙，为什么不能直接得到 19% 加速？

NPU 时间线约两成空白，为什么不能当成可回收的加速空间？先算清区间覆盖，再检查等待、跨 Rank 依赖和测量范围。

12 分钟阅读更新于 2026-10-24阅读全文

进阶 / 源码解析

DeepSeek-V4 分布式 Forward：Attention 与 MoE 怎样交换布局

同一批进程在 Attention 和 MoE 中怎样改变分工？用 TP32 / DP16 的 Target 布局追踪 Token 行的转换与恢复。

11 分钟阅读更新于 2026-10-24阅读全文

进阶 / 源码解析

SGLang ModelRunner：九个输入 Token 怎样产生两行 Logits

两条请求共有九个输入 Token，为什么最后只需两行 Logits？用这个例子读懂 ModelRunner 的输入、前向和采样交接。

11 分钟阅读更新于 2026-10-24阅读全文

进阶 / 源码解析

DeepSeek-V4 Attention：Query、缓存写入与历史寻址

多条请求打包进同一个 Tensor 后，Attention 怎样找到各自的历史？沿 Query、缓存写入和页表追踪一次 Decode。

11 分钟阅读更新于 2026-10-24阅读全文

进阶 / 源码解析

DeepSeek-V4 MoE：Token 从路由到专家计算，再回到原位置

一个 Token 会被送到哪些专家，算完又怎样回到原位置？用四个 Rank、八个专家的例子解释路由、分发和合并。

11 分钟阅读更新于 2026-10-24阅读全文

进阶 / 源码解析

DeepSeek-V4 PD 分离：首 Token、KV 状态与 Decode 接管

P 端已经采样出首 Token，为什么它还没有自己的 KV？从这个交接点看 Decode 接管需要哪些缓存、资源和确认。

22 分钟阅读更新于 2026-10-24阅读全文

进阶 / 源码解析

DeepSeek-V4 DSpark：一轮 Draft、Verify、Accept 与 Commit

Draft 猜 A/B/C，Target 接受 A/B 后生成 X，下一轮从哪里继续？沿一个例子走完 DSpark 的提议、验证、接受和提交。

18 分钟阅读更新于 2026-10-24阅读全文

进阶 / 源码解析

DeepSeek-V4 MTP：NextN 怎样逐步生成候选

三枚 Draft 候选需要几次 NextN Forward？算清第一枚候选的来源、后续逐步预测和 Target 验证窗口的关系。

21 分钟阅读更新于 2026-10-24阅读全文

深入研究 / 源码解析

EAGLE 候选树：从候选池到 Verify 与接受路径

EAGLE 怎样把候选分支整理成一次 Verify 输入？跟着小树读索引和接受路径；DeepSeek-V4 固定版本仍限定 topk=1。

27 分钟阅读更新于 2026-10-24阅读全文

深入研究 / 源码解析

EAGLE Tree Attention：候选布局、位置与可见性

候选树排成 Tensor 后，一行怎样只读自己的祖先？用一棵小树解释位置和可见性；多分支部分属于通用 EAGLE 机制。

27 分钟阅读更新于 2026-10-24阅读全文

深入研究 / 源码解析

投机解码 Accept：从 Verify 行到最终输出路径

Verify 算出了候选位置的预测，哪些 Token 最终能输出？区分几种接受规则，并解释行索引与新 bonus 的错位关系。

17 分钟阅读更新于 2026-10-24阅读全文

深入研究 / 源码解析

投机解码 KV 管理：接受路径怎样提交、整理与回收

候选算过了，不代表都能留在历史里。看接受路径怎样映射到正式 KV，以及被拒绝候选的空间何时整理、复用或释放。

25 分钟阅读更新于 2026-10-24阅读全文

深入研究 / 投机解码

DSpark 自适应 Verify：怎样分配候选预算

验证预算有限时，每条请求都分配相同长度合适吗？解释 DSpark 的候选预算分配，以及 Ascend 固定版本仍使用 static 的原因。

25 分钟阅读更新于 2026-10-24阅读全文

DeepSeek-V431

DeepSeek-V4 W8A8 执行链：从量化权重到 Ascend INT8 算子

SGLang Rank 与 Group：读懂 TP、DP Attention 和 EP 坐标

SGLang Collective：从张量分片到 Attention 与 MoE 通信

DeepSeek-V4 DSpark 的并行限制与 Draft 布局

多卡投机解码：Draft、Verify 与 Accept 怎样保持一致

模型怎样跨多卡运行：从显存容量到 TP、DP Attention 与 EP

AI 推理基础设施名词表：从 Token 到 Ascend Kernel

Prefill 与 Decode 为什么性能不同：从计算形状到执行开销

从一次 Decode 读懂 SGLang：Tensor、缓存与下一枚 Token

DeepSeek-V4 W8A8 性能分析：小 M、NZ 布局与测量方法

128K 已经命中 90% 前缀缓存，为什么推理仍然不轻松？

投机解码的性能收支：接受长度、Verify 成本与并发

Ascend 910C 投机解码：Graph、多流与通信的执行依赖

在 Ascend 910C 上分析 DSpark：从阶段计时到 NPU 时间线

CP2 替代 CP4：通信组变小了，为什么整体吞吐没有提高？

DeepSeek-V4 IndexCache freq2：跨层 TopK 复用省了什么，又改变了什么

Prefill chunk 应该怎么选：从 DP 折算、页对齐到通信轮次与尾块合批

从缓存校准到并发取舍：DeepSeek-V4-Pro 在 Ascend 910C 上的一次 32k/1k 调优记录

NPU 时间线里有 19% 空隙，为什么不能直接得到 19% 加速？

DeepSeek-V4 分布式 Forward：Attention 与 MoE 怎样交换布局

SGLang ModelRunner：九个输入 Token 怎样产生两行 Logits

DeepSeek-V4 Attention：Query、缓存写入与历史寻址

DeepSeek-V4 MoE：Token 从路由到专家计算，再回到原位置

DeepSeek-V4 PD 分离：首 Token、KV 状态与 Decode 接管

DeepSeek-V4 DSpark：一轮 Draft、Verify、Accept 与 Commit

DeepSeek-V4 MTP：NextN 怎样逐步生成候选

EAGLE 候选树：从候选池到 Verify 与接受路径

EAGLE Tree Attention：候选布局、位置与可见性

投机解码 Accept：从 Verify 行到最终输出路径

投机解码 KV 管理：接受路径怎样提交、整理与回收

DSpark 自适应 Verify：怎样分配候选预算

没有找到符合条件的文章

探索手记

搜索文章与 Skills

工程图