AkiYang推理工程手记
← 首页

THE READING ATLAS

源码阅读地图

从整体请求到模型内部，沿着已发布的文章深入系统。

SOURCE READING PATH

AI Infra 基础

3 篇 · 约 77 分钟 · 推荐阅读顺序

开始阅读 →
  1. 01

    工作知识地图

    从 Token、Runtime、分布式到 Ascend Kernel 建立全局坐标

    约 33 分钟 未读
  2. 02

    Prefill / Decode 性能直觉

    从 Dense M、Expert M_e 与 DSV4 历史状态理解两阶段为何性能完全不同

    约 21 分钟 未读
  3. 03

    SGLang Decode 源码第一课

    沿一枚 Token 串起 ForwardBatch、KV ownership、MoE、Logits 与 Sampling

    约 23 分钟 未读
已读 0 / 3 篇进度仅保存在当前浏览器

SOURCE READING PATH

SGLang 核心执行链

5 篇 · 约 78 分钟 · 推荐阅读顺序

开始阅读 →
  1. 01

    请求执行全链路

    从请求入口建立全局视角

    约 28 分钟 未读
  2. 02

    Scheduler

    理解请求如何组批与调度

    约 17 分钟 未读
  3. 03

    ModelRunner

    跟随 ForwardBatch 进入模型

    约 11 分钟 未读
  4. 04

    Attention 与 KV Cache

    连接 Query、历史上下文与缓存

    约 11 分钟 未读
  5. 05

    MoE 与 Expert Parallel

    沿路由、分发与专家计算理解 MoE

    约 11 分钟 未读
已读 0 / 5 篇进度仅保存在当前浏览器

SOURCE READING PATH

SGLang PR 精读

2 篇 · 约 19 分钟 · 推荐阅读顺序

开始阅读 →
  1. 01

    PR #39871 · Attention 并行宽度

    从错误日志追到 Runtime Derivation、Single Source of Truth 与 Maintainer Review Questions

    约 8 分钟 未读
  2. 02

    PR #39120 · View 与 Storage

    从 multimodal cache 学 Logical Payload、Backing Storage、Ownership 与 Lifetime

    约 11 分钟 未读
已读 0 / 2 篇进度仅保存在当前浏览器

SOURCE READING PATH

DeepSeek-V4 分布式推理

6 篇 · 约 97 分钟 · 推荐阅读顺序

开始阅读 →
  1. 01

    Rank / Group

    先建立进程、坐标系与通信组直觉

    约 18 分钟 未读
  2. 02

    Collective 与 Tensor Ownership

    看清 AllReduce、Gather、ReduceScatter 与 A2A 到底搬什么

    约 16 分钟 未读
  3. 03

    TP / DP / EP

    串联 Attention 与 MoE 的并行布局

    约 11 分钟 未读
  4. 04

    DSpark Layout

    理解 Draft 与 Target 的布局边界

    约 14 分钟 未读
  5. 05

    多卡一致性

    理解 Draft、Verify 与 Accept 如何跨 Rank 保持一致

    约 16 分钟 未读
  6. 06

    Prefill / Decode 分离

    理解跨实例请求与缓存状态交接

    约 22 分钟 未读
已读 0 / 6 篇进度仅保存在当前浏览器

SOURCE READING PATH

DeepSeek-V4 投机解码

11 篇 · 约 252 分钟 · 推荐阅读顺序

开始阅读 →
  1. 01

    投机解码执行链

    串起 Draft、Verify、Accept 与状态提交

    约 18 分钟 未读
  2. 02

    Speculative Scheduler

    理解 ScheduleBatch 如何管理 Draft / Verify / Accept 状态机

    约 30 分钟 未读
  3. 03

    MTP 与 NextN

    理解多步候选生成的语义与实现

    约 21 分钟 未读
  4. 04

    EAGLE Draft Tree

    从多分支候选树走到一次验证

    约 27 分钟 未读
  5. 05

    Tree Attention

    理解多分支 Verify 的可见性与位置语义

    约 27 分钟 未读
  6. 06

    Accept Decision

    理解候选如何收敛成唯一 accepted path

    约 17 分钟 未读
  7. 07

    KV Commit / Compact / Rollback

    把 Accept 结果落实到 KV 与缓存生命周期

    约 25 分钟 未读
  8. 08

    DSpark 自适应 Verify

    从 Confidence/STS 到 SPS Budget、Ragged Verify 与 Ascend 910C compact 边界

    约 25 分钟 未读
  9. 09

    性能 Break-even

    理解 Acceptance Rate、Draft Cost 与 Verify Cost 的收益边界

    约 15 分钟 未读
  10. 10

    Ascend Critical Path

    拆解 Graph、Multi-Stream 与 Communication Overlap

    约 24 分钟 未读
  11. 11

    Ascend 910C Profiling

    把源码阶段映射到真实 NPU 时间线

    约 23 分钟 未读
已读 0 / 11 篇进度仅保存在当前浏览器

SOURCE READING PATH

Ascend 910C 执行链

3 篇 · 约 58 分钟 · 推荐阅读顺序

开始阅读 →
  1. 01

    W8A8 与 INT8 Kernel

    从 ModelSlim 量化权重追到 ACLNN、CANN 与 AI Core

    约 26 分钟 未读
  2. 02

    W8A8 性能与 CANN Tiling

    从 Decode 小 M、FRACTAL_NZ 与 Expert M_e 解释 INT8 性能能否兑现

    约 18 分钟 未读
  3. 03

    动态EPLB权重迁移

    从NZ暂存与P2P等待走到原位权重和路由映射的一致提交

    约 14 分钟 未读
已读 0 / 3 篇进度仅保存在当前浏览器

SOURCE READING PATH

让AI调优大模型推理

7 篇 · 约 84 分钟 · 推荐阅读顺序

开始阅读 →
  1. 01

    下一轮实验怎么选

    从目标和瓶颈证据走到短筛、确认与取舍

    约 11 分钟 未读
  2. 02

    一轮实验怎样收尾

    连接配置、执行状态、统计与恢复

    约 11 分钟 未读
  3. 03

    回看走过的弯路

    从脚本复制、重复检查和多代理等待追到工具层面的改法

    约 14 分钟 未读
  4. 04

    跟一次吞吐瓶颈实战

    从低TPOT追到4-token尾块与Prefill合批

    约 13 分钟 未读
  5. 05

    把128K缓存场景跑准

    从理论前缀比例到逐请求实际命中与多DP预热

    约 12 分钟 未读
  6. 06

    前缀命中之后的剩余成本

    从新Query、压缩历史和PD交接解释90%命中为何不等于90%时间节省

    约 12 分钟 未读
  7. 07

    专家计数怎样可靠导出

    沿HCCL故障、CPU归约与循环槽位理解统计的完整生命周期

    约 11 分钟 未读
已读 0 / 7 篇进度仅保存在当前浏览器

SOURCE READING PATH

SGLang与AISBench压测实战

3 篇 · 约 35 分钟 · 推荐阅读顺序

开始阅读 →
  1. 01

    从第一条请求开始

    独立配置、小测、正式负载和原始结果

    约 12 分钟 未读
  2. 02

    读懂whole与native指标

    时间线、事件间隔、样本权重与稳定段分母

    约 12 分钟 未读
  3. 03

    保留流式计数与原计时

    从SSE字段到附加结果、计数分母和窗口匹配

    约 11 分钟 未读
已读 0 / 3 篇进度仅保存在当前浏览器

这里展示文章的推荐阅读顺序，并非运行时调用图。读完文章后可在文末标记已读。

搜索文章与 Skills

↑ ↓ 选择 · Enter 打开 · Esc 关闭 · Ctrl / ⌘ K 搜索

工程图