进阶 / Ascend 实践已读稍后读DeepSeek-V4 W8A8 执行链:从量化权重到 Ascend INT8 算子W8A8 权重加载后,激活在哪里量化,矩阵乘法又交给谁?分别沿 Dense 与 MoE 追到 Ascend 算子入口。DeepSeek-V4Ascend 910CW8A8ModelSlimCANN26 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 工程实践已读稍后读把性能目标交给 AI 之后:大模型推理的全自动调优闭环把吞吐目标交给 AI 后,下一轮实验该怎么选?结合真实调优,讨论比较条件、候选依据和停止投入的时机。性能调优自动化实验方法11 分钟阅读更新于 2026-10-21阅读全文 ↗
进阶 / 工程实践已读稍后读一轮实验什么时候算完成:全自动调优的状态、证据与恢复640 条请求已成功,统计程序却退出非零。怎样接着处理原数据,并让配置、进程和结果始终对得上?自动化实验方法AISBench11 分钟阅读更新于 2026-10-21阅读全文 ↗
进阶 / 工程复盘已读稍后读让 AI 连续调优几天后,我发现实验流程也有瓶颈正式请求只跑了约三分钟,准备和修统计却耗时更久。沿几次真实返工,看连续调优的时间花在了哪里。性能调优实验方法自动化Ascend14 分钟阅读更新于 2026-10-21阅读全文 ↗
进阶 / 压测实践已读稍后读SGLang 流式压测:怎样保留接受率和缓存计数,又不改坏计时8条请求已带投机开关,SSE却没有sglext。从字段产生、父类解析和writer落盘走到原计时规则,解释metadata-only事件、接受率分母与whole/native窗口。AISBenchSGLang流式输出投机解码性能指标11 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 性能分析已读稍后读Decode 已经很快了,吞吐为什么上不去?平均 TPOT 已经低至 8.7ms,吞吐仍没跟上。一个 4-token 尾块,把排查方向从 Decode 带回了 Prefill 合批。PD 分离Chunked Prefill性能调优Ascend 910C13 分钟阅读更新于 2026-10-25阅读全文 ↗
进阶 / 压测实践已读稍后读128K 输入、90% 前缀缓存:怎样把压测场景真正跑准输入长度正确、请求全部成功,缓存却没达到九成。记录公共前缀、预热与逐条检查怎样把压测场景校准。前缀缓存压测方法PD 分离AISBench12 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 性能分析已读稍后读128K 已经命中 90% 前缀缓存,为什么推理仍然不轻松?沿真实128K/1K请求区分复用前缀、新Query和逻辑上下文,解释DeepSeek-V4的SWA/C4/C128历史访问、PD状态交接,以及90%命中之后仍然存在的生成与排队成本。DeepSeek-V4Ascend 910CPrefix CachePD 分离KV Cache12 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 故障排查已读稍后读专家计数都采到了,为什么导出还会失败?160 条请求已生成完,存专家计数时服务却崩了。沿错误栈追到设备通信,再看 CPU/Gloo 导出怎样保住统计含义。AscendMoEEPLB分布式通信11 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 性能分析已读稍后读投机解码的性能收支:接受长度、Verify 成本与并发接受长度变大,投机解码为什么仍可能变慢?把每轮有效输出与 Draft、Verify、通信和并发成本放在一起算。DeepSeek-V4投机解码Acceptance Rate性能模型15 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 性能分析已读稍后读CP2 替代 CP4:通信组变小了,为什么整体吞吐没有提高?复盘CP4/DP4切到CP2/DP8的N480同负载负例:单rank行数、page预算、EP16通信轮次与请求驻留时间,解释TPOT改善却没有吞吐收益。Ascend 910CDeepSeek-V4Context ParallelismPD分离性能调优12 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 性能调优已读稍后读一次Ascend 910C推理调优复盘:真正有效的优化、失败假设与实验成本哪些改动带来了吞吐,哪些只增加了实验成本?放在一起看 P 端合批、IndexCache、静态布局和 Compact 的真实对照。Ascend 910CSGLangPD分离性能调优工程复盘17 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 性能调优已读稍后读Ascend 910C推理调优负例分析:为什么合理的优化没有带来吞吐收益TPOT 降了,吞吐却没涨;分块少了,执行反而慢了。沿几项负例,判断原假设漏了什么、何时值得重试。Ascend 910CSGLang性能调优投机解码工程复盘14 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 性能调优已读稍后读Ascend 910C上的P端场景静态EPLB:从路由计数、专家布局到实测收益专家布局怎样从路由计数拟合出来?沿一次 P 端静态方案解释放置与分发,并说明 14.18% 的组合收益该怎样归因。Ascend 910CSGLangMoEEPLBPD分离14 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 调优实践已读稍后读Ascend 950DT 单机 PD 调优:128K/1K、90% Cache 场景下的配置与实测一次 Ascend 950DT 单机长输入调优记录:解释两端配置、缓存与并发如何一起影响结果,避免把总收益归给一个开关。SGLangAscend 950DTPD 分离DSPARK性能调优14 分钟阅读更新于 2026-10-17阅读全文 ↗
进阶 / 性能分析已读稍后读DeepSeek-V4 IndexCache freq2:跨层 TopK 复用省了什么,又改变了什么跨层复用 TopK 后,哪些计算省下了,哪些状态还得更新?对照实际执行路径和同负载实验,看 freq2 的收益与代价。DeepSeek-V4Ascend 910CIndexCacheAttention性能调优13 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 性能分析已读稍后读Prefill chunk 应该怎么选:从 DP 折算、页对齐到通信轮次与尾块合批把 chunk 从 8192 增到 8320,分块少了,吞吐却略降。结合页对齐、并行布局和通信轮次解释为什么。DeepSeek-V4Ascend 910CPrefillChunked Prefill性能调优14 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 调优实践已读稍后读从缓存校准到并发取舍:DeepSeek-V4-Pro 在 Ascend 910C 上的一次 32k/1k 调优记录先把缓存命中率校准,再比较并发。记录一次 32K/1K 调优中,吞吐、TPOT 与首 Token 等待之间的取舍。DeepSeek-V4Ascend 910CSGLang性能调优Prefix Cache18 分钟阅读更新于 2026-10-17阅读全文 ↗
进阶 / 性能分析已读稍后读NPU 时间线里有 19% 空隙,为什么不能直接得到 19% 加速?NPU 时间线约两成空白,为什么不能当成可回收的加速空间?先算清区间覆盖,再检查等待、跨 Rank 依赖和测量范围。Ascend 910CProfilingDeepSeek-V4关键路径性能调优12 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 源码解析已读稍后读SGLang Scheduler:请求怎样组批、执行和持续生成请求会持续很多轮,设备每轮只执行一个批次。看 Scheduler 怎样在前缀缓存、Token 预算和 KV 空间之间安排工作。SGLangScheduler请求调度17 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 源码解析已读稍后读DeepSeek-V4 分布式 Forward:Attention 与 MoE 怎样交换布局同一批进程在 Attention 和 MoE 中怎样改变分工?用 TP32 / DP16 的 Target 布局追踪 Token 行的转换与恢复。SGLangDeepSeek-V4TP/DP/EP分布式并行11 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 源码解析已读稍后读SGLang ModelRunner:九个输入 Token 怎样产生两行 Logits两条请求共有九个输入 Token,为什么最后只需两行 Logits?用这个例子读懂 ModelRunner 的输入、前向和采样交接。SGLangModelRunnerDeepSeek-V411 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 源码解析已读稍后读DeepSeek-V4 Attention:Query、缓存写入与历史寻址多条请求打包进同一个 Tensor 后,Attention 怎样找到各自的历史?沿 Query、缓存写入和页表追踪一次 Decode。SGLangDeepSeek-V4AttentionKV Cache11 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 源码解析已读稍后读DeepSeek-V4 MoE:Token 从路由到专家计算,再回到原位置一个 Token 会被送到哪些专家,算完又怎样回到原位置?用四个 Rank、八个专家的例子解释路由、分发和合并。SGLangDeepSeek-V4MoEExpert Parallel11 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 源码解析已读稍后读DeepSeek-V4 PD 分离:首 Token、KV 状态与 Decode 接管P 端已经采样出首 Token,为什么它还没有自己的 KV?从这个交接点看 Decode 接管需要哪些缓存、资源和确认。SGLangDeepSeek-V4PD 分离分布式推理22 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 工程排查已读稍后读GSM8K 精度排查:从 200 题失败到全量与逐题对照200 题得分未过线,扩大到 1314 题后却通过了。沿配置对照和逐题结果,分开检查评测覆盖与输出稳定性。SGLangDeepSeek-V2-LiteGSM8K精度评测Ascend12 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 源码解析已读稍后读DeepSeek-V4 DSpark:一轮 Draft、Verify、Accept 与 CommitDraft 猜 A/B/C,Target 接受 A/B 后生成 X,下一轮从哪里继续?沿一个例子走完 DSpark 的提议、验证、接受和提交。SGLangDeepSeek-V4DSpark投机解码18 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 源码解析已读稍后读DeepSeek-V4 MTP:NextN 怎样逐步生成候选三枚 Draft 候选需要几次 NextN Forward?算清第一枚候选的来源、后续逐步预测和 Target 验证窗口的关系。SGLangDeepSeek-V4MTP投机解码21 分钟阅读更新于 2026-10-24阅读全文 ↗