进阶 / 工程实践已读稍后读把性能目标交给 AI 之后:大模型推理的全自动调优闭环把吞吐目标交给 AI 后,下一轮实验该怎么选?结合真实调优,讨论比较条件、候选依据和停止投入的时机。性能调优自动化实验方法11 分钟阅读更新于 2026-10-21阅读全文 ↗
进阶 / 工程复盘已读稍后读让 AI 连续调优几天后,我发现实验流程也有瓶颈正式请求只跑了约三分钟,准备和修统计却耗时更久。沿几次真实返工,看连续调优的时间花在了哪里。性能调优实验方法自动化Ascend14 分钟阅读更新于 2026-10-21阅读全文 ↗
进阶 / 性能分析已读稍后读Decode 已经很快了,吞吐为什么上不去?平均 TPOT 已经低至 8.7ms,吞吐仍没跟上。一个 4-token 尾块,把排查方向从 Decode 带回了 Prefill 合批。PD 分离Chunked Prefill性能调优Ascend 910C13 分钟阅读更新于 2026-10-25阅读全文 ↗
进阶 / 性能分析已读稍后读CP2 替代 CP4:通信组变小了,为什么整体吞吐没有提高?复盘CP4/DP4切到CP2/DP8的N480同负载负例:单rank行数、page预算、EP16通信轮次与请求驻留时间,解释TPOT改善却没有吞吐收益。Ascend 910CDeepSeek-V4Context ParallelismPD分离性能调优12 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 性能调优已读稍后读一次Ascend 910C推理调优复盘:真正有效的优化、失败假设与实验成本哪些改动带来了吞吐,哪些只增加了实验成本?放在一起看 P 端合批、IndexCache、静态布局和 Compact 的真实对照。Ascend 910CSGLangPD分离性能调优工程复盘17 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 性能调优已读稍后读Ascend 910C推理调优负例分析:为什么合理的优化没有带来吞吐收益TPOT 降了,吞吐却没涨;分块少了,执行反而慢了。沿几项负例,判断原假设漏了什么、何时值得重试。Ascend 910CSGLang性能调优投机解码工程复盘14 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 调优实践已读稍后读Ascend 950DT 单机 PD 调优:128K/1K、90% Cache 场景下的配置与实测一次 Ascend 950DT 单机长输入调优记录:解释两端配置、缓存与并发如何一起影响结果,避免把总收益归给一个开关。SGLangAscend 950DTPD 分离DSPARK性能调优14 分钟阅读更新于 2026-10-17阅读全文 ↗
进阶 / 性能分析已读稍后读DeepSeek-V4 IndexCache freq2:跨层 TopK 复用省了什么,又改变了什么跨层复用 TopK 后,哪些计算省下了,哪些状态还得更新?对照实际执行路径和同负载实验,看 freq2 的收益与代价。DeepSeek-V4Ascend 910CIndexCacheAttention性能调优13 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 性能分析已读稍后读Prefill chunk 应该怎么选:从 DP 折算、页对齐到通信轮次与尾块合批把 chunk 从 8192 增到 8320,分块少了,吞吐却略降。结合页对齐、并行布局和通信轮次解释为什么。DeepSeek-V4Ascend 910CPrefillChunked Prefill性能调优14 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 调优实践已读稍后读从缓存校准到并发取舍:DeepSeek-V4-Pro 在 Ascend 910C 上的一次 32k/1k 调优记录先把缓存命中率校准,再比较并发。记录一次 32K/1K 调优中,吞吐、TPOT 与首 Token 等待之间的取舍。DeepSeek-V4Ascend 910CSGLang性能调优Prefix Cache18 分钟阅读更新于 2026-10-17阅读全文 ↗
进阶 / 性能分析已读稍后读NPU 时间线里有 19% 空隙,为什么不能直接得到 19% 加速?NPU 时间线约两成空白,为什么不能当成可回收的加速空间?先算清区间覆盖,再检查等待、跨 Rank 依赖和测量范围。Ascend 910CProfilingDeepSeek-V4关键路径性能调优12 分钟阅读更新于 2026-10-24阅读全文 ↗