进阶 / 工程实践已读稍后读把性能目标交给 AI 之后：大模型推理的全自动调优闭环把吞吐目标交给 AI 后，下一轮实验该怎么选？结合真实调优，讨论比较条件、候选依据和停止投入的时机。性能调优自动化实验方法11 分钟阅读更新于 2026-10-21阅读全文 ↗
入门 / 压测实践已读稍后读用 AISBench 压测 SGLang：从第一条请求到一份可信报告从一条请求接通SGLang，到独立配置、JSONL、N/C/r和原生稳态后处理。附小样例，讲清retry的版本语义、实际token长度和原始结果怎样保留。AISBenchSGLang压测方法性能指标12 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 工程实践已读稍后读一轮实验什么时候算完成：全自动调优的状态、证据与恢复640 条请求已成功，统计程序却退出非零。怎样接着处理原数据，并让配置、进程和结果始终对得上？自动化实验方法AISBench11 分钟阅读更新于 2026-10-21阅读全文 ↗
入门 / 压测实践已读稍后读AISBench 的 whole、native、TPOT 和 ITL，到底在量什么？TPOT 10.4ms、ITL 58.6ms为何同时成立？沿固定AISBench源码解释请求时间线、事件加权、whole/native选样边界、并发封顶与两种输出token/s。AISBench性能指标SGLang流式输出压测方法12 分钟阅读更新于 2026-10-24阅读全文 ↗
深入研究 / 性能分析已读稍后读DeepSeek-V4 W8A8 性能分析：小 M、NZ 布局与测量方法INT8 矩阵乘法省下的时间，能否覆盖动态量化等额外开销？结合小 M、专家批次和 NZ 布局分析该怎样测量。DeepSeek-V4Ascend 910CW8A8CANN TilingProfiling18 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 工程复盘已读稍后读让 AI 连续调优几天后，我发现实验流程也有瓶颈正式请求只跑了约三分钟，准备和修统计却耗时更久。沿几次真实返工，看连续调优的时间花在了哪里。性能调优实验方法自动化Ascend14 分钟阅读更新于 2026-10-21阅读全文 ↗
进阶 / 压测实践已读稍后读SGLang 流式压测：怎样保留接受率和缓存计数，又不改坏计时8条请求已带投机开关，SSE却没有sglext。从字段产生、父类解析和writer落盘走到原计时规则，解释metadata-only事件、接受率分母与whole/native窗口。AISBenchSGLang流式输出投机解码性能指标11 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 性能分析已读稍后读Decode 已经很快了，吞吐为什么上不去？平均 TPOT 已经低至 8.7ms，吞吐仍没跟上。一个 4-token 尾块，把排查方向从 Decode 带回了 Prefill 合批。PD 分离Chunked Prefill性能调优Ascend 910C13 分钟阅读更新于 2026-10-25阅读全文 ↗
进阶 / 压测实践已读稍后读128K 输入、90% 前缀缓存：怎样把压测场景真正跑准输入长度正确、请求全部成功，缓存却没达到九成。记录公共前缀、预热与逐条检查怎样把压测场景校准。前缀缓存压测方法PD 分离AISBench12 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 性能分析已读稍后读128K 已经命中 90% 前缀缓存，为什么推理仍然不轻松？沿真实128K/1K请求区分复用前缀、新Query和逻辑上下文，解释DeepSeek-V4的SWA/C4/C128历史访问、PD状态交接，以及90%命中之后仍然存在的生成与排队成本。DeepSeek-V4Ascend 910CPrefix CachePD 分离KV Cache12 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 故障排查已读稍后读专家计数都采到了，为什么导出还会失败？160 条请求已生成完，存专家计数时服务却崩了。沿错误栈追到设备通信，再看 CPU/Gloo 导出怎样保住统计含义。AscendMoEEPLB分布式通信11 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 性能分析已读稍后读投机解码的性能收支：接受长度、Verify 成本与并发接受长度变大，投机解码为什么仍可能变慢？把每轮有效输出与 Draft、Verify、通信和并发成本放在一起算。DeepSeek-V4投机解码Acceptance Rate性能模型15 分钟阅读更新于 2026-10-24阅读全文 ↗
深入研究 / 性能分析已读稍后读Ascend 910C 投机解码：Graph、多流与通信的执行依赖开了 Graph 和多流，下一步为什么仍在等？沿 EAGLE/NextN 标出候选、缓存和通信依赖，再说明怎样与实测时间线对应。DeepSeek-V4Ascend 910CNPU GraphCommunication Overlap投机解码24 分钟阅读更新于 2026-10-24阅读全文 ↗
深入研究 / 性能分析已读稍后读在 Ascend 910C 上分析 DSpark：从阶段计时到 NPU 时间线DSpark 慢在哪一段，怎样从计时字段追到 NPU 时间线？说明阶段边界、通信等待和 Profiling 对照方法。DeepSeek-V4Ascend 910CProfilingDSpark投机解码23 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 性能分析已读稍后读CP2 替代 CP4：通信组变小了，为什么整体吞吐没有提高？复盘CP4/DP4切到CP2/DP8的N480同负载负例：单rank行数、page预算、EP16通信轮次与请求驻留时间，解释TPOT改善却没有吞吐收益。Ascend 910CDeepSeek-V4Context ParallelismPD分离性能调优12 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 性能调优已读稍后读一次Ascend 910C推理调优复盘：真正有效的优化、失败假设与实验成本哪些改动带来了吞吐，哪些只增加了实验成本？放在一起看 P 端合批、IndexCache、静态布局和 Compact 的真实对照。Ascend 910CSGLangPD分离性能调优工程复盘17 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 性能调优已读稍后读Ascend 910C推理调优负例分析：为什么合理的优化没有带来吞吐收益TPOT 降了，吞吐却没涨；分块少了，执行反而慢了。沿几项负例，判断原假设漏了什么、何时值得重试。Ascend 910CSGLang性能调优投机解码工程复盘14 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 性能调优已读稍后读Ascend 910C上的P端场景静态EPLB：从路由计数、专家布局到实测收益专家布局怎样从路由计数拟合出来？沿一次 P 端静态方案解释放置与分发，并说明 14.18% 的组合收益该怎样归因。Ascend 910CSGLangMoEEPLBPD分离14 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 调优实践已读稍后读Ascend 950DT 单机 PD 调优：128K/1K、90% Cache 场景下的配置与实测一次 Ascend 950DT 单机长输入调优记录：解释两端配置、缓存与并发如何一起影响结果，避免把总收益归给一个开关。SGLangAscend 950DTPD 分离DSPARK性能调优14 分钟阅读更新于 2026-10-17阅读全文 ↗
进阶 / 性能分析已读稍后读DeepSeek-V4 IndexCache freq2：跨层 TopK 复用省了什么，又改变了什么跨层复用 TopK 后，哪些计算省下了，哪些状态还得更新？对照实际执行路径和同负载实验，看 freq2 的收益与代价。DeepSeek-V4Ascend 910CIndexCacheAttention性能调优13 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 性能分析已读稍后读Prefill chunk 应该怎么选：从 DP 折算、页对齐到通信轮次与尾块合批把 chunk 从 8192 增到 8320，分块少了，吞吐却略降。结合页对齐、并行布局和通信轮次解释为什么。DeepSeek-V4Ascend 910CPrefillChunked Prefill性能调优14 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 调优实践已读稍后读从缓存校准到并发取舍：DeepSeek-V4-Pro 在 Ascend 910C 上的一次 32k/1k 调优记录先把缓存命中率校准，再比较并发。记录一次 32K/1K 调优中，吞吐、TPOT 与首 Token 等待之间的取舍。DeepSeek-V4Ascend 910CSGLang性能调优Prefix Cache18 分钟阅读更新于 2026-10-17阅读全文 ↗
进阶 / 性能分析已读稍后读NPU 时间线里有 19% 空隙，为什么不能直接得到 19% 加速？NPU 时间线约两成空白，为什么不能当成可回收的加速空间？先算清区间覆盖，再检查等待、跨 Rank 依赖和测量范围。Ascend 910CProfilingDeepSeek-V4关键路径性能调优12 分钟阅读更新于 2026-10-24阅读全文 ↗