入门 / 基础原理已读稍后读Prefill 与 Decode 为什么性能不同:从计算形状到执行开销同一份权重,为什么处理长输入和逐枚生成的性能不同?从矩阵形状讲到权重复用、专家 Token 数和每轮固定开销。AI InfraPrefill / DecodeDeepSeek-V4SGLangAscend 910C性能模型21 分钟阅读更新于 2026-10-25阅读全文 ↗
入门 / 源码解析已读稍后读SGLang 请求生命周期:从 Chat Completion 到 Ascend NPU一句聊天消息怎样变成 NPU 上的一轮计算?跟随一条请求,串起分词、排队、缓存、组批和持续生成。SGLangAscend请求链路28 分钟阅读更新于 2026-10-25阅读全文 ↗
进阶 / 性能分析已读稍后读Decode 已经很快了,吞吐为什么上不去?平均 TPOT 已经低至 8.7ms,吞吐仍没跟上。一个 4-token 尾块,把排查方向从 Decode 带回了 Prefill 合批。PD 分离Chunked Prefill性能调优Ascend 910C13 分钟阅读更新于 2026-10-25阅读全文 ↗
入门 / 压测实践已读稍后读AISBench 的 whole、native、TPOT 和 ITL,到底在量什么?TPOT 10.4ms、ITL 58.6ms为何同时成立?沿固定AISBench源码解释请求时间线、事件加权、whole/native选样边界、并发封顶与两种输出token/s。AISBench性能指标SGLang流式输出压测方法12 分钟阅读更新于 2026-10-24阅读全文 ↗
深入研究 / 分布式工程已读稍后读静态 EPLB 之后:动态专家负载均衡怎样安全地迁移权重?从逻辑专家与物理槽位出发,沿真实Ascend适配解释W8A8/NZ权重暂存、HCCL通信等待、逐层映射提交和Graph地址约束,结合功能验证与正负性能结果分析动态EPLB的成本。SGLangAscend 910CEPLBMoEExpert Parallel14 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 压测实践已读稍后读SGLang 流式压测:怎样保留接受率和缓存计数,又不改坏计时8条请求已带投机开关,SSE却没有sglext。从字段产生、父类解析和writer落盘走到原计时规则,解释metadata-only事件、接受率分母与whole/native窗口。AISBenchSGLang流式输出投机解码性能指标11 分钟阅读更新于 2026-10-24阅读全文 ↗