入门 / 分布式基础已读稍后读模型怎样跨多卡运行：从显存容量到 TP、DP Attention 与 EP每个 Token 只激活部分专家，为什么仍需要放下整套权重？先算设备内存，再区分 TP、DP 和 EP 各自拆分什么。DeepSeek-V4Ascend 910CTP/DP/EP分布式并行16 分钟阅读更新于 2026-10-24阅读全文 ↗
入门 / 基础原理已读稍后读Prefill 与 Decode 为什么性能不同：从计算形状到执行开销同一份权重，为什么处理长输入和逐枚生成的性能不同？从矩阵形状讲到权重复用、专家 Token 数和每轮固定开销。AI InfraPrefill / DecodeDeepSeek-V4SGLangAscend 910C性能模型21 分钟阅读更新于 2026-10-25阅读全文 ↗
入门 / 基础原理已读稍后读从一次 Decode 读懂 SGLang：Tensor、缓存与下一枚 Token刚生成的 Token，下一轮怎样变成模型输入？用三条请求的小批次串起长度、KV 写入、Attention、MoE 和采样。SGLangDeepSeek-V4DecodeKV CacheMoESamplingAscend 910C23 分钟阅读更新于 2026-10-24阅读全文 ↗
入门 / 压测实践已读稍后读用 AISBench 压测 SGLang：从第一条请求到一份可信报告从一条请求接通SGLang，到独立配置、JSONL、N/C/r和原生稳态后处理。附小样例，讲清retry的版本语义、实际token长度和原始结果怎样保留。AISBenchSGLang压测方法性能指标12 分钟阅读更新于 2026-10-24阅读全文 ↗
入门 / 压测实践已读稍后读AISBench 的 whole、native、TPOT 和 ITL，到底在量什么？TPOT 10.4ms、ITL 58.6ms为何同时成立？沿固定AISBench源码解释请求时间线、事件加权、whole/native选样边界、并发封顶与两种输出token/s。AISBench性能指标SGLang流式输出压测方法12 分钟阅读更新于 2026-10-24阅读全文 ↗
入门 / 源码解析已读稍后读SGLang 请求生命周期：从 Chat Completion 到 Ascend NPU一句聊天消息怎样变成 NPU 上的一轮计算？跟随一条请求，串起分词、排队、缓存、组批和持续生成。SGLangAscend请求链路28 分钟阅读更新于 2026-10-25阅读全文 ↗