入门 / 压测实践已读稍后读用 AISBench 压测 SGLang:从第一条请求到一份可信报告从一条请求接通SGLang,到独立配置、JSONL、N/C/r和原生稳态后处理。附小样例,讲清retry的版本语义、实际token长度和原始结果怎样保留。AISBenchSGLang压测方法性能指标12 分钟阅读更新于 2026-10-24阅读全文 ↗
入门 / 压测实践已读稍后读AISBench 的 whole、native、TPOT 和 ITL,到底在量什么?TPOT 10.4ms、ITL 58.6ms为何同时成立?沿固定AISBench源码解释请求时间线、事件加权、whole/native选样边界、并发封顶与两种输出token/s。AISBench性能指标SGLang流式输出压测方法12 分钟阅读更新于 2026-10-24阅读全文 ↗
进阶 / 压测实践已读稍后读128K 输入、90% 前缀缓存:怎样把压测场景真正跑准输入长度正确、请求全部成功,缓存却没达到九成。记录公共前缀、预热与逐条检查怎样把压测场景校准。前缀缓存压测方法PD 分离AISBench12 分钟阅读更新于 2026-10-24阅读全文 ↗