Sampling01

从一次 Decode 读懂 SGLang：Tensor、缓存与下一枚 Token

刚生成的 Token，下一轮怎样变成模型输入？用三条请求的小批次串起长度、KV 写入、Attention、MoE 和采样。