From 42f228bfb8728fdcddbbc34b70770b2ba2b92b98 Mon Sep 17 00:00:00 2001 From: "minke.yu" Date: Sun, 15 Nov 2026 18:20:53 +0800 Subject: [PATCH] docs(deploy): fresh-instance multi-round tokenizer A/B (B2 TTFT p95 < 5s) --- deploy/b300-k8s/README.md | 18 ++++++++++++++++++ 1 file changed, 18 insertions(+) diff --git a/deploy/b300-k8s/README.md b/deploy/b300-k8s/README.md index 71cf0e0859..e5b09c2536 100644 --- a/deploy/b300-k8s/README.md +++ b/deploy/b300-k8s/README.md @@ -96,3 +96,21 @@ P/D 的 `sglang serve` 参数**完全一致**;差异只在 mooncake: - 单轮对比,c580 本身有方差;如需正式定论建议每臂 ≥3 轮。 - SSD offload 已配置(master 报 `SSD Storage: 0 B / 2.00 TB`),本次 c580 工作集未触发 SSD 逐出(`/data/ymk/mooncake-ssd` 约 20K),不是配置未生效。 + +## 7. 多轮验证(2026-11-15,每轮整栈重启) + +> 之前 B2/B3 在同一实例上连跑、未重启,数据受实例状态影响;下面只列**整栈重启后**的轮次。 +> 整栈重启 = `kmctl stop` + `update`(换臂),或同臂时删除 p/d/gateway/master 四个 Pod。 + +| 臂 | 轮次 | rps | TTFT p50/p95/p99 (s) | ITL p95 (ms) | requests | +|---|---|---:|---|---:|---:| +| A(huggingface) | A1 | 23.789 | 2.043 / 4.176 / 7.579 | 14.48 | 29,498 | +| A | A2 | 23.552 | 2.305 / 5.894 / 8.600 | 15.05 | 29,205 | +| B(fastokens) | B1 | 24.045 | 1.746 / 3.676 / 6.820 | 11.65 | 29,816 | +| B | **B2(fresh)** | **24.040** | **1.708 / 3.451 / 7.105** | 11.71 | 29,810 | + +- **B2 满足判据:TTFT p95 = 3.451s < 5s**,且与 B1(3.676s)一致; + A 臂 fresh 轮 p95 为 4.176 / 5.894s。 +- fresh 轮均值:A rps 23.67 / p95 5.04s;B rps 24.04 / p95 3.56s + (B +1.6% rps、p95 −29%)。 +- 结论:保留 fastokens;之前未重启的 B2/B3(p95 5.99/6.69s)仅作历史参考、不纳入。