docs(deploy): fresh-instance multi-round tokenizer A/B (B2 TTFT p95 < 5s)
This commit is contained in:
@@ -96,3 +96,21 @@ P/D 的 `sglang serve` 参数**完全一致**;差异只在 mooncake:
|
||||
- 单轮对比,c580 本身有方差;如需正式定论建议每臂 ≥3 轮。
|
||||
- SSD offload 已配置(master 报 `SSD Storage: 0 B / 2.00 TB`),本次 c580 工作集未触发
|
||||
SSD 逐出(`/data/ymk/mooncake-ssd` 约 20K),不是配置未生效。
|
||||
|
||||
## 7. 多轮验证(2026-11-15,每轮整栈重启)
|
||||
|
||||
> 之前 B2/B3 在同一实例上连跑、未重启,数据受实例状态影响;下面只列**整栈重启后**的轮次。
|
||||
> 整栈重启 = `kmctl stop` + `update`(换臂),或同臂时删除 p/d/gateway/master 四个 Pod。
|
||||
|
||||
| 臂 | 轮次 | rps | TTFT p50/p95/p99 (s) | ITL p95 (ms) | requests |
|
||||
|---|---|---:|---|---:|---:|
|
||||
| A(huggingface) | A1 | 23.789 | 2.043 / 4.176 / 7.579 | 14.48 | 29,498 |
|
||||
| A | A2 | 23.552 | 2.305 / 5.894 / 8.600 | 15.05 | 29,205 |
|
||||
| B(fastokens) | B1 | 24.045 | 1.746 / 3.676 / 6.820 | 11.65 | 29,816 |
|
||||
| B | **B2(fresh)** | **24.040** | **1.708 / 3.451 / 7.105** | 11.71 | 29,810 |
|
||||
|
||||
- **B2 满足判据:TTFT p95 = 3.451s < 5s**,且与 B1(3.676s)一致;
|
||||
A 臂 fresh 轮 p95 为 4.176 / 5.894s。
|
||||
- fresh 轮均值:A rps 23.67 / p95 5.04s;B rps 24.04 / p95 3.56s
|
||||
(B +1.6% rps、p95 −29%)。
|
||||
- 结论:保留 fastokens;之前未重启的 B2/B3(p95 5.99/6.69s)仅作历史参考、不纳入。
|
||||
|
||||
Reference in New Issue
Block a user