diff --git a/deploy/b300-k8s/README.md b/deploy/b300-k8s/README.md index b79675d78e..71cf0e0859 100644 --- a/deploy/b300-k8s/README.md +++ b/deploy/b300-k8s/README.md @@ -75,3 +75,24 @@ P/D 的 `sglang serve` 参数**完全一致**;差异只在 mooncake: - SSD 目录增长需监控(`/data` 当前约 7.6T 可用)。 - 旧镜像 `recipe-ns-433257c7b-baked-20261114` 与 `recipe-ns-a7c668a93-baked-20261114` 保留作回滚/对照。 + +## 6. Tokenizer A/B(2026-11-15,c580 / 1200s) + +同一 `ds41-gist-exp`(L3 SSD + mooncake 0.3.14)整栈重启,只切 P/D +`--tokenizer-backend`;AgentX c580 / 1200s / warmup 256 / seed 42,经 30400。 + +| 臂 | tokenizer | rps | in tok/s | out tok/s | TTFT p50/p95/p99 | ITL p50/p95/p99 | requests | +|---|---|---:|---:|---:|---|---|---:| +| A | `huggingface`(默认) | 23.789 | 2,257,661 | 22,224 | 2.043 / 4.176 / 7.579 s | 8.02 / 14.48 / 20.91 ms | 29,498 | +| B | **`fastokens`** | **24.045** | **2,289,885** | **22,475** | **1.746 / 3.676 / 6.820 s** | 8.13 / 11.65 / 14.87 ms | 29,816 | + +- 结论:fastokens 臂 **rps +1.1%**、TTFT p50/p95/p99 **−14.5% / −12.0% / −10.0%**; + ITL p95 的差异大概率是 run-to-run 噪声(decode 不走 tokenizer),不作为判据。 +- #48928 的分段编码已生效:容器内 `DeepSeekRecipe.from_hf_tokenizer(..., fastokens tokenizer)` + 的 `_fast_prompt_tokenizer` 非 None(`fastokens.Tokenizer`);服务端未打印 + “fastokens segmented” 日志,属日志路径差异,不影响结论。 +- **当前线上实验栈保留 fastokens 臂**;要回默认用 + `ds41-gist-exp-l3ssd-baked-20261115.yaml` 更新并整栈重启。 +- 单轮对比,c580 本身有方差;如需正式定论建议每臂 ≥3 轮。 +- SSD offload 已配置(master 报 `SSD Storage: 0 B / 2.00 TB`),本次 c580 工作集未触发 + SSD 逐出(`/data/ymk/mooncake-ssd` 约 20K),不是配置未生效。