docs(deploy): record L3 SSD tokenizer A/B (fastokens vs huggingface)

This commit is contained in:
2026-11-15 15:49:56 +08:00
parent 2eb163ad73
commit 242a7ad23a
+21
View File
@@ -75,3 +75,24 @@ P/D 的 `sglang serve` 参数**完全一致**;差异只在 mooncake:
- SSD 目录增长需监控(`/data` 当前约 7.6T 可用)。
- 旧镜像 `recipe-ns-433257c7b-baked-20261114` 与 `recipe-ns-a7c668a93-baked-20261114`
保留作回滚/对照。
## 6. Tokenizer A/B(2026-11-15,c580 / 1200s)
同一 `ds41-gist-exp`(L3 SSD + mooncake 0.3.14)整栈重启,只切 P/D
`--tokenizer-backend`;AgentX c580 / 1200s / warmup 256 / seed 42,经 30400。
| 臂 | tokenizer | rps | in tok/s | out tok/s | TTFT p50/p95/p99 | ITL p50/p95/p99 | requests |
|---|---|---:|---:|---:|---|---|---:|
| A | `huggingface`(默认) | 23.789 | 2,257,661 | 22,224 | 2.043 / 4.176 / 7.579 s | 8.02 / 14.48 / 20.91 ms | 29,498 |
| B | **`fastokens`** | **24.045** | **2,289,885** | **22,475** | **1.746 / 3.676 / 6.820 s** | 8.13 / 11.65 / 14.87 ms | 29,816 |
- 结论:fastokens 臂 **rps +1.1%**、TTFT p50/p95/p99 **−14.5% / −12.0% / −10.0%**;
ITL p95 的差异大概率是 run-to-run 噪声(decode 不走 tokenizer),不作为判据。
- #48928 的分段编码已生效:容器内 `DeepSeekRecipe.from_hf_tokenizer(..., fastokens tokenizer)`
的 `_fast_prompt_tokenizer` 非 None(`fastokens.Tokenizer`);服务端未打印
“fastokens segmented” 日志,属日志路径差异,不影响结论。
- **当前线上实验栈保留 fastokens 臂**;要回默认用
`ds41-gist-exp-l3ssd-baked-20261115.yaml` 更新并整栈重启。
- 单轮对比,c580 本身有方差;如需正式定论建议每臂 ≥3 轮。
- SSD offload 已配置(master 报 `SSD Storage: 0 B / 2.00 TB`),本次 c580 工作集未触发
SSD 逐出(`/data/ymk/mooncake-ssd` 约 20K),不是配置未生效。