B300 L3 Mooncake SSD 基线部署(2026-11-15)
以同事在
ds41-gist-exp上验证的 L3 Mooncake SSD 配置为基础,使用我们的b300/integration引擎代码 + 官方 mooncake 0.3.14,不再依赖 hostPath/opt/mooncake-latest。
1. 版本要求(重要)
- mooncake
0.3.14(mooncake-transfer-engine-cuda13,CUDA 13 / cp312 wheel)。- 镜像内原为
0.3.13.post1;0.3.14 含上游 SSD offload 相关修复/增强。 - wheel 与 sha256 见
requirements-mooncake.txt,安装必须--no-deps(基底已有运行时依赖)。
- 镜像内原为
- 引擎:
b300/integration@433257c7b(recipe namespace/chat-ns + 新 gateway)。 - 镜像:
sealos.hub:5000/prj-d7te67bj0sq2fgdrmbig/sglang:recipe-ns-l3ssd-433257c7b-baked-20261115(40.1GB,已ctr -n k8s.io images import;本地 docker tagymkymx/sglang:...同名)。 - 构建/装载:
./build-l3ssd-image.sh(下载校验 wheel → docker build → ctr import)。
镜像内 /opt/sglang/bin/mooncake_master 是 wrapper:设置 wheel .libs 的
LD_LIBRARY_PATH 后 exec 包内 master(已验证 0.3.14 (git e1ea5d3))。
2. L3 SSD 配置
mooncake-store-l3ssd.json:
{"master_server_address":"127.0.0.1:50051","metadata_server":"P2PHANDSHAKE",
"global_segment_size":"200gb","protocol":"tcp",
"enable_ssd_offload":true,"ssd_offload_path":"/data/ymk/mooncake-ssd"}
- 部署时把该文件放到节点
/data/ymk/ds41/mooncake-store-l3ssd.json,SSD 目录/data/ymk/mooncake-ssd需存在。 MOONCAKE_OFFLOAD_*:bucket_storage_backend/ 512GiB bucket 上限 /fifo/flush_partial=0(见 manifest)。- master 参数必须带
--enable_offload=true --offload_on_evict=true --promotion_on_hit=false --offload_force_evict=false。
3. manifest
| 文件 | 用途 |
|---|---|
ds41-l3ssd-test-baked-20261115.yaml |
新建 cw ds41-l3ssd-test(推荐先做基线验证) |
ds41-gist-exp-l3ssd-baked-20261115.yaml |
原名 ds41-gist-exp,用于直接更新原栈 |
已通过 kmctl create/update --dry-run 校验。启动前先停掉占用 8 卡的 stack
(ds41-recipe-ns-test 或旧 ds41-gist-exp),确认 GPU 归零:
kmctl create cw ds41-l3ssd-test --node-group B300 \
-f deploy/b300-k8s/ds41-l3ssd-test-baked-20261115.yaml
# 或替换原栈:
# kmctl update cw ds41-gist-exp -f deploy/b300-k8s/ds41-gist-exp-l3ssd-baked-20261115.yaml
端口/角色与旧 ds41-gist-exp 一致:master 50051、P 30000、D 30300、gateway 30400。
启动约 10-15 分钟;核对 P/D max_total_num_tokens 和 master 日志中的 SSD offload 初始化。
4. 与上一版配置的差异
P/D 的 sglang serve 参数完全一致;差异只在 mooncake:
| 项 | 旧(11-09) | 本基线 |
|---|---|---|
| mooncake | 镜像内 0.3.13.post1 | 镜像内 0.3.14 |
| master | /opt/sglang/bin/mooncake_master,无 offload |
同路径(0.3.14 wrapper),带 offload 参数 |
| P/D PYTHONPATH | 无 | 无(0.3.14 已烘入) |
| L3 配置 | 纯 TCP,无 SSD | enable_ssd_offload + ssd_offload_path |
MOONCAKE_OFFLOAD_* |
无 | bucket backend / 512GiB / fifo / flush_partial=0 |
| TMPDIR/XDG/HF | 默认//data/ymk |
/data/ymk/l3ssd/{master,p,d}-* |
5. 注意
- 同事原配置使用
SGLANG_TRACE_LOOP_SAMPLE=1.0(全量 detail tracing,约 2% 吞吐 + p95 开销)。本基线为对齐其配置保留 1.0;正式上线建议改回0.05。 global_segment_size=200gb+ 512GiB SSD offload:上线前按宿主内存总账复核。- SSD 目录增长需监控(
/data当前约 7.6T 可用)。 - 旧镜像
recipe-ns-433257c7b-baked-20261114与recipe-ns-a7c668a93-baked-20261114保留作回滚/对照。
6. Tokenizer A/B(2026-11-15,c580 / 1200s)
同一 ds41-gist-exp(L3 SSD + mooncake 0.3.14)整栈重启,只切 P/D
--tokenizer-backend;AgentX c580 / 1200s / warmup 256 / seed 42,经 30400。
| 臂 | tokenizer | rps | in tok/s | out tok/s | TTFT p50/p95/p99 | ITL p50/p95/p99 | requests |
|---|---|---|---|---|---|---|---|
| A | huggingface(默认) |
23.789 | 2,257,661 | 22,224 | 2.043 / 4.176 / 7.579 s | 8.02 / 14.48 / 20.91 ms | 29,498 |
| B | fastokens |
24.045 | 2,289,885 | 22,475 | 1.746 / 3.676 / 6.820 s | 8.13 / 11.65 / 14.87 ms | 29,816 |
- 结论:fastokens 臂 rps +1.1%、TTFT p50/p95/p99 −14.5% / −12.0% / −10.0%; ITL p95 的差异大概率是 run-to-run 噪声(decode 不走 tokenizer),不作为判据。
- #48928 的分段编码已生效:容器内
DeepSeekRecipe.from_hf_tokenizer(..., fastokens tokenizer)的_fast_prompt_tokenizer非 None(fastokens.Tokenizer);服务端未打印 “fastokens segmented” 日志,属日志路径差异,不影响结论。 - 当前线上实验栈保留 fastokens 臂;要回默认用
ds41-gist-exp-l3ssd-baked-20261115.yaml更新并整栈重启。 - 单轮对比,c580 本身有方差;如需正式定论建议每臂 ≥3 轮。
- SSD offload 已配置(master 报
SSD Storage: 0 B / 2.00 TB),本次 c580 工作集未触发 SSD 逐出(/data/ymk/mooncake-ssd约 20K),不是配置未生效。
7. 多轮验证(2026-11-15,每轮整栈重启)
之前 B2/B3 在同一实例上连跑、未重启,数据受实例状态影响;下面只列整栈重启后的轮次。 整栈重启 =
kmctl stop+update(换臂),或同臂时删除 p/d/gateway/master 四个 Pod。
| 臂 | 轮次 | rps | TTFT p50/p95/p99 (s) | ITL p95 (ms) | requests |
|---|---|---|---|---|---|
| A(huggingface) | A1 | 23.789 | 2.043 / 4.176 / 7.579 | 14.48 | 29,498 |
| A | A2 | 23.552 | 2.305 / 5.894 / 8.600 | 15.05 | 29,205 |
| B(fastokens) | B1 | 24.045 | 1.746 / 3.676 / 6.820 | 11.65 | 29,816 |
| B | B2(fresh) | 24.040 | 1.708 / 3.451 / 7.105 | 11.71 | 29,810 |
- B2 满足判据:TTFT p95 = 3.451s < 5s,且与 B1(3.676s)一致; A 臂 fresh 轮 p95 为 4.176 / 5.894s。
- fresh 轮均值:A rps 23.67 / p95 5.04s;B rps 24.04 / p95 3.56s (B +1.6% rps、p95 −29%)。
- 结论:保留 fastokens;之前未重启的 B2/B3(p95 5.99/6.69s)仅作历史参考、不纳入。
8. L3 SSD 4TB + offload_on_evict=false(2026-11-15)
- 启动清单
ds41-gist-exp-l3ssd-fastokens-20261115.yaml已改:master--offload_on_evict=false;P 的MOONCAKE_OFFLOAD_BUCKET_MAX_TOTAL_SIZE/MOONCAKE_OFFLOAD_TOTAL_SIZE_LIMIT_BYTES改为 1 TiB/rank,4 rank 合计 master 报SSD Storage: 0 B / 4.00 TB。 - 每次实验前必须重置 L3:stop cw → 确认 Terminated 0/0 + GPU 0 MiB →
bash clean_l3ssd_cache.sh(删除/data/ymk/mooncake-ssd下的 rank_*)→ update/start。 本次清理释放 1.2T,/data可用 6.4T→7.5T。 - c580(1200s,warmup 256,seed 42,fastokens,干净 L3): rps 24.003、in 2.285M tok/s、out 22,447、TTFT p50/p95/p99 1.768/3.500/7.549s、 ITL 8.15/11.74/15.31ms、29,764 请求、0 错误、valid。 对比 B1/B2:24.045/1.746/3.676/6.820 与 24.040/1.708/3.451/7.105—— 吞吐与尾延迟均在方差内,没有可归因于 offload_on_evict/4TB/清理的收益或回归。
- 重要:
offload_on_evict=false并没有停止 SSD 写入。run 后 masterSSD Storage: 533.81 GB / 4.00 TB,du /data/ymk/mooncake-ssd = 535G; 这是--hicache-write-policy write_through的 backup 写入,和内存 eviction 无关。 若要真正避免 SSD 写入,需要改write_back或关闭--enable_offload,但那会改变 L3 语义,需另做 A/B。 - run 后 P cgroup
memory.current=2,198,904,565,760≈ 2047.5 GiB,已顶到 2 TiB limit;宿主 MemAvailable 1.2 TiB。下一次实验前必须先停/清/重启;不要在同一实例 上连续跑,否则 L3 与 cgroup 都处于顶格状态。