Files
..

B300 L3 Mooncake SSD 基线部署(2026-11-15)

以同事在 ds41-gist-exp 上验证的 L3 Mooncake SSD 配置为基础,使用我们的 b300/integration 引擎代码 + 官方 mooncake 0.3.14,不再依赖 hostPath /opt/mooncake-latest。

1. 版本要求(重要)

  • mooncake 0.3.14(mooncake-transfer-engine-cuda13,CUDA 13 / cp312 wheel)。
    • 镜像内原为 0.3.13.post1;0.3.14 含上游 SSD offload 相关修复/增强。
    • wheel 与 sha256 见 requirements-mooncake.txt,安装必须 --no-deps(基底已有运行时依赖)。
  • 引擎:b300/integration @ 433257c7b(recipe namespace/chat-ns + 新 gateway)。
  • 镜像:sealos.hub:5000/prj-d7te67bj0sq2fgdrmbig/sglang:recipe-ns-l3ssd-433257c7b-baked-20261115 (40.1GB,已 ctr -n k8s.io images import;本地 docker tag ymkymx/sglang:... 同名)。
  • 构建/装载:./build-l3ssd-image.sh(下载校验 wheel → docker build → ctr import)。

镜像内 /opt/sglang/bin/mooncake_master 是 wrapper:设置 wheel .libs 的 LD_LIBRARY_PATH 后 exec 包内 master(已验证 0.3.14 (git e1ea5d3))。

2. L3 SSD 配置

mooncake-store-l3ssd.json:

{"master_server_address":"127.0.0.1:50051","metadata_server":"P2PHANDSHAKE",
 "global_segment_size":"200gb","protocol":"tcp",
 "enable_ssd_offload":true,"ssd_offload_path":"/data/ymk/mooncake-ssd"}
  • 部署时把该文件放到节点 /data/ymk/ds41/mooncake-store-l3ssd.json,SSD 目录 /data/ymk/mooncake-ssd 需存在。
  • MOONCAKE_OFFLOAD_*:bucket_storage_backend / 512GiB bucket 上限 / fifo / flush_partial=0(见 manifest)。
  • master 参数必须带 --enable_offload=true --offload_on_evict=true --promotion_on_hit=false --offload_force_evict=false。

3. manifest

文件 用途
ds41-l3ssd-test-baked-20261115.yaml 新建 cw ds41-l3ssd-test(推荐先做基线验证)
ds41-gist-exp-l3ssd-baked-20261115.yaml 原名 ds41-gist-exp,用于直接更新原栈

已通过 kmctl create/update --dry-run 校验。启动前先停掉占用 8 卡的 stack (ds41-recipe-ns-test 或旧 ds41-gist-exp),确认 GPU 归零:

kmctl create cw ds41-l3ssd-test --node-group B300 \
  -f deploy/b300-k8s/ds41-l3ssd-test-baked-20261115.yaml
# 或替换原栈:
# kmctl update cw ds41-gist-exp -f deploy/b300-k8s/ds41-gist-exp-l3ssd-baked-20261115.yaml

端口/角色与旧 ds41-gist-exp 一致:master 50051、P 30000、D 30300、gateway 30400。 启动约 10-15 分钟;核对 P/D max_total_num_tokens 和 master 日志中的 SSD offload 初始化。

4. 与上一版配置的差异

P/D 的 sglang serve 参数完全一致;差异只在 mooncake:

项 旧(11-09) 本基线
mooncake 镜像内 0.3.13.post1 镜像内 0.3.14
master /opt/sglang/bin/mooncake_master,无 offload 同路径(0.3.14 wrapper),带 offload 参数
P/D PYTHONPATH 无 无(0.3.14 已烘入)
L3 配置 纯 TCP,无 SSD enable_ssd_offload + ssd_offload_path
MOONCAKE_OFFLOAD_* 无 bucket backend / 512GiB / fifo / flush_partial=0
TMPDIR/XDG/HF 默认//data/ymk /data/ymk/l3ssd/{master,p,d}-*

5. 注意

  • 同事原配置使用 SGLANG_TRACE_LOOP_SAMPLE=1.0(全量 detail tracing,约 2% 吞吐 + p95 开销)。本基线为对齐其配置保留 1.0;正式上线建议改回 0.05。
  • global_segment_size=200gb + 512GiB SSD offload:上线前按宿主内存总账复核。
  • SSD 目录增长需监控(/data 当前约 7.6T 可用)。
  • 旧镜像 recipe-ns-433257c7b-baked-20261114 与 recipe-ns-a7c668a93-baked-20261114 保留作回滚/对照。

6. Tokenizer A/B(2026-11-15,c580 / 1200s)

同一 ds41-gist-exp(L3 SSD + mooncake 0.3.14)整栈重启,只切 P/D --tokenizer-backend;AgentX c580 / 1200s / warmup 256 / seed 42,经 30400。

臂 tokenizer rps in tok/s out tok/s TTFT p50/p95/p99 ITL p50/p95/p99 requests
A huggingface(默认) 23.789 2,257,661 22,224 2.043 / 4.176 / 7.579 s 8.02 / 14.48 / 20.91 ms 29,498
B fastokens 24.045 2,289,885 22,475 1.746 / 3.676 / 6.820 s 8.13 / 11.65 / 14.87 ms 29,816
  • 结论:fastokens 臂 rps +1.1%、TTFT p50/p95/p99 −14.5% / −12.0% / −10.0%; ITL p95 的差异大概率是 run-to-run 噪声(decode 不走 tokenizer),不作为判据。
  • #48928 的分段编码已生效:容器内 DeepSeekRecipe.from_hf_tokenizer(..., fastokens tokenizer) 的 _fast_prompt_tokenizer 非 None(fastokens.Tokenizer);服务端未打印 “fastokens segmented” 日志,属日志路径差异,不影响结论。
  • 当前线上实验栈保留 fastokens 臂;要回默认用 ds41-gist-exp-l3ssd-baked-20261115.yaml 更新并整栈重启。
  • 单轮对比,c580 本身有方差;如需正式定论建议每臂 ≥3 轮。
  • SSD offload 已配置(master 报 SSD Storage: 0 B / 2.00 TB),本次 c580 工作集未触发 SSD 逐出(/data/ymk/mooncake-ssd 约 20K),不是配置未生效。

7. 多轮验证(2026-11-15,每轮整栈重启)

之前 B2/B3 在同一实例上连跑、未重启,数据受实例状态影响;下面只列整栈重启后的轮次。 整栈重启 = kmctl stop + update(换臂),或同臂时删除 p/d/gateway/master 四个 Pod。

臂 轮次 rps TTFT p50/p95/p99 (s) ITL p95 (ms) requests
A(huggingface) A1 23.789 2.043 / 4.176 / 7.579 14.48 29,498
A A2 23.552 2.305 / 5.894 / 8.600 15.05 29,205
B(fastokens) B1 24.045 1.746 / 3.676 / 6.820 11.65 29,816
B B2(fresh) 24.040 1.708 / 3.451 / 7.105 11.71 29,810
  • B2 满足判据:TTFT p95 = 3.451s < 5s,且与 B1(3.676s)一致; A 臂 fresh 轮 p95 为 4.176 / 5.894s。
  • fresh 轮均值:A rps 23.67 / p95 5.04s;B rps 24.04 / p95 3.56s (B +1.6% rps、p95 −29%)。
  • 结论:保留 fastokens;之前未重启的 B2/B3(p95 5.99/6.69s)仅作历史参考、不纳入。

8. L3 SSD 4TB + offload_on_evict=false(2026-11-15)

  • 启动清单 ds41-gist-exp-l3ssd-fastokens-20261115.yaml 已改:master --offload_on_evict=false;P 的 MOONCAKE_OFFLOAD_BUCKET_MAX_TOTAL_SIZE / MOONCAKE_OFFLOAD_TOTAL_SIZE_LIMIT_BYTES 改为 1 TiB/rank,4 rank 合计 master 报 SSD Storage: 0 B / 4.00 TB。
  • 每次实验前必须重置 L3:stop cw → 确认 Terminated 0/0 + GPU 0 MiB → bash clean_l3ssd_cache.sh(删除 /data/ymk/mooncake-ssd 下的 rank_*)→ update/start。 本次清理释放 1.2T,/data 可用 6.4T→7.5T。
  • c580(1200s,warmup 256,seed 42,fastokens,干净 L3): rps 24.003、in 2.285M tok/s、out 22,447、TTFT p50/p95/p99 1.768/3.500/7.549s、 ITL 8.15/11.74/15.31ms、29,764 请求、0 错误、valid。 对比 B1/B2:24.045/1.746/3.676/6.820 与 24.040/1.708/3.451/7.105—— 吞吐与尾延迟均在方差内,没有可归因于 offload_on_evict/4TB/清理的收益或回归。
  • 重要:offload_on_evict=false 并没有停止 SSD 写入。run 后 master SSD Storage: 533.81 GB / 4.00 TB,du /data/ymk/mooncake-ssd = 535G; 这是 --hicache-write-policy write_through 的 backup 写入,和内存 eviction 无关。 若要真正避免 SSD 写入,需要改 write_back 或关闭 --enable_offload,但那会改变 L3 语义,需另做 A/B。
  • run 后 P cgroup memory.current=2,198,904,565,760 ≈ 2047.5 GiB,已顶到 2 TiB limit;宿主 MemAvailable 1.2 TiB。下一次实验前必须先停/清/重启;不要在同一实例 上连续跑,否则 L3 与 cgroup 都处于顶格状态。