# cp8 单机非 PD 测试（2026-09-23 晚）
# 背景：dp8 单机 dspark 健康但长上下文 prefill 结构性慢（单请求只落 1 rank），
#       换 cp8（tp8 + interleave prefill CP8，单请求 prefill 切到 8 卡）对照。
#       关 engram、无 hicache L3、无 PD。cp+dspark 无 replay 是已知健康组合
#       （cp4+dspark+replay 三元组必崩，本配置不开 replay）。
# GPU 0-7，端口 30000，容器 ds41-cp8，project cp8
services:
  cp8:
    image: ymkymx/sglang:dsv41-pd-visioncp-db7d2cb7d-fix
    container_name: ds41-cp8
    shm_size: "32gb"
    ipc: host
    privileged: true
    network_mode: host
    environment:
      SGLANG_RAGGED_VERIFY_MODE: "static"
      CUDA_VISIBLE_DEVICES: "0,1,2,3,4,5,6,7"
    volumes:
      - /data:/data
      - /data/ymk/cache/sglang:/root/.cache/sglang
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    command: >
      sglang serve
      --trust-remote-code
      --model-path /data/models/DeepSeek-V4.1-Flash
      --tp 8 --ep-size 8
      --enable-prefill-cp --cp-strategy interleave
      --mem-fraction-static 0.80
      --attention-backend dsv4
      --moe-runner-backend flashinfer_mxfp4
      --cuda-graph-max-bs-decode 64
      --reasoning-parser auto --tool-call-parser auto
      --default-chat-template-kwargs '{"thinking": true, "reasoning_effort": "high"}'
      --max-running-requests 64
      --tokenizer-worker-num 8
      --host 0.0.0.0 --port 30000
      --enable-cache-report --enable-metrics
      --speculative-algorithm DSPARK --speculative-dspark-block-size 5