六、new-api 网关层:参数覆盖链 + responses-shim(2026-09-30 上线)

对外入口统一走 new-api 网关(http://125.93.200.207:31000/,模型名 deepseek-v4.1-flash)。sglang 原生不支持的官方 API 参数(reasoning_effort / thinking 开关 / responses 协议)在网关层补齐:new-api 渠道"参数覆盖"负责采样参数归一,responses-shim(孔明 cw ds41-resp-shim)负责 /v1/responses ⇄ /v1/chat/completions 双向翻译。new-api 渠道上游已改为 shim(http://ds41-resp-shim:8080),shim 再转发 ds41-3p1d router(ClusterIP ds41-3p1d:50002)。

flowchart LR C[客户端] --> N[new-api :31000 参数覆盖链] N --> S[responses-shim :8080 cw ds41-resp-shim] S --> R[sgl-router ds41-3p1d:50002] R --> P[P x3 prefill cp4+dspark] R --> D[D decode dp2]

6.1 new-api 参数覆盖链(渠道高级设置 → 参数覆盖)

目标:对上暴露 DeepSeek 官方 API 语义,对下翻译成 sglang 认识的参数。覆盖 ops 按顺序执行,要点:

验收:llm-api-preflight 13/13 通过(采样参数生效性、思考开关、默认值、/v1/messages 兼容路径),基线存档 D:\B300\preflight\newapi-thinking-baseline-20260930.md。

6.2 responses-shim(/v1/responses 协议适配)

sglang 不支持 官方 /v1/responses 协议,new-api 只能透传不能翻译,所以在中间加了一层 shim:

6.3 已知坑与边界

6.4 运维速查

# 查状态 / 日志 / 启停
wsl kmctl logs cw ds41-resp-shim
wsl kmctl {events,stop,start} cw ds41-resp-shim

# 改代码重建(本机绿色 Go:D:\B300\tools\go\bin\go.exe)
cd D:\B300\responses-shim
GOOS=linux GOARCH=amd64 CGO_ENABLED=0 go build -o responses-shim .
scp responses-shim 24.125.93.200.207:/data/ymk/build/responses-shim/
# b300 上:chmod +x → docker build -t ymkymx/responses-shim:vX.Y.Z .
# → docker save | ctr -n k8s.io images import -
# 改 manifest tag 后:wsl kmctl update cw ds41-resp-shim