对外入口统一走 new-api 网关(http://125.93.200.207:31000/,模型名 deepseek-v4.1-flash)。sglang 原生不支持的官方 API 参数(reasoning_effort / thinking 开关 / responses 协议)在网关层补齐:new-api 渠道"参数覆盖"负责采样参数归一,responses-shim(孔明 cw ds41-resp-shim)负责 /v1/responses ⇄ /v1/chat/completions 双向翻译。new-api 渠道上游已改为 shim(http://ds41-resp-shim:8080),shim 再转发 ds41-3p1d router(ClusterIP ds41-3p1d:50002)。
目标:对上暴露 DeepSeek 官方 API 语义,对下翻译成 sglang 认识的参数。覆盖 ops 按顺序执行,要点:
thinking.type=enabled/disabled → chat_template_kwargs.thinking=true/false(sglang 用 chat template kwargs 控制思维链)。chat_template_kwargs 的 thinking 开关与 reasoning_effort。responses 请求另有一条豁免:reasoning.effort 由 shim 翻译,不在覆盖链重复处理。keep_origin=true,用户传了不覆盖;responses 侧的 max_output_tokens 同理 keep_origin。验收:llm-api-preflight 13/13 通过(采样参数生效性、思考开关、默认值、/v1/messages 兼容路径),基线存档 D:\B300\preflight\newapi-thinking-baseline-20260930.md。
sglang 不支持 官方 /v1/responses 协议,new-api 只能透传不能翻译,所以在中间加了一层 shim:
D:\B300\responses-shim\main.go,b300 构建目录 /data/ymk/build/responses-shim/。ymkymx/responses-shim:v0.2.3(scratch 基础,~5.6MB,本机交叉编译 GOOS=linux GOARCH=amd64 CGO_ENABLED=0 → scp → b300 docker build → ctr -n k8s.io images import 侧载)。ds41-resp-shim(manifest D:\B300\build-kmctl\responses-shim-cw.yaml),ClusterIP ds41-resp-shim:8080,钉 b300-01,资源 1 核 / 512Mi;env:UPSTREAM_BASE=http://ds41-3p1d:50002、STOP_SCOPE=content。chmod +x 再 docker build,否则容器启动报 permission denied。# 查状态 / 日志 / 启停
wsl kmctl logs cw ds41-resp-shim
wsl kmctl {events,stop,start} cw ds41-resp-shim
# 改代码重建(本机绿色 Go:D:\B300\tools\go\bin\go.exe)
cd D:\B300\responses-shim
GOOS=linux GOARCH=amd64 CGO_ENABLED=0 go build -o responses-shim .
scp responses-shim 24.125.93.200.207:/data/ymk/build/responses-shim/
# b300 上:chmod +x → docker build -t ymkymx/responses-shim:vX.Y.Z .
# → docker save | ctr -n k8s.io images import -
# 改 manifest tag 后:wsl kmctl update cw ds41-resp-shim