- /v1/responses 双向翻译(含流式 response.* 事件、tools、usage 全字段) - /v1/chat/completions 字节级透传 - STOP_SCOPE=content 内容侧 stop(保思维链 + matched_stop 回填) - b300 docker 构建 + 孔明 kaniko 构建 + 两版 cw manifest
53 lines
5.7 KiB
XML
53 lines
5.7 KiB
XML
<h1>六、new-api 网关层:参数覆盖链 + responses-shim(2026-09-30 上线)</h1>
|
||
<p>对外入口统一走 new-api 网关(<code>http://125.93.200.207:31000/</code>,模型名 <code>deepseek-v4.1-flash</code>)。sglang 原生不支持的官方 API 参数(reasoning_effort / thinking 开关 / responses 协议)在网关层补齐:<b>new-api 渠道"参数覆盖"</b>负责采样参数归一,<b>responses-shim</b>(孔明 cw <code>ds41-resp-shim</code>)负责 /v1/responses ⇄ /v1/chat/completions 双向翻译。new-api 渠道上游已改为 shim(<code>http://ds41-resp-shim:8080</code>),shim 再转发 ds41-3p1d router(ClusterIP <code>ds41-3p1d:50002</code>)。</p>
|
||
<whiteboard type="mermaid">flowchart LR
|
||
C[客户端] --> N[new-api :31000 参数覆盖链]
|
||
N --> S[responses-shim :8080 cw ds41-resp-shim]
|
||
S --> R[sgl-router ds41-3p1d:50002]
|
||
R --> P[P x3 prefill cp4+dspark]
|
||
R --> D[D decode dp2]
|
||
</whiteboard>
|
||
<h2>6.1 new-api 参数覆盖链(渠道高级设置 → 参数覆盖)</h2>
|
||
<p>目标:对上暴露 DeepSeek 官方 API 语义,对下翻译成 sglang 认识的参数。覆盖 ops 按顺序执行,要点:</p>
|
||
<ul>
|
||
<li><b>thinking 映射</b>:Claude 风格 <code>thinking.type=enabled/disabled</code> → <code>chat_template_kwargs.thinking=true/false</code>(sglang 用 chat template kwargs 控制思维链)。</li>
|
||
<li><b>reasoning_effort 归一</b>:官方取值 none/low/high/max,别名 minimal→low、medium/xhigh→high;落到 <code>chat_template_kwargs</code> 的 thinking 开关与 reasoning_effort。responses 请求另有一条豁免:<code>reasoning.effort</code> 由 shim 翻译,不在覆盖链重复处理。</li>
|
||
<li><b>temperature 条件钉 1</b>:思考模式下官方语义=不生效,强制 set 1;<b>关闭思考(none / thinking disabled)时跟随用户设置</b>——条件带 invert + pass_missing_key,缺省不补。</li>
|
||
<li><b>top_p 钳制</b>:思考模式有效范围 0.95–1.0,低于 0.95 按 0.95;非思考模式恒 1.0(传入忽略)。</li>
|
||
<li><b>max_tokens 缺省 65536</b>:<code>keep_origin=true</code>,用户传了不覆盖;responses 侧的 <code>max_output_tokens</code> 同理 keep_origin。</li>
|
||
</ul>
|
||
<p>验收:llm-api-preflight 13/13 通过(采样参数生效性、思考开关、默认值、/v1/messages 兼容路径),基线存档 <code>D:\B300\preflight\newapi-thinking-baseline-20260930.md</code>。</p>
|
||
<h2>6.2 responses-shim(/v1/responses 协议适配)</h2>
|
||
<p>sglang 不支持 <a href="https://api-docs.deepseek.com/zh-cn/api/create-response">官方 /v1/responses 协议</a>,new-api 只能透传不能翻译,所以在中间加了一层 shim:</p>
|
||
<ul>
|
||
<li><b>实现</b>:Go 单文件、纯 stdlib 零依赖;源码 <code>D:\B300\responses-shim\main.go</code>,b300 构建目录 <code>/data/ymk/build/responses-shim/</code>。</li>
|
||
<li><b>镜像</b>:<code>ymkymx/responses-shim:v0.2.3</code>(scratch 基础,~5.6MB,本机交叉编译 GOOS=linux GOARCH=amd64 CGO_ENABLED=0 → scp → b300 docker build → <code>ctr -n k8s.io images import</code> 侧载)。</li>
|
||
<li><b>部署</b>:孔明 cw <code>ds41-resp-shim</code>(manifest <code>D:\B300\build-kmctl\responses-shim-cw.yaml</code>),ClusterIP <code>ds41-resp-shim:8080</code>,钉 b300-01,资源 1 核 / 512Mi;env:<code>UPSTREAM_BASE=http://ds41-3p1d:50002</code>、<code>STOP_SCOPE=content</code>。</li>
|
||
<li><b>功能</b>:/v1/responses 双向翻译——入参 input / instructions / reasoning.effort / max_output_tokens / text.format / tools / tool_choice / top_logprobs / user / stop;流式输出完整 response.* 事件序列;usage 全字段透传(含 cached_tokens、reasoning_tokens——sglang 把 reasoning_tokens 放在顶层,v0.2.2 起收编进 output_tokens_details)。/v1/chat/completions 字节级透传不解析。</li>
|
||
<li><b>版本履历</b>:v0.2.0 内容侧 stop 截断(STOP_SCOPE=content);v0.2.1 usage details 透传;v0.2.2 reasoning_tokens 收编;v0.2.3 responses 路径 stop 参数修复。</li>
|
||
</ul>
|
||
<h2>6.3 已知坑与边界</h2>
|
||
<callout emoji="⚠️" background-color="light-yellow" border-color="yellow">
|
||
<ul>
|
||
<li><b>stop_sequence=null 救不了</b>:chat 路径 new-api 的 Claude 转换器不读上游 matched_stop 字段,响应里 stop_sequence 恒 null——shim 无法补齐,属网关转换器限制。</li>
|
||
<li><b>STOP_SCOPE=content 语义偏离</b>:stop 只截正文不截思维链(官方行为是连 reasoning 一起截)。如需严格对齐官方,改 STOP_SCOPE=all 重启。</li>
|
||
<li><b>previous_response_id 不支持</b>:responses 链式会话 ID 不生效(多轮需客户端自带历史)。</li>
|
||
<li><b>shim 单副本承接全量流量</b>:chat 透传也过 shim,1 核 / 512Mi 实测 1000 RPM 余量充足;若日后流量翻倍再扩副本(无状态可直接加)。</li>
|
||
<li><b>Windows scp 丢执行位</b>:二进制传到 b300 后必须 <code>chmod +x</code> 再 docker build,否则容器启动报 permission denied。</li>
|
||
<li><b>上游 PR #5209 若合入</b>(sglang 原生 responses 支持)shim 可退役,届时回滚 new-api 渠道上游直指 ds41-3p1d:50002 即可。</li>
|
||
</ul>
|
||
</callout>
|
||
<h2>6.4 运维速查</h2>
|
||
<pre lang="bash" caption="ds41-resp-shim 日常操作"><code># 查状态 / 日志 / 启停
|
||
wsl kmctl logs cw ds41-resp-shim
|
||
wsl kmctl {events,stop,start} cw ds41-resp-shim
|
||
|
||
# 改代码重建(本机绿色 Go:D:\B300\tools\go\bin\go.exe)
|
||
cd D:\B300\responses-shim
|
||
GOOS=linux GOARCH=amd64 CGO_ENABLED=0 go build -o responses-shim .
|
||
scp responses-shim 24.125.93.200.207:/data/ymk/build/responses-shim/
|
||
# b300 上:chmod +x → docker build -t ymkymx/responses-shim:vX.Y.Z .
|
||
# → docker save | ctr -n k8s.io images import -
|
||
# 改 manifest tag 后:wsl kmctl update cw ds41-resp-shim</code></pre>
|
||
<hr/>
|