Files
responses-shim/feishu-chapter.xml
minke.yu ccdd9df1d3 responses-shim v0.2.3: DeepSeek Responses -> chat completions shim
- /v1/responses 双向翻译(含流式 response.* 事件、tools、usage 全字段)
- /v1/chat/completions 字节级透传
- STOP_SCOPE=content 内容侧 stop(保思维链 + matched_stop 回填)
- b300 docker 构建 + 孔明 kaniko 构建 + 两版 cw manifest
2026-09-30 17:44:41 +08:00

53 lines
5.7 KiB
XML
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
<h1>六、new-api 网关层:参数覆盖链 + responses-shim(2026-09-30 上线)</h1>
<p>对外入口统一走 new-api 网关(<code>http://125.93.200.207:31000/</code>,模型名 <code>deepseek-v4.1-flash</code>)。sglang 原生不支持的官方 API 参数(reasoning_effort / thinking 开关 / responses 协议)在网关层补齐:<b>new-api 渠道"参数覆盖"</b>负责采样参数归一,<b>responses-shim</b>(孔明 cw <code>ds41-resp-shim</code>)负责 /v1/responses ⇄ /v1/chat/completions 双向翻译。new-api 渠道上游已改为 shim(<code>http://ds41-resp-shim:8080</code>),shim 再转发 ds41-3p1d router(ClusterIP <code>ds41-3p1d:50002</code>)。</p>
<whiteboard type="mermaid">flowchart LR
C[客户端] --&gt; N[new-api :31000 参数覆盖链]
N --&gt; S[responses-shim :8080 cw ds41-resp-shim]
S --&gt; R[sgl-router ds41-3p1d:50002]
R --&gt; P[P x3 prefill cp4+dspark]
R --&gt; D[D decode dp2]
</whiteboard>
<h2>6.1 new-api 参数覆盖链(渠道高级设置 → 参数覆盖)</h2>
<p>目标:对上暴露 DeepSeek 官方 API 语义,对下翻译成 sglang 认识的参数。覆盖 ops 按顺序执行,要点:</p>
<ul>
<li><b>thinking 映射</b>:Claude 风格 <code>thinking.type=enabled/disabled</code> → <code>chat_template_kwargs.thinking=true/false</code>(sglang 用 chat template kwargs 控制思维链)。</li>
<li><b>reasoning_effort 归一</b>:官方取值 none/low/high/max,别名 minimal→low、medium/xhigh→high;落到 <code>chat_template_kwargs</code> 的 thinking 开关与 reasoning_effort。responses 请求另有一条豁免:<code>reasoning.effort</code> 由 shim 翻译,不在覆盖链重复处理。</li>
<li><b>temperature 条件钉 1</b>:思考模式下官方语义=不生效,强制 set 1;<b>关闭思考(none / thinking disabled)时跟随用户设置</b>——条件带 invert + pass_missing_key,缺省不补。</li>
<li><b>top_p 钳制</b>:思考模式有效范围 0.95–1.0,低于 0.95 按 0.95;非思考模式恒 1.0(传入忽略)。</li>
<li><b>max_tokens 缺省 65536</b>:<code>keep_origin=true</code>,用户传了不覆盖;responses 侧的 <code>max_output_tokens</code> 同理 keep_origin。</li>
</ul>
<p>验收:llm-api-preflight 13/13 通过(采样参数生效性、思考开关、默认值、/v1/messages 兼容路径),基线存档 <code>D:\B300\preflight\newapi-thinking-baseline-20260930.md</code>。</p>
<h2>6.2 responses-shim(/v1/responses 协议适配)</h2>
<p>sglang 不支持 <a href="https://api-docs.deepseek.com/zh-cn/api/create-response">官方 /v1/responses 协议</a>,new-api 只能透传不能翻译,所以在中间加了一层 shim:</p>
<ul>
<li><b>实现</b>:Go 单文件、纯 stdlib 零依赖;源码 <code>D:\B300\responses-shim\main.go</code>,b300 构建目录 <code>/data/ymk/build/responses-shim/</code>。</li>
<li><b>镜像</b>:<code>ymkymx/responses-shim:v0.2.3</code>(scratch 基础,~5.6MB,本机交叉编译 GOOS=linux GOARCH=amd64 CGO_ENABLED=0 → scp → b300 docker build → <code>ctr -n k8s.io images import</code> 侧载)。</li>
<li><b>部署</b>:孔明 cw <code>ds41-resp-shim</code>(manifest <code>D:\B300\build-kmctl\responses-shim-cw.yaml</code>),ClusterIP <code>ds41-resp-shim:8080</code>,钉 b300-01,资源 1 核 / 512Mi;env:<code>UPSTREAM_BASE=http://ds41-3p1d:50002</code>、<code>STOP_SCOPE=content</code>。</li>
<li><b>功能</b>:/v1/responses 双向翻译——入参 input / instructions / reasoning.effort / max_output_tokens / text.format / tools / tool_choice / top_logprobs / user / stop;流式输出完整 response.* 事件序列;usage 全字段透传(含 cached_tokens、reasoning_tokens——sglang 把 reasoning_tokens 放在顶层,v0.2.2 起收编进 output_tokens_details)。/v1/chat/completions 字节级透传不解析。</li>
<li><b>版本履历</b>:v0.2.0 内容侧 stop 截断(STOP_SCOPE=content);v0.2.1 usage details 透传;v0.2.2 reasoning_tokens 收编;v0.2.3 responses 路径 stop 参数修复。</li>
</ul>
<h2>6.3 已知坑与边界</h2>
<callout emoji="⚠️" background-color="light-yellow" border-color="yellow">
<ul>
<li><b>stop_sequence=null 救不了</b>:chat 路径 new-api 的 Claude 转换器不读上游 matched_stop 字段,响应里 stop_sequence 恒 null——shim 无法补齐,属网关转换器限制。</li>
<li><b>STOP_SCOPE=content 语义偏离</b>:stop 只截正文不截思维链(官方行为是连 reasoning 一起截)。如需严格对齐官方,改 STOP_SCOPE=all 重启。</li>
<li><b>previous_response_id 不支持</b>:responses 链式会话 ID 不生效(多轮需客户端自带历史)。</li>
<li><b>shim 单副本承接全量流量</b>:chat 透传也过 shim,1 核 / 512Mi 实测 1000 RPM 余量充足;若日后流量翻倍再扩副本(无状态可直接加)。</li>
<li><b>Windows scp 丢执行位</b>:二进制传到 b300 后必须 <code>chmod +x</code> 再 docker build,否则容器启动报 permission denied。</li>
<li><b>上游 PR #5209 若合入</b>(sglang 原生 responses 支持)shim 可退役,届时回滚 new-api 渠道上游直指 ds41-3p1d:50002 即可。</li>
</ul>
</callout>
<h2>6.4 运维速查</h2>
<pre lang="bash" caption="ds41-resp-shim 日常操作"><code># 查状态 / 日志 / 启停
wsl kmctl logs cw ds41-resp-shim
wsl kmctl {events,stop,start} cw ds41-resp-shim
# 改代码重建(本机绿色 Go:D:\B300\tools\go\bin\go.exe)
cd D:\B300\responses-shim
GOOS=linux GOARCH=amd64 CGO_ENABLED=0 go build -o responses-shim .
scp responses-shim 24.125.93.200.207:/data/ymk/build/responses-shim/
# b300 上:chmod +x → docker build -t ymkymx/responses-shim:vX.Y.Z .
# → docker save | ctr -n k8s.io images import -
# 改 manifest tag 后:wsl kmctl update cw ds41-resp-shim</code></pre>
<hr/>