- /v1/responses 双向翻译(含流式 response.* 事件、tools、usage 全字段) - /v1/chat/completions 字节级透传 - STOP_SCOPE=content 内容侧 stop(保思维链 + matched_stop 回填) - b300 docker 构建 + 孔明 kaniko 构建 + 两版 cw manifest
5 lines
1.1 KiB
XML
5 lines
1.1 KiB
XML
<h3>2026-09-30 | new-api 参数覆盖链 + responses-shim 上线(v0.1.0→v0.2.3)</h3>
|
||
<p><b>背景</b>:sglang 不支持官方 reasoning_effort / thinking 开关语义与 /v1/responses 协议,new-api 只能透传。</p>
|
||
<p><b>改动</b>:①new-api 渠道参数覆盖链——thinking⇄chat_template_kwargs 映射、reasoning_effort 归一(含 minimal/medium/xhigh 别名)、temperature 思考模式钉 1(关思考跟随用户)、top_p 钳 0.95、max_tokens 缺省 65536 keep_origin;preflight 验收 13/13。②新建 responses-shim(Go stdlib 单文件,scratch 镜像 5.6MB),孔明 cw ds41-resp-shim(ClusterIP ds41-resp-shim:8080,钉 b300-01,上游 ds41-3p1d:50002);new-api 渠道上游改指 shim。当天迭代至 v0.2.3:内容侧 stop 截断(STOP_SCOPE=content)、usage details 透传、reasoning_tokens 收编、responses 路径 stop 修复。</p>
|
||
<p><b>边界</b>:chat 路径响应 stop_sequence=null 属 new-api Claude 转换器限制救不了;previous_response_id 不支持;上游 sglang PR #5209 合入后 shim 可退役。详见六、new-api 网关层。</p>
|