minke.yu
319ee3c056
G9 P0: loads 排队预估字段 + /query_cache_hit 命中查询端点
A. 负载预估数据源(决策②总输入长度口径):
- LoadSnapshot 新增 queued_total_input_tokens / drain_rate_tokens_per_s
- load_inquirer 复用 pending_token_queues 求和;scheduler 60s 滑动窗
记录每请求最终 prefill chunk 完成事件(batch_result_processor 挂钩
set_prefill_finished_time 处,恰好每请求一次)
- /v1/loads 与 PUB socket 同源自动暴露,gateway LoadMonitor 零改动消费
B. /query_cache_hit(决策④放 D):
- io_struct 新增 QueryCacheHitReqInput/Output IPC 类型
- scheduler.handle_query_cache_hit:tree_cache.match_prefix(L1/L2)
+ query_storage_hit_length(共享 L3,逻辑镜像 decode_hicache_mixin)
- tokenizer_control_mixin:fan-out 全部 DP rank 取最优命中
- serving_chat.query_cache_hit:复用 _convert_to_internal_request +
_tokenize_one_request 保证 chat 模板/分词与真实路径一致;含图请求
v1 拒绝(multimodal 400);http_server 注册 /query_cache_hit
(cherry picked from commit 4eabf5e228)
2026-10-19 10:46:23 +08:00
..
2026-10-19 10:46:23 +08:00
2026-07-29 17:25:00 +08:00
2026-09-29 17:30:38 -07:00
2026-09-29 17:30:38 -07:00
2026-09-29 17:30:38 -07:00
2026-09-29 17:30:38 -07:00
2026-10-19 10:38:40 +08:00
2026-09-01 03:03:44 -07:00