minke.yu
4eabf5e228
G9 P0: loads 排队预估字段 + /query_cache_hit 命中查询端点
A. 负载预估数据源(决策②总输入长度口径):
- LoadSnapshot 新增 queued_total_input_tokens / drain_rate_tokens_per_s
- load_inquirer 复用 pending_token_queues 求和;scheduler 60s 滑动窗
记录每请求最终 prefill chunk 完成事件(batch_result_processor 挂钩
set_prefill_finished_time 处,恰好每请求一次)
- /v1/loads 与 PUB socket 同源自动暴露,gateway LoadMonitor 零改动消费
B. /query_cache_hit(决策④放 D):
- io_struct 新增 QueryCacheHitReqInput/Output IPC 类型
- scheduler.handle_query_cache_hit:tree_cache.match_prefix(L1/L2)
+ query_storage_hit_length(共享 L3,逻辑镜像 decode_hicache_mixin)
- tokenizer_control_mixin:fan-out 全部 DP rank 取最优命中
- serving_chat.query_cache_hit:复用 _convert_to_internal_request +
_tokenize_one_request 保证 chat 模板/分词与真实路径一致;含图请求
v1 拒绝(multimodal 400);http_server 注册 /query_cache_hit
2026-10-09 18:48:27 +08:00
..
2026-09-02 19:46:08 -07:00
2026-07-13 15:06:08 -07:00
2026-10-09 18:48:27 +08:00
2026-06-27 14:41:09 +01:00
2026-09-02 19:46:08 -07:00
2026-09-06 21:41:46 -07:00
2026-03-31 21:17:18 +08:00
2026-04-15 14:58:56 -07:00
2026-09-20 22:28:35 -07:00
2026-08-02 15:09:33 +08:00
2026-09-17 19:17:25 -07:00
2026-09-06 21:41:46 -07:00
2026-09-12 21:29:12 +08:00
2026-06-30 23:48:56 -07:00
2026-09-06 21:41:46 -07:00
2026-10-09 18:48:27 +08:00
2026-07-10 14:36:43 -07:00
2026-08-30 02:18:33 -07:00
2026-09-02 19:46:08 -07:00
2026-09-02 19:46:08 -07:00
2026-08-27 12:56:42 -07:00
2026-07-11 11:11:06 +08:00