build-sglang-image / build (push) Failing after 48m34s
打点实测单条 prefetch_io_aux_func 线程串行传输是所有请求的瓶颈: mc8 下每请求 xfer 排队 0->1.9s 线性增长(每请求 5 批 x ~68ms 固定开销, 介质无关)。本提交把传输层拆成 N 条并行 lane(默认 4, SGLANG_HICACHE_PREFETCH_IO_THREADS 可调): - dispatch_prefetch() 用 crc32(request_id) % N 分 lane(内置 hash 对 str 每进程加盐,跨 rank 不一致会导致 gloo 集合通信错位,禁用) - 同一 op 的所有 chunk 保持在同一 lane,保序 reduce 语义不变 - 每 lane 独立 io 队列 + io_aux 线程 + sync 队列 + sync 线程 + 独立 gloo completion 组(集合通信按 lane 过滤后的分发顺序保序) - query 阶段的 hit_reduce 仍在单 prefetch_thread,不动 - 生产点(hiradix/unified/hybrid pp-ticket)改调 dispatch_prefetch - 模拟器与两个单测文件同步适配 注意:SGLANG_HICACHE_PREFETCH_IO_THREADS 必须在实例内所有 TP/CP/PP rank 保持一致,否则 lane 组上的集合通信会错位挂死。