docs(cookbook): Kimi-K3 — drop --enable-symm-mem from the GB cells (#34444)
Co-authored-by: Claude Opus 5 (1M context) <noreply@anthropic.com>
This commit is contained in:
co-authored by
Claude Opus 5
parent
d5d41d07ed
commit
59450c4f18
@@ -1231,7 +1231,6 @@ export const config = {
|
|||||||
"--trust-remote-code",
|
"--trust-remote-code",
|
||||||
"--model-path {{MODEL_NAME}}",
|
"--model-path {{MODEL_NAME}}",
|
||||||
"--tp-size 8",
|
"--tp-size 8",
|
||||||
"--enable-symm-mem",
|
|
||||||
"--mem-fraction-static 0.85",
|
"--mem-fraction-static 0.85",
|
||||||
"--reasoning-parser kimi_k3",
|
"--reasoning-parser kimi_k3",
|
||||||
"--tool-call-parser kimi_k3",
|
"--tool-call-parser kimi_k3",
|
||||||
@@ -1296,7 +1295,6 @@ export const config = {
|
|||||||
"--trust-remote-code",
|
"--trust-remote-code",
|
||||||
"--model-path {{MODEL_NAME}}",
|
"--model-path {{MODEL_NAME}}",
|
||||||
"--tp-size 16",
|
"--tp-size 16",
|
||||||
"--enable-symm-mem",
|
|
||||||
"--mem-fraction-static 0.85",
|
"--mem-fraction-static 0.85",
|
||||||
"--reasoning-parser kimi_k3",
|
"--reasoning-parser kimi_k3",
|
||||||
"--tool-call-parser kimi_k3",
|
"--tool-call-parser kimi_k3",
|
||||||
@@ -1425,7 +1423,6 @@ export const config = {
|
|||||||
"--trust-remote-code",
|
"--trust-remote-code",
|
||||||
"--model-path {{MODEL_NAME}}",
|
"--model-path {{MODEL_NAME}}",
|
||||||
"--tp-size 8",
|
"--tp-size 8",
|
||||||
"--enable-symm-mem",
|
|
||||||
"--mem-fraction-static 0.85",
|
"--mem-fraction-static 0.85",
|
||||||
"--chunked-prefill-size 16384",
|
"--chunked-prefill-size 16384",
|
||||||
"--max-prefill-tokens 16384",
|
"--max-prefill-tokens 16384",
|
||||||
@@ -2006,7 +2003,6 @@ export const config = {
|
|||||||
"--trust-remote-code",
|
"--trust-remote-code",
|
||||||
"--model-path {{MODEL_NAME}}",
|
"--model-path {{MODEL_NAME}}",
|
||||||
"--tp-size 8",
|
"--tp-size 8",
|
||||||
"--enable-symm-mem",
|
|
||||||
"--mem-fraction-static 0.85",
|
"--mem-fraction-static 0.85",
|
||||||
"--disaggregation-decode-extra-slots 16",
|
"--disaggregation-decode-extra-slots 16",
|
||||||
"--reasoning-parser kimi_k3",
|
"--reasoning-parser kimi_k3",
|
||||||
|
|||||||
Reference in New Issue
Block a user