[Deterministic] add deepseek v3 deterministic inference CI test (#12412)
This commit is contained in:
@@ -75,6 +75,7 @@ suites = {
|
|||||||
TestFile("test_build_eagle_tree.py", 8),
|
TestFile("test_build_eagle_tree.py", 8),
|
||||||
TestFile("test_chunked_prefill.py", 410),
|
TestFile("test_chunked_prefill.py", 410),
|
||||||
TestFile("test_create_kvindices.py", 2),
|
TestFile("test_create_kvindices.py", 2),
|
||||||
|
TestFile("test_deepseek_v3_deterministic.py", 240),
|
||||||
TestFile("test_deterministic.py", 320),
|
TestFile("test_deterministic.py", 320),
|
||||||
TestFile("test_eagle_infer_a.py", 370),
|
TestFile("test_eagle_infer_a.py", 370),
|
||||||
TestFile("test_eagle_infer_b.py", 500),
|
TestFile("test_eagle_infer_b.py", 500),
|
||||||
|
|||||||
@@ -0,0 +1,54 @@
|
|||||||
|
"""
|
||||||
|
Usage:
|
||||||
|
cd test/srt
|
||||||
|
python3 -m unittest test_deepseek_v3_deterministic.TestFa3Deterministic
|
||||||
|
"""
|
||||||
|
|
||||||
|
import unittest
|
||||||
|
|
||||||
|
from sglang.test.test_deterministic_utils import (
|
||||||
|
COMMON_SERVER_ARGS,
|
||||||
|
TestDeterministicBase,
|
||||||
|
)
|
||||||
|
|
||||||
|
DEEPSEEK_MODEL = "lmsys/sglang-ci-dsv3-test"
|
||||||
|
|
||||||
|
|
||||||
|
class TestFa3Deterministic(TestDeterministicBase):
|
||||||
|
@classmethod
|
||||||
|
def get_model(cls):
|
||||||
|
return DEEPSEEK_MODEL
|
||||||
|
|
||||||
|
# Test with fa3 attention backend
|
||||||
|
@classmethod
|
||||||
|
def get_server_args(cls):
|
||||||
|
args = COMMON_SERVER_ARGS
|
||||||
|
args.extend(
|
||||||
|
[
|
||||||
|
"--attention-backend",
|
||||||
|
"fa3",
|
||||||
|
]
|
||||||
|
)
|
||||||
|
return args
|
||||||
|
|
||||||
|
|
||||||
|
class TestTritonDeterministic(TestDeterministicBase):
|
||||||
|
@classmethod
|
||||||
|
def get_model(cls):
|
||||||
|
return DEEPSEEK_MODEL
|
||||||
|
|
||||||
|
# Test with triton attention backend
|
||||||
|
@classmethod
|
||||||
|
def get_server_args(cls):
|
||||||
|
args = COMMON_SERVER_ARGS
|
||||||
|
args.extend(
|
||||||
|
[
|
||||||
|
"--attention-backend",
|
||||||
|
"triton",
|
||||||
|
]
|
||||||
|
)
|
||||||
|
return args
|
||||||
|
|
||||||
|
|
||||||
|
if __name__ == "__main__":
|
||||||
|
unittest.main()
|
||||||
Reference in New Issue
Block a user