Skip to content

GitLab

Switch branch/tag
Find file Normal viewHistoryPermalink
run.sh 942 Bytes
Newer Older
sunzhq2's avatar
init aisbench-tools  
sunzhq2 committed
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27 


bash ./bench-test.sh --gpus 3 \
                     --model vllm_api_stream_chat \
                     --dataset aime2025_gen \
                     --model-name test_model \
                     --batch-size  "16" \
                     --input-len 512 \
                     --max-out-len 512 \
                     --ais-model /data2/models/qwen3-8B \
                     --model-path /data2/models/qwen3-8B \
                     --host-port 23456





# bash ./bench-test.sh --gpus 3 \
#                      --model vllm_api_stream_chat \
#                      --dataset synthetic_gen \
#                      --model-name test_model \
#                      --batch-size  "8 16 32" \
#                      --input-len 512 \
#                      --max-out-len 512 \
#                      --ais-model /data2/models/qwen3-8B \
#                      --model-path /data2/models/qwen3-8B \
#                      --host-port 23456