README.md

# AISBench benchmark 链接
- https://gitee.com/aisbench/benchmark

- git clone https://gitee.com/aisbench/benchmark.git

- AISBench benchmark安装：具体安装可以参考 AISBench 对应的README

# aisbench-tools工具
- ./ais_bench/benchmark/configs/models 路径下有对应的服务后端，当前以vllm_api展开
- monitor_gpu.sh 用于记录DCU的使用状态
- run.sh
    - 随机输入输出
        ```
        bash ./bench-test.sh --gpus 3 \
                              --model vllm_api_stream_chat \
                              --dataset synthetic_gen \
                              --model-name test_model \
                              --batch-size  "8 16 32" \
                              --input-len 512 \
                              --max-out-len 512 \
                              --ais-model /data2/models/qwen3-8B \
                              --model-path /data2/models/qwen3-8B \
                              --host-port 23456
        ```

    - 指定数据集
        - 对于指定数据集的使用，具体可参考。/ais_bench/benchmark/configs/datasets 路径下对应数据集下的README
        ```
        bash ./bench-test.sh --gpus 3 \
                     --model vllm_api_stream_chat \
                     --dataset aime2025_gen \
                     --model-name test_model \
                     --batch-size  "16" \
                     --max-out-len 512 \
                     --ais-model /data2/models/qwen3-8B \
                     --model-path /data2/models/qwen3-8B \
                     --host-port 23456    
        ```
    - 仅跑eval指令
        ```
        ais_bench --models vllm_api_stream_chat \
            --datasets aime2025_gen --mode eval \
            --debug --reuse xxxxxx
        ```