README.md

# Offline Benchmark scripts

vLLM 0.9.2 Benchmark测试的代码/脚本管理

## 更新日志

2025/10/16：新增vllm0.9.2离线测试的脚本

## 使用方法

1. 需要安装jq
```
    apt-get install jq
```

2. 文件说明：

    1）auto_quick_check_config.json：配置文件

    2）auto_quick_check.sh：自动化启动脚本

    3）benchmarks：评测部分的代码，来源为vllm 0.9.2的GitHub；其中benchmark_throughput.py在官方基础上增加ttft、tpot的指标打印

```
# 配置文件说明 auto_quick_check_config.json
{
    "DCU": "BW1000",                                        # DCU型号
    "vllm_version": "0.9.2",                                # vllm版本号
    "pkg_version": "dtk25.04.1",                            # DTK版本号
    "dst_path": "./result/",                                # 结果/日志存放目录
    "items":[
        {
            "model_name": "Qwen3-32B",                      # 模型名称
            "model_path": "/data/models/Qwen3-32B/",        # 模型路径
            "dtype": "float16",                             # 数据类型
            "tensor_parallel": [4],                         # 使用卡数
            "batch_size": [128, 64, 32, 16],                # 并发数
            "seqlen_tuple": ["512 512", "1024 1024"]        # 输入输出序列组合
        }
    ]
}
```

3. 运行指令：
```
bash auto_quick_check.sh
```