README.md

# Online API Server Benchmark Scripts

vLLM 0.11.0 在线评测测试的代码/脚本管理

## 更新日志

2026/01/27：启动方式改用vllm serve/vllm bench指令；新增FP8精度支持（by 刘煦）

2026/01/27：新增vllm0.11.0在线测试的自动化测试脚本，使用相关的环境变量；新增单并发吞吐指标记录（by 刘煦）

## 使用方法

1. 需要安装jq和netcat
```
    apt-get install jq
    apt-get install netcat
```

2. 文件说明：

    1）auto_quick_check_config.json：配置文件
    
    2）online_quick_check.sh：自动化启动脚本

    3）run_apiserver.sh：运行服务的脚本

```
# 配置文件说明 auto_quick_check_config.json
{
    "DCU": "BW1000",                                        # DCU型号
    "vllm_version": "0.11.0",                               # vllm版本号   
    "pkg_version": "dtk25.04.2",                            # DTK版本号
    "dst_path": "./result/",                                # 结果/日志存放目录
    "items":[
        {
            "model_name": "Qwen3-32B",                      # 模型名称
            "model_path": "/data/models/Qwen3-32B/",        # 模型路径
            "dtype": "float16",,                            # 数据类型，可选范围：float16/bfloat16/gptq-int8/gptq-int4/float8/w8a8/awq
            "tensor_parallel": [2, 4],                      # 使用卡数
            "batch_size": [1, 4, 8, 16],                    # 并发数
            "seqlen_tuple": ["512 512", "4096 1024"]        # 输入输出序列组合
        }
    ]
}
```

3. 运行及逻辑：

    指令：bash online_quick_check.sh

    逻辑：调用run_apiserver.sh启动服务 -> 监听端口是否启动 -> 启动后运行评测指令评测 -> 汇总数据