Commit 7253a0c7 authored by sunzhq2's avatar sunzhq2
Browse files

update readme

parent 23d4b8c8
...@@ -6,6 +6,7 @@ ...@@ -6,6 +6,7 @@
- AISBench benchmark安装:具体安装可以参考 AISBench 对应的README - AISBench benchmark安装:具体安装可以参考 AISBench 对应的README
# aisbench-tools工具 # aisbench-tools工具
- ./ais_bench/benchmark/configs/models 路径下有对应的服务后端,当前以vllm_api展开
- monitor_gpu.sh 用于记录DCU的使用状态 - monitor_gpu.sh 用于记录DCU的使用状态
- run.sh - run.sh
- 随机输入输出 - 随机输入输出
...@@ -22,7 +23,8 @@ ...@@ -22,7 +23,8 @@
--host-port 23456 --host-port 23456
``` ```
- 对应数据集 - 指定数据集
- 对于指定数据集的使用,具体可参考。/ais_bench/benchmark/configs/datasets 路径下对应数据集下的README
``` ```
bash ./bench-test.sh --gpus 3 \ bash ./bench-test.sh --gpus 3 \
--model vllm_api_stream_chat \ --model vllm_api_stream_chat \
...@@ -34,7 +36,6 @@ ...@@ -34,7 +36,6 @@
--model-path /data2/models/qwen3-8B \ --model-path /data2/models/qwen3-8B \
--host-port 23456 --host-port 23456
``` ```
- 仅跑eval指令 - 仅跑eval指令
``` ```
ais_bench --models vllm_api_stream_chat \ ais_bench --models vllm_api_stream_chat \
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment