Skip to content

GitLab

Commit e94d0651 authored by zhuwenwen's avatar zhuwenwen
Browse files

add git url

parent 0d8e8e14
Hide whitespace changes
Inline Side-by-side
Showing with 3 additions and 0 deletions
README.md
View file @ e94d0651
...@@ -68,12 +68,14 @@ python tools/list_configs.py llama mmlu ...@@ -68,12 +68,14 @@ python tools/list_configs.py llama mmlu
根据需要的框架进行安装，然后运行： 根据需要的框架进行安装，然后运行：
1、使用vllm推理验证 1、使用vllm推理验证
环境及使用参考：[https://developer.hpccube.com/codes/OpenDAS/vllm](https://developer.hpccube.com/codes/OpenDAS/vllm)
```shell ```shell
python run.py configs/vllm/eval_llama2_vllm.py python run.py configs/vllm/eval_llama2_vllm.py
``` ```
其它模型使用参考`configs/vllm/eval_xxx_vllm.py` 其它模型使用参考`configs/vllm/eval_xxx_vllm.py`
2、使用lmdeploy推理验证 2、使用lmdeploy推理验证
环境及使用参考：[https://developer.hpccube.com/codes/OpenDAS/lmdeploy](https://developer.hpccube.com/codes/OpenDAS/lmdeploy)
```shell ```shell
#安装gpufusion 相关工具 #安装gpufusion 相关工具
#https://forum.hpccube.com/thread/483 进入网页下载gpufusion工具 #https://forum.hpccube.com/thread/483 进入网页下载gpufusion工具
...@@ -98,6 +100,7 @@ python run.py configs/lmdeploy/eval_llama2_lmdeploy.py ...@@ -98,6 +100,7 @@ python run.py configs/lmdeploy/eval_llama2_lmdeploy.py
其它模型使用参考`configs/lmdeploy/eval_xxx_lmdeploy.py` 其它模型使用参考`configs/lmdeploy/eval_xxx_lmdeploy.py`
3、使用tgi推理验证 3、使用tgi推理验证
环境及使用参考：[https://developer.hpccube.com/codes/OpenDAS/text-generation-inference](https://developer.hpccube.com/codes/OpenDAS/text-generation-inference)
```shell ```shell
python run.py configs/tgi/eval_llama2_tgi.py python run.py configs/tgi/eval_llama2_tgi.py
``` ```
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment