Skip to content

GitLab

Commit 789b5c20 authored by zhouxiang's avatar zhouxiang
Browse files

完善readme

parent 6afe24b1
Hide whitespace changes
Inline Side-by-side
Showing with 6 additions and 1 deletion
README.md
View file @ 789b5c20
...@@ -23,7 +23,7 @@ Qwen的构建采用了类似LLaMA的架构。与标准transformer的主要差异 ...@@ -23,7 +23,7 @@ Qwen的构建采用了类似LLaMA的架构。与标准transformer的主要差异
## 环境配置 ## 环境配置
提供[光源](https://www.sourcefind.cn/#/service-details)拉取推理的docker镜像： 提供[光源](https://www.sourcefind.cn/#/service-details)拉取推理的docker镜像：
``` ```
docker pull docker pull image.sourcefind.cn:5000/dcu/admin/base/custom:lmdeploy0.0.13_dtk23.04_torch1.13_py38 docker pull image.sourcefind.cn:5000/dcu/admin/base/custom:lmdeploy0.0.13_dtk23.04_torch1.13_py38
# <Image ID>用上面拉取docker镜像的ID替换 # <Image ID>用上面拉取docker镜像的ID替换
# <Host Path>主机端路径 # <Host Path>主机端路径
# <Container Path>容器映射路径 # <Container Path>容器映射路径
...@@ -41,6 +41,11 @@ docker run -it --name qwen --shm-size=1024G --device=/dev/kfd --device=/dev/dri ...@@ -41,6 +41,11 @@ docker run -it --name qwen --shm-size=1024G --device=/dev/kfd --device=/dev/dri
### 源码编译安装 ### 源码编译安装
``` ```
# 若使用光源的镜像，可以不用源码编译，镜像里面安装好了lmdeploy，可跳过源码编译安装 # 若使用光源的镜像，可以不用源码编译，镜像里面安装好了lmdeploy，可跳过源码编译安装
# 若需要使用的是qwen72b模型，则必须重新使用源码编译安装lmdeploy
git clone http://developer.hpccube.com/codes/modelzoo/Qwen_lmdeploy.git
cd codellama_lmdeploy
git submodule init && git submodule update
cd lmdeploy
mkdir build && cd build mkdir build && cd build
sh ../generate.sh sh ../generate.sh
make -j 32 make -j 32
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment