Skip to content

GitLab

You need to sign in or sign up before continuing.
Commit 0533537a authored by zhouxiang's avatar zhouxiang
Browse files

完善readme

parent 0189f17c
Show whitespace changes
Inline Side-by-side
Showing with 11 additions and 1 deletion
README.md
View file @ 0533537a
...@@ -34,7 +34,12 @@ LMdeploy官方github地址:[https://github.com/InternLM/lmdeploy](https://github ...@@ -34,7 +34,12 @@ LMdeploy官方github地址:[https://github.com/InternLM/lmdeploy](https://github
1.基于已有的镜像，可跳过源码编译，直接进行推理。 1.基于已有的镜像，可跳过源码编译，直接进行推理。
``` ```
docker pull image.sourcefind.cn:5000/dcu/admin/base/custom:lmdeploy0.0.13_dtk23.04_torch1.13_py38 docker pull image.sourcefind.cn:5000/dcu/admin/base/custom:lmdeploy-dtk23.10-torch1.13-py38
# <Image ID>用上面拉取docker镜像的ID替换
# <Host Path>主机端路径
# <Container Path>容器映射路径
docker run -it --name baichuan --shm-size=1024G -v /opt/hyhal:/opt/hyhal --device=/dev/kfd --device=/dev/dri/ --cap-add=SYS_PTRACE --security-opt seccomp=unconfined --ulimit memlock=-1:-1 --ipc=host --network host --group-add video -v <Host Path>:<Container Path> <Image ID> /bin/bash
``` ```
2. 基于光源pytorch基础镜像环境：镜像下载地址：[https://sourcefind.cn/#/image/dcu/pytorch](https://sourcefind.cn/#/image/dcu/pytorch)，根据pytorch、python、dtk及系统下载对应的镜像版本。(若安装过慢，可以添加源:pip3 install xxx -i https://pypi.tuna.tsinghua.edu.cn/simple/) 2. 基于光源pytorch基础镜像环境：镜像下载地址：[https://sourcefind.cn/#/image/dcu/pytorch](https://sourcefind.cn/#/image/dcu/pytorch)，根据pytorch、python、dtk及系统下载对应的镜像版本。(若安装过慢，可以添加源:pip3 install xxx -i https://pypi.tuna.tsinghua.edu.cn/simple/)
...@@ -54,6 +59,8 @@ yum install -y centos-release-scl ...@@ -54,6 +59,8 @@ yum install -y centos-release-scl
yum install -y devtoolset-9 yum install -y devtoolset-9
scl enable devtoolset-9 bash scl enable devtoolset-9 bash
# 执行nccl环境变量
export NCCL_LAUNCH_MODE=GROUP
``` ```
3. 基于现有python环境：安装pytorch，pytorch whl包下载目录：[https://cancon.hpccube.com:65024/4/main/pytorch/dtk23.04](https://cancon.hpccube.com:65024/4/main/pytorch/dtk23.04)，根据python、dtk版本,下载对应pytorch的whl包。安装命令如下： 3. 基于现有python环境：安装pytorch，pytorch whl包下载目录：[https://cancon.hpccube.com:65024/4/main/pytorch/dtk23.04](https://cancon.hpccube.com:65024/4/main/pytorch/dtk23.04)，根据python、dtk版本,下载对应pytorch的whl包。安装命令如下：
...@@ -73,6 +80,9 @@ source {DTK_PATH}/cuda/env.sh ...@@ -73,6 +80,9 @@ source {DTK_PATH}/cuda/env.sh
yum install -y centos-release-scl yum install -y centos-release-scl
yum install -y devtoolset-9 yum install -y devtoolset-9
scl enable devtoolset-9 bash scl enable devtoolset-9 bash
# 执行nccl环境变量
export NCCL_LAUNCH_MODE=GROUP
``` ```
注：需要GCC版本>=9.0 注：需要GCC版本>=9.0
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment