Skip to content

GitLab

Commit 0533537a authored by zhouxiang's avatar zhouxiang
Browse files

完善readme

parent 0189f17c
Show whitespace changes
Inline Side-by-side
Showing with 11 additions and 1 deletion
README.md
View file @ 0533537a
...@@ -34,7 +34,12 @@ LMdeploy官方github地址:[https://github.com/InternLM/lmdeploy](https://github ...@@ -34,7 +34,12 @@ LMdeploy官方github地址:[https://github.com/InternLM/lmdeploy](https://github
1.基于已有的镜像，可跳过源码编译，直接进行推理。 1.基于已有的镜像，可跳过源码编译，直接进行推理。
``` ```
docker pull image.sourcefind.cn:5000/dcu/admin/base/custom:lmdeploy0.0.13_dtk23.04_torch1.13_py38 docker pull image.sourcefind.cn:5000/dcu/admin/base/custom:lmdeploy-dtk23.10-torch1.13-py38
# <Image ID>用上面拉取docker镜像的ID替换
# <Host Path>主机端路径
# <Container Path>容器映射路径
docker run -it --name baichuan --shm-size=1024G -v /opt/hyhal:/opt/hyhal --device=/dev/kfd --device=/dev/dri/ --cap-add=SYS_PTRACE --security-opt seccomp=unconfined --ulimit memlock=-1:-1 --ipc=host --network host --group-add video -v <Host Path>:<Container Path> <Image ID> /bin/bash
``` ```
2. 基于光源pytorch基础镜像环境：镜像下载地址：[https://sourcefind.cn/#/image/dcu/pytorch](https://sourcefind.cn/#/image/dcu/pytorch)，根据pytorch、python、dtk及系统下载对应的镜像版本。(若安装过慢，可以添加源:pip3 install xxx -i https://pypi.tuna.tsinghua.edu.cn/simple/) 2. 基于光源pytorch基础镜像环境：镜像下载地址：[https://sourcefind.cn/#/image/dcu/pytorch](https://sourcefind.cn/#/image/dcu/pytorch)，根据pytorch、python、dtk及系统下载对应的镜像版本。(若安装过慢，可以添加源:pip3 install xxx -i https://pypi.tuna.tsinghua.edu.cn/simple/)
...@@ -54,6 +59,8 @@ yum install -y centos-release-scl ...@@ -54,6 +59,8 @@ yum install -y centos-release-scl
yum install -y devtoolset-9 yum install -y devtoolset-9
scl enable devtoolset-9 bash scl enable devtoolset-9 bash
# 执行nccl环境变量
export NCCL_LAUNCH_MODE=GROUP
``` ```
3. 基于现有python环境：安装pytorch，pytorch whl包下载目录：[https://cancon.hpccube.com:65024/4/main/pytorch/dtk23.04](https://cancon.hpccube.com:65024/4/main/pytorch/dtk23.04)，根据python、dtk版本,下载对应pytorch的whl包。安装命令如下： 3. 基于现有python环境：安装pytorch，pytorch whl包下载目录：[https://cancon.hpccube.com:65024/4/main/pytorch/dtk23.04](https://cancon.hpccube.com:65024/4/main/pytorch/dtk23.04)，根据python、dtk版本,下载对应pytorch的whl包。安装命令如下：
...@@ -73,6 +80,9 @@ source {DTK_PATH}/cuda/env.sh ...@@ -73,6 +80,9 @@ source {DTK_PATH}/cuda/env.sh
yum install -y centos-release-scl yum install -y centos-release-scl
yum install -y devtoolset-9 yum install -y devtoolset-9
scl enable devtoolset-9 bash scl enable devtoolset-9 bash
# 执行nccl环境变量
export NCCL_LAUNCH_MODE=GROUP
``` ```
注：需要GCC版本>=9.0 注：需要GCC版本>=9.0
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment