Skip to content
GitLab
Menu
Projects
Groups
Snippets
Loading...
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
Menu
Open sidebar
OpenDAS
Lmdeploy
Commits
192fe42d
You need to sign in or sign up before continuing.
Commit
192fe42d
authored
Dec 12, 2023
by
xiabo
Browse files
Update README.md
parent
140d8dad
Changes
1
Show whitespace changes
Inline
Side-by-side
Showing
1 changed file
with
6 additions
and
8 deletions
+6
-8
README.md
README.md
+6
-8
No files found.
README.md
View file @
192fe42d
...
@@ -32,36 +32,34 @@ LMdeploy官方github地址:[https://github.com/InternLM/lmdeploy](https://github
...
@@ -32,36 +32,34 @@ LMdeploy官方github地址:[https://github.com/InternLM/lmdeploy](https://github
#### 编译环境准备
#### 编译环境准备
下载光源的镜像,起dcoker
下载光源的镜像,起dcoker
```
```
docker pull image.sourcefind.cn:5000/dcu/admin/base/custom:lmdeploy-dtk23
.
10-torch1.13-py38
docker pull image.sourcefind.cn:5000/dcu/admin/base/custom:lmdeploy-dtk2310-torch1.13-py38
# <Image ID>用上面拉取docker镜像的ID替换
# <Image ID>用上面拉取docker镜像的ID替换
# <Host Path>主机端路径
# <Host Path>主机端路径
# <Container Path>容器映射路径
# <Container Path>容器映射路径
docker run -it --name baichuan --shm-size=1024G --device=/dev/kfd --device=/dev/dri/ --cap-add=SYS_PTRACE --security-opt seccomp=unconfined --ulimit memlock=-1:-1 --ipc=host --network host
-v /opt/hyhal:/opt/hyhal
--group-add video -v <Host Path>:<Container Path> <Image ID> /bin/bash
docker run -it --name baichuan --shm-size=1024G
-v /opt/hyhal:/opt/hyhal
--device=/dev/kfd --device=/dev/dri/ --cap-add=SYS_PTRACE --security-opt seccomp=unconfined --ulimit memlock=-1:-1 --ipc=host --network host --group-add video -v <Host Path>:<Container Path> <Image ID> /bin/bash
```
```
注:
注:
1、docker
的
启动-v /opt/hyhal:/opt/hyhal 这个变量不能少
1、docker启动
-v /opt/hyhal:/opt/hyhal
这个变量不能少
2、要是非光源提供镜像,配置环境:(若安装过慢,可以添加源:pip3 install xxx -i https://pypi.tuna.tsinghua.edu.cn/simple/)
2、要是非光源提供镜像,配置环境:(若安装过慢,可以添加源:pip3 install xxx -i https://pypi.tuna.tsinghua.edu.cn/simple/)
```
```
pip3 install -r requirements.txt
pip3 install -r requirements.txt
pip3 install urllib3==1.24
pip3 install urllib3==1.24
yum install rapidjson
yum install rapidjson
# gcc版本需要>=9 安装高版本gcc
若
使用gcc7
的版本,下载
gcc7
版本
的分支
# gcc版本需要>=9 安装高版本gcc
要是必须
使用gcc7
,可以下载对应的
gcc7的分支
yum install -y centos-release-scl
yum install -y centos-release-scl
yum install -y devtoolset-9
yum install -y devtoolset-9
scl enable devtoolset-9 bash
scl enable devtoolset-9 bash
# 执行dtk环境变量
# 执行nccl环境变量
source {DTK_PATH}/env.sh
source {DTK_PATH}/cuda/env.sh
export NCCL_LAUNCH_MODE=GROUP
export NCCL_LAUNCH_MODE=GROUP
```
```
#### 源码编译安装
#### 源码编译安装
-
代码下载
-
代码下载
根据不同的需求下载不同的分支
(光源镜像已经提供安装,可以直接使用。根据个人需求是否要重新编译)
根据不同的需求下载不同的分支
-
提供2种源码编译方式(进入lmdeploy目录):
-
提供2种源码编译方式(进入lmdeploy目录):
```
```
1. 源码编译安装
1. 源码编译安装
...
...
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
.
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment