Skip to content
GitLab
Menu
Projects
Groups
Snippets
Loading...
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
Menu
Open sidebar
OpenDAS
Lmdeploy
Commits
192fe42d
Commit
192fe42d
authored
Dec 12, 2023
by
xiabo
Browse files
Update README.md
parent
140d8dad
Changes
1
Hide whitespace changes
Inline
Side-by-side
Showing
1 changed file
with
6 additions
and
8 deletions
+6
-8
README.md
README.md
+6
-8
No files found.
README.md
View file @
192fe42d
...
...
@@ -32,36 +32,34 @@ LMdeploy官方github地址:[https://github.com/InternLM/lmdeploy](https://github
#### 编译环境准备
下载光源的镜像,起dcoker
```
docker pull image.sourcefind.cn:5000/dcu/admin/base/custom:lmdeploy-dtk23
.
10-torch1.13-py38
docker pull image.sourcefind.cn:5000/dcu/admin/base/custom:lmdeploy-dtk2310-torch1.13-py38
# <Image ID>用上面拉取docker镜像的ID替换
# <Host Path>主机端路径
# <Container Path>容器映射路径
docker run -it --name baichuan --shm-size=1024G --device=/dev/kfd --device=/dev/dri/ --cap-add=SYS_PTRACE --security-opt seccomp=unconfined --ulimit memlock=-1:-1 --ipc=host --network host
-v /opt/hyhal:/opt/hyhal
--group-add video -v <Host Path>:<Container Path> <Image ID> /bin/bash
docker run -it --name baichuan --shm-size=1024G
-v /opt/hyhal:/opt/hyhal
--device=/dev/kfd --device=/dev/dri/ --cap-add=SYS_PTRACE --security-opt seccomp=unconfined --ulimit memlock=-1:-1 --ipc=host --network host --group-add video -v <Host Path>:<Container Path> <Image ID> /bin/bash
```
注:
1、docker
的
启动-v /opt/hyhal:/opt/hyhal 这个变量不能少
1、docker启动
-v /opt/hyhal:/opt/hyhal
这个变量不能少
2、要是非光源提供镜像,配置环境:(若安装过慢,可以添加源:pip3 install xxx -i https://pypi.tuna.tsinghua.edu.cn/simple/)
```
pip3 install -r requirements.txt
pip3 install urllib3==1.24
yum install rapidjson
# gcc版本需要>=9 安装高版本gcc
若
使用gcc7
的版本,下载
gcc7
版本
的分支
# gcc版本需要>=9 安装高版本gcc
要是必须
使用gcc7
,可以下载对应的
gcc7的分支
yum install -y centos-release-scl
yum install -y devtoolset-9
scl enable devtoolset-9 bash
# 执行dtk环境变量
source {DTK_PATH}/env.sh
source {DTK_PATH}/cuda/env.sh
# 执行nccl环境变量
export NCCL_LAUNCH_MODE=GROUP
```
#### 源码编译安装
-
代码下载
根据不同的需求下载不同的分支
(光源镜像已经提供安装,可以直接使用。根据个人需求是否要重新编译)
根据不同的需求下载不同的分支
-
提供2种源码编译方式(进入lmdeploy目录):
```
1. 源码编译安装
...
...
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
.
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment