Skip to content
GitLab
Menu
Projects
Groups
Snippets
Loading...
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
Menu
Open sidebar
OpenDAS
Lmdeploy
Commits
cb11ec70
"vscode:/vscode.git/clone" did not exist on "6cbb22bbba46b9fb3e8a67bc5dc3aeca14d3aeaa"
Commit
cb11ec70
authored
Sep 03, 2024
by
xuxzh1
🎱
Browse files
update readme
parent
858087a6
Changes
1
Hide whitespace changes
Inline
Side-by-side
Showing
1 changed file
with
7 additions
and
7 deletions
+7
-7
README.md
README.md
+7
-7
No files found.
README.md
View file @
cb11ec70
...
...
@@ -3,11 +3,11 @@
LMDeploy 由
[
MMDeploy
](
https://github.com/open-mmlab/mmdeploy
)
和
[
MMRazor
](
https://github.com/open-mmlab/mmrazor
)
团队联合开发,是涵盖了 LLM 任务的全套轻量化、部署和服务解决方案。
这个强大的工具箱提供以下核心功能:
-
**高效推理引擎 TurboMind**
:基于
[
FasterTransformer
](
https://github.com/NVIDIA/FasterTransformer
)
,我们实现了高效推理引擎 TurboMind,支持 InternLM、LLaMA、vicuna等模型在
NVIDIA GP
U 上的推理。
-
**高效推理引擎 TurboMind**
:基于
[
FasterTransformer
](
https://github.com/NVIDIA/FasterTransformer
)
,我们实现了高效推理引擎 TurboMind,支持 InternLM、LLaMA、vicuna等模型在
HYGON DC
U 上的推理。
-
**交互推理方式**
:通过缓存多轮对话过程中 attention 的 k/v,记住对话历史,从而避免重复处理历史会话。
-
**多
GP
U 部署和量化**
:我们提供了全面的模型部署和量化支持,已在不同规模上完成验证。
-
**多
DC
U 部署和量化**
:我们提供了全面的模型部署和量化支持,已在不同规模上完成验证。
-
**persistent batch 推理**
:进一步优化模型执行效率。
...
...
@@ -41,13 +41,14 @@ LMdeploy官方github地址:[https://github.com/InternLM/lmdeploy](https://github
#### 编译环境准备
下载光源的镜像,起dcoker(镜像已安装lmdeploy)
```
```
bash
docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.1.0-centos7.6-dtk24.04-py310
#<Container Name>起的容器名
# <Image ID>用上面拉取docker镜像的ID替换
# <Host Path>主机端路径
# <Container Path>容器映射路径
docker run -it --name
baichuan
--shm-size=1024G -v /opt/hyhal:/opt/hyhal:ro --device=/dev/kfd --device=/dev/dri/ --cap-add=SYS_PTRACE --security-opt seccomp=unconfined --ulimit memlock=-1:-1 --ipc=host --network host --group-add video -v <Host Path>:<Container Path> <Image ID> /bin/bash
docker run
-it
--name
<Container Name>
--shm-size
=
1024G
-v
/opt/hyhal:/opt/hyhal:ro
--device
=
/dev/kfd
--device
=
/dev/dri/
--cap-add
=
SYS_PTRACE
--security-opt
seccomp
=
unconfined
--ulimit
memlock
=
-1
:-1
--ipc
=
host
--network
host
--group-add
video
-v
<Host Path>:<Container Path> <Image ID> /bin/bash
#安装gpufusion
#网页侧下载安装包:https://forum.hpccube.com/thread/483
...
...
@@ -90,10 +91,9 @@ export NCCL_LAUNCH_MODE=GROUP
3、若使用DTK24041 pytorch镜像中进行编译,其中镜像中dtk自带有gpufusion文件,在此项目编译过程总需要更换其中一个文件,lmdeploy/3rdparty/gpufusion/nccl.h 放入 /opt/dtk/cuda/include 路径下
#### 源码编译安装
-
代码下载
根据不同的需求下载不同的分支
-
代码下载 根据不同的需求下载不同的
[
branch/tag
](
https://developer.hpccube.com/codes/OpenDAS/lmdeploy
)
-
提供2种源码编译方式(进入lmdeploy目录):
```
```
bash
1. 源码编译安装
mkdir
build
&&
cd
build
sh ../generate.sh
...
...
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
.
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment