Skip to content

GitLab

Commit 739e3bd8 authored by xuxzh1's avatar xuxzh1 🎱
Browse files

update

parent ea7b70e4
Show whitespace changes
Inline Side-by-side
Showing with 18 additions and 18 deletions
.gitmodules
View file @ 739e3bd8
[submodule "lmdeploy"] [submodule "lmdeploy"]
path = lmdeploy path = lmdeploy
url = http://developer.hpccube.com/codes/aicomponent/lmdeploy.git url = https://developer.hpccube.com/codes/OpenDAS/lmdeploy
tag = dtk23.04-v0.0.13 branch = dtk24.04-v0.2.6
\ No newline at end of file
README.md
View file @ 739e3bd8
...@@ -96,13 +96,13 @@ lmdeploy chat turbomind --model_path ./workspace_llama7b --tp 1 # 输入问 ...@@ -96,13 +96,13 @@ lmdeploy chat turbomind --model_path ./workspace_llama7b --tp 1 # 输入问
在bash端运行： 在bash端运行：
# <model_path_or_server> 部署模型的路径或tritonserver URL或restful api URL。前者用于与gradio直接运行服务。后者用于默认情况下使用tritonserver运行。如果输入URL是restful api。请启用另一个标志“restful_api”。 # <model_path_or_server> 部署模型的路径或tritonserver URL或restful api URL。前者用于与gradio直接运行服务。后者用于默认情况下使用tritonserver运行。如果输入URL是restful api。请启用另一个标志“restful_api”。
# <server_name> gradio服务器的ip地址 # <server-name> gradio服务器的ip地址
# <server_port> gradio服务器的ip的端口 # <server-port> gradio服务器的ip的端口
# <batch_size> 于直接运行Turbomind的batch大小 （默认32） # <batch_size> 于直接运行Turbomind的batch大小 （默认32）
# <tp> 用于张量并行的GPU数量应该是2^n （和模型转换的时候保持一致） # <tp> 用于张量并行的GPU数量应该是2^n （和模型转换的时候保持一致）
# <restful_api> modelpath_or_server的标志（默认是False） # <restful_api> modelpath_or_server的标志（默认是False）
lmdeploy serve gradio --model_path_or_server ./workspace_llama7b --server_name {ip} --server_port {port} --batch_size 32 --tp 1 --restful_api False lmdeploy serve gradio --model_path_or_server ./workspace_llama7b --server-name {ip} --server-port {port} --batch_size 32 --tp 1 --restful_api False
在网页上输入{ip}:{port}即可进行对话 在网页上输入{ip}:{port}即可进行对话
``` ```
...@@ -110,24 +110,24 @@ lmdeploy serve gradio --model_path_or_server ./workspace_llama7b --server_name { ...@@ -110,24 +110,24 @@ lmdeploy serve gradio --model_path_or_server ./workspace_llama7b --server_name {
### 运行 LLama-13b ### 运行 LLama-13b
```bash ```bash
# bash界面运行 # bash界面运行
lmdeploy chat turbomind --model_path ./workspace_llama13b --tp 1 lmdeploy chat turbomind ./workspace_llama13b --tp 1
# 服务器网页端运行 # 服务器网页端运行
在bash端运行： 在bash端运行：
lmdeploy serve gradio --model_path_or_server ./workspace_llama13b --server_name {ip} --server_port {port} --batch_size 32 --tp 1 --restful_api False lmdeploy serve gradio ./workspace_llama13b --server-name {ip} --server-port {port} --batch_size 32 --tp 1 --restful_api False
在网页上输入{ip}:{port}即可进行对话 在网页上输入{ip}:{port}即可进行对话
``` ```
### 运行 LLama-33b ### 运行 LLama-33b
```bash ```bash
# bash界面运行 # bash界面运行
lmdeploy chat turbomind --model_path ./workspace_llama33b --tp 4 lmdeploy chat turbomind ./workspace_llama33b --tp 4
# 服务器网页端运行 # 服务器网页端运行
在bash端运行： 在bash端运行：
lmdeploy serve gradio --model_path_or_server ./workspace_llama33b --server_name {ip} --server_port {port} --batch_size 32 --tp 4 --restful_api False lmdeploy serve gradio ./workspace_llama33b --server-name {ip} --server-port {port} --batch_size 32 --tp 4 --restful_api False
在网页上输入{ip}:{port}即可进行对话 在网页上输入{ip}:{port}即可进行对话
``` ```
...@@ -135,12 +135,12 @@ lmdeploy serve gradio --model_path_or_server ./workspace_llama33b --server_name ...@@ -135,12 +135,12 @@ lmdeploy serve gradio --model_path_or_server ./workspace_llama33b --server_name
### 运行 LLama-65b ### 运行 LLama-65b
```bash ```bash
# bash界面运行 # bash界面运行
lmdeploy chat turbomind --model_path ./workspace_llama65b --tp 8 lmdeploy chat turbomind ./workspace_llama65b --tp 8
# 服务器网页端运行 # 服务器网页端运行
在bash端运行： 在bash端运行：
lmdeploy serve gradio --model_path_or_server ./workspace_llama65b --server_name {ip} --server_port {port} --batch_size 32 --tp 8 --restful_api False lmdeploy serve gradio ./workspace_llama65b --server-name {ip} --server-port {port} --batch_size 32 --tp 8 --restful_api False
在网页上输入{ip}:{port}即可进行对话 在网页上输入{ip}:{port}即可进行对话
``` ```
...@@ -148,12 +148,12 @@ lmdeploy serve gradio --model_path_or_server ./workspace_llama65b --server_name ...@@ -148,12 +148,12 @@ lmdeploy serve gradio --model_path_or_server ./workspace_llama65b --server_name
### 运行 LLama2-7b ### 运行 LLama2-7b
```bash ```bash
# bash界面运行 # bash界面运行
lmdeploy chat turbomind --model_path ./workspace_llama2-7b --tp 1 lmdeploy chat turbomind ./workspace_llama2-7b --tp 1
# 服务器网页端运行 # 服务器网页端运行
在bash端运行： 在bash端运行：
lmdeploy serve gradio --model_path_or_server ./workspace_llama2-7b --server_name {ip} --server_port {port} --batch_size 32 --tp 1 --restful_api False lmdeploy serve gradio ./workspace_llama2-7b --server-name {ip} --server-port {port} --batch_size 32 --tp 1 --restful_api False
在网页上输入{ip}:{port}即可进行对话 在网页上输入{ip}:{port}即可进行对话
``` ```
...@@ -161,12 +161,12 @@ lmdeploy serve gradio --model_path_or_server ./workspace_llama2-7b --server_name ...@@ -161,12 +161,12 @@ lmdeploy serve gradio --model_path_or_server ./workspace_llama2-7b --server_name
### 运行 LLama2-13b ### 运行 LLama2-13b
```bash ```bash
# bash界面运行 # bash界面运行
lmdeploy chat turbomind --model_path ./workspace_llama2-13b --tp 1 lmdeploy chat turbomind ./workspace_llama2-13b --tp 1
# 服务器网页端运行 # 服务器网页端运行
在bash端运行： 在bash端运行：
lmdeploy serve gradio --model_path_or_server ./workspace_llama2-13b --server_name {ip} --server_port {port} --batch_size 32 --tp 1 --restful_api False lmdeploy serve gradio ./workspace_llama2-13b --server-name {ip} --server-port {port} --batch_size 32 --tp 1 --restful_api False
在网页上输入{ip}:{port}即可进行对话 在网页上输入{ip}:{port}即可进行对话
``` ```
...@@ -174,12 +174,12 @@ lmdeploy serve gradio --model_path_or_server ./workspace_llama2-13b --server_nam ...@@ -174,12 +174,12 @@ lmdeploy serve gradio --model_path_or_server ./workspace_llama2-13b --server_nam
### 运行 LLama2-70b ### 运行 LLama2-70b
```bash ```bash
# bash界面运行 # bash界面运行
lmdeploy chat turbomind --model_path ./workspace_llama2-70b --tp 8 lmdeploy chat turbomind ./workspace_llama2-70b --tp 8
# 服务器网页端运行 # 服务器网页端运行
在bash端运行： 在bash端运行：
lmdeploy serve gradio --model_path_or_server ./workspace_llama2-70b --server_name {ip} --server_port {port} --batch_size 32 --tp 8 --restful_api False lmdeploy serve gradio ./workspace_llama2-70b --server-name {ip} --server-port {port} --batch_size 32 --tp 8 --restful_api False
在网页上输入{ip}:{port}即可进行对话 在网页上输入{ip}:{port}即可进行对话
``` ```
......
lmdeploy @ 858087a6
Subproject commit e432dbb0e56caaf319b9c9d7b79eb8106852dc91 Subproject commit 858087a625c1dc431ab8b174331dfc95210f6e3a
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment