update readme

README.md

@@ -14,18 +14,33 @@ InterLM是一个基础语言模型的集合,参数范围从7B到20B。在数万
 
 ## 环境配置
 
-提供光源拉取推理的docker镜像：
-```
-docker pull image.sourcefind.cn:5000/dcu/admin/base/custom:lmdeploy0.0.13_dtk23.04_torch1.13_py38
-# <Image ID>用上面拉取docker镜像的ID替换
-# <Host Path>主机端路径
-# <Container Path>容器映射路径
-docker run -it --name interlm --shm-size=1024G  --device=/dev/kfd --device=/dev/dri/ --cap-add=SYS_PTRACE --security-opt seccomp=unconfined --ulimit memlock=-1:-1 --ipc=host --network host --group-add video -v <Host Path>:<Container Path> <Image ID> /bin/bash
-```
-镜像版本依赖：
-* DTK驱动：dtk23.04
-* Pytorch: 1.13
-* python: python3.8
+* 提供光源拉取推理的docker镜像：
+
+  ```bash
+  docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.1.0-ubuntu20.04-dtk24.04.1-py3.10(推荐)
+  docker pull image.sourcefind.cn:5000/dcu/admin/base/custom:lmdeploy0.0.13_dtk23.04_torch1.13_py38
+  # <Image ID>用上面拉取docker镜像的ID替换
+  # <Host Path>主机端路径
+  # <Container Path>容器映射路径
+  docker run -it --name baichuan --shm-size=1024G  --device=/dev/kfd --device=/dev/dri/ --cap-add=SYS_PTRACE --security-opt seccomp=unconfined --ulimit memlock=-1:-1 --ipc=host --network host --group-add video -v <Host Path>:<Container Path> <Image ID> /bin/bash
+  ```
+
+  镜像版本依赖：
+
+  * DTK驱动：24.04.1
+  * Pytorch: 2.1.0
+  * python: python3.10
+
+  > [!NOTE]
+  >
+  > 使用lmdeploy0.0.13_dtk23.04_torch1.13_py38如果遇到 importError:libgemm multiB int4.so: cannot open shared obiect file: No such file or directory
+  >
+  > 解决方法：
+  >
+  > ```bash
+  > rm /usr/local/lib/python3.8/site-packages/_turbomind.cpython-38-x86_64-linux-gnu.so
+  > ```
+
 
 ## 数据集
 无
@@ -33,7 +48,7 @@ docker run -it --name interlm --shm-size=1024G  --device=/dev/kfd --device=/dev/
 ## 推理
 
 ### 源码编译安装
-```
+```bash
 # 若使用光源的镜像，可以跳过源码编译安装，镜像里面安装好了lmdeploy。
 git clone http://developer.hpccube.com/codes/modelzoo/llama_lmdeploy.git
 cd llama_lmdeploy
@@ -47,7 +62,7 @@ cd .. && python3 setup.py install
 ```
 
 ### 运行 internlm-chat-7
-```
+```bash
 # 模型转换
 # <model_name> 模型的名字 （'llama', 'internlm', 'vicuna', 'internlm-chat-7b', 'internlm-chat', 'internlm-chat-7b-8k', 'internlm-chat-20b', 'internlm-20b', 'baichuan-7b', 'baichuan2-7b', 'llama2', 'qwen-7b', 'qwen-14b'）
 # <model_path> 模型路径
@@ -71,13 +86,13 @@ lmdeploy chat turbomind --model_path ./workspace_interlm7b --tp 1     # 输入
 # <tp> 用于张量并行的GPU数量应该是2^n （和模型转换的时候保持一致）
 # <restful_api> modelpath_or_server的标志（默认是False）
 
-lmdeploy serve gradio --model_path_or_server ./workspace_interlm7b --server_name {ip} --server_port {pord} --batch_size 32 --tp 1 --restful_api False 
+lmdeploy serve gradio --model_path_or_server ./workspace_interlm7b --server_name {ip} --server_port {port} --batch_size 32 --tp 1 --restful_api False 
 
-在网页上输入{ip}:{pord}即可进行对话
+在网页上输入{ip}:{port}即可进行对话
 ```
 
 ### 运行 internlm-chat-20b
-```
+```bash
 # 模型转换
 lmdeploy convert --model_name internlm-chat-20b --model_path /path/to/model --model_format hf --tokenizer_path None --dst_path ./workspace_interlm20b --tp 4
 
@@ -87,9 +102,9 @@ lmdeploy chat turbomind --model_path ./workspace_interlm20b --tp 4
 # 服务器网页端运行
 
 在bash端运行：
-lmdeploy serve gradio --model_path_or_server ./workspace_interlm20b --server_name {ip} --server_port {pord} --batch_size 32 --tp 4 --restful_api False 
+lmdeploy serve gradio --model_path_or_server ./workspace_interlm20b --server_name {ip} --server_port {port} --batch_size 32 --tp 4 --restful_api False 
 
-在网页上输入{ip}:{pord}即可进行对话
+在网页上输入{ip}:{port}即可进行对话
 ```