Skip to content

GitLab

Commit 57e4c574 authored by chenych's avatar chenych
Browse files

change pytorch to vllm

parent c5bb5436
Hide whitespace changes
Inline Side-by-side
Showing with 7 additions and 7 deletions
README.md
View file @ 57e4c574
...@@ -22,10 +22,10 @@ DCU型号：K100_AI,节点数量：1台,卡数：1 张。 ...@@ -22,10 +22,10 @@ DCU型号：K100_AI,节点数量：1台,卡数：1 张。
### Docker（方法一） ### Docker（方法一）
```bash ```bash
docker pull image.sourcefind.cn:5000/dcu/admin/base/custom:vllm0.8.5-ubuntu22.04-dtk25.04-rc7-das1.5-py3.10-20250612-fixpy-rocblas0611-rc2 docker pull image.sourcefind.cn:5000/dcu/admin/base/vllm:0.8.5-ubuntu22.04-dtk25.04.1-rc5-das1.6-py3.10-20250705
docker run -it --shm-size 200g --network=host --name {docker_name} --privileged --device=/dev/kfd --device=/dev/dri --device=/dev/mkfd --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -u root -v /path/your_code_data/:/path/your_code_data/ -v /opt/hyhal/:/opt/hyhal/:ro {imageID} bash docker run -it --shm-size 200g --network=host --name {docker_name} --privileged --device=/dev/kfd --device=/dev/dri --device=/dev/mkfd --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -u root -v /path/your_code_data/:/path/your_code_data/ -v /opt/hyhal/:/opt/hyhal/:ro {imageID} bash
cd /your_code_path/ernie-4.5_pytorch cd /your_code_path/ernie-4.5_vllm
pip install transformers==4.51.3 pip install transformers==4.51.3
``` ```
...@@ -35,7 +35,7 @@ cd docker ...@@ -35,7 +35,7 @@ cd docker
docker build --no-cache -t ernie:latest . docker build --no-cache -t ernie:latest .
docker run -it --shm-size 200g --network=host --name {docker_name} --privileged --device=/dev/kfd --device=/dev/dri --device=/dev/mkfd --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -u root -v /path/your_code_data/:/path/your_code_data/ -v /opt/hyhal/:/opt/hyhal/:ro {imageID} bash docker run -it --shm-size 200g --network=host --name {docker_name} --privileged --device=/dev/kfd --device=/dev/dri --device=/dev/mkfd --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -u root -v /path/your_code_data/:/path/your_code_data/ -v /opt/hyhal/:/opt/hyhal/:ro {imageID} bash
cd /your_code_path/ernie-4.5_pytorch cd /your_code_path/ernie-4.5_vllm
pip install transformers==4.51.3 pip install transformers==4.51.3
``` ```
...@@ -122,7 +122,7 @@ DCU与GPU精度一致，推理框架：vllm。 ...@@ -122,7 +122,7 @@ DCU与GPU精度一致，推理框架：vllm。
- [ERNIE-4.5-VL-424B-A47B-Base-PT](https://huggingface.co/baidu/ERNIE-4.5-VL-424B-A47B-Base-PT) - [ERNIE-4.5-VL-424B-A47B-Base-PT](https://huggingface.co/baidu/ERNIE-4.5-VL-424B-A47B-Base-PT)
## 源码仓库及问题反馈 ## 源码仓库及问题反馈
- https://developer.sourcefind.cn/codes/modelzoo/ernie-4.5_pytorch - https://developer.sourcefind.cn/codes/modelzoo/ernie-4.5_vllm
## 参考资料 ## 参考资料
- https://github.com/PaddlePaddle/ERNIE - https://github.com/PaddlePaddle/ERNIE
docker/Dockerfile
View file @ 57e4c574
FROM image.sourcefind.cn:5000/dcu/admin/base/custom:vllm0.8.5-ubuntu22.04-dtk25.04-rc7-das1.5-py3.10-20250612-fixpy-rocblas0611-rc2 FROM image.sourcefind.cn:5000/dcu/admin/base/vllm:0.8.5-ubuntu22.04-dtk25.04.1-rc5-das1.6-py3.10-20250705
\ No newline at end of file \ No newline at end of file
model.properties
View file @ 57e4c574
# 模型唯一标识 # 模型唯一标识
modelCode=1651 modelCode=1651
# 模型名称 # 模型名称
modelName=ernie-4.5_pytorch modelName=ernie-4.5_vllm
# 模型描述 # 模型描述
modelDescription=百度最新开源文心一言大模型。 modelDescription=百度最新开源文心一言大模型。
# 应用场景 # 应用场景
appScenario=推理,对话问答,制造,广媒,家居,教育 appScenario=推理,对话问答,制造,广媒,家居,教育
# 框架类型 # 框架类型
frameType=pytorch frameType=vllm
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment