Commit 7dd9c307 authored by chenych's avatar chenych
Browse files

Change pytorch to vllm

parent 88714346
......@@ -24,7 +24,7 @@ DCU型号:K100AI,节点数量:4台,卡数:32 张。
docker pull image.sourcefind.cn:5000/dcu/admin/base/vllm:0.9.2-ubuntu22.04-dtk25.04.1-rc5-rocblas104381-0915-das1.6-py3.10-20250916-rc2-ds3.2
docker run -it --shm-size 200g --network=host --name {docker_name} --privileged --device=/dev/kfd --device=/dev/dri --device=/dev/mkfd --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -u root -v /path/your_code_data/:/path/your_code_data/ -v /opt/hyhal/:/opt/hyhal/:ro {imageID} bash
cd /your_code_path/deepseek-v3.2-exp_pytorch
cd /your_code_path/deepseek-v3.2-exp_vllm
```
### Dockerfile(方法二)
......@@ -34,7 +34,7 @@ docker build --no-cache -t deepseek-v3.2-exp:latest .
docker run -it --shm-size 200g --network=host --name {docker_name} --privileged --device=/dev/kfd --device=/dev/dri --device=/dev/mkfd --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -u root -v /path/your_code_data/:/path/your_code_data/ -v /opt/hyhal/:/opt/hyhal/:ro {imageID} bash
cd /your_code_path/deepseek-v3.2-exp_pytorch
cd /your_code_path/deepseek-v3.2-exp_vllm
```
### Anaconda(方法三)
......@@ -190,7 +190,7 @@ DCU与GPU精度一致,推理框架:vllm。
- [DeepSeek-V3.2-Exp-Base](https://huggingface.co/deepseek-ai/DeepSeek-V3.2-Exp-Base)
## 源码仓库及问题反馈
- https://developer.sourcefind.cn/codes/modelzoo/deepseek-v3.2-exp_pytorch
- https://developer.sourcefind.cn/codes/modelzoo/deepseek-v3.2-exp_vllm
## 参考资料
- https://huggingface.co/deepseek-ai/DeepSeek-V3.2-Exp
......
# 模型唯一标识
modelCode=1761
# 模型名称
modelName=deepseek-v3.2-exp_pytorch
modelName=deepseek-v3.2-exp_vllm
# 模型描述
modelDescription=DeepSeek-V3.2-Exp模型是一个实验版本,作为迈向下一代架构的中间步骤。
# 应用场景
appScenario=推理,对话问答,制造,金融,教育,广媒
# 框架类型
frameType=pytorch
frameType=vllm
# 加速卡类型
accelerateType=K100AI
\ No newline at end of file
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment