Commit b3e14f53 authored by chenych's avatar chenych
Browse files

Fix bugs in README.

parent 580d5af7
......@@ -22,28 +22,29 @@ Qwen3嵌入模型系列是Qwen3家族最新的专有模型,专门为文本嵌
docker pull image.sourcefind.cn:5000/dcu/admin/base/custom:vllm0.8.5-ubuntu22.04-dtk25.04-rc7-das1.5-py3.10-20250521-fixpy-rocblas0521-beta2
docker run -it --shm-size 200g --network=host --name {docker_name} --privileged --device=/dev/kfd --device=/dev/dri --device=/dev/mkfd --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -u root -v /path/your_code_data/:/path/your_code_data/ -v /opt/hyhal/:/opt/hyhal/:ro {imageID} bash
cd /your_code_path/qwen3-embedding_pytorch
cd /your_code_path/qwen3-reranker_pytorch
pip install transformers>=4.51.0
```
### Dockerfile(方法二)
```bash
cd docker
docker build --no-cache -t qwen3-embedding:latest .
docker build --no-cache -t qwen3-reranker:latest .
docker run -it --shm-size 200g --network=host --name {docker_name} --privileged --device=/dev/kfd --device=/dev/dri --device=/dev/mkfd --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -u root -v /path/your_code_data/:/path/your_code_data/ -v /opt/hyhal/:/opt/hyhal/:ro {imageID} bash
cd /your_code_path/qwen3-embedding_pytorch
cd /your_code_path/qwen3-reranker_pytorch
pip install transformers>=4.51.0
```
### Anaconda(方法三)
关于本项目DCU显卡所需的特殊深度学习库可从[光合](https://developer.hpccube.com/tool/)开发者社区下载安装。
关于本项目DCU显卡所需的特殊深度学习库可从[光合](https://developer.sourcefind.cn/tool/)开发者社区下载安装。
```bash
DTK: 25.04
python: 3.10
vllm: 0.8.5
torch: 2.4.1+das.opt2.dtk2504
deepspeed: 0.14.2+das.opt2.dtk2504
vllm: 0.8.5
```
`Tips:以上dtk驱动、python、torch等DCU相关工具版本需要严格一一对应`
......@@ -73,7 +74,7 @@ python infer_vllm.py --model_name_or_path /path/your_model_path/
</div>
### 精度
暂无
DCU与GPU精度一致,推理框架:pytorch。
## 应用场景
### 算法类别
......@@ -91,4 +92,4 @@ python infer_vllm.py --model_name_or_path /path/your_model_path/
- https://developer.sourcefind.cn/codes/modelzoo/qwen3-reranker_pytorch
## 参考资料
- https://github.com/QwenLM/Qwen3-Embedding
- https://github.com/QwenLM/qwen3-reranker
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment