Commit 2d334ddf authored by weishb's avatar weishb
Browse files

更新Readme版本

parent 679dff1b
Pipeline #3549 failed with stages
in 0 seconds
...@@ -44,11 +44,18 @@ docker run -it \ ...@@ -44,11 +44,18 @@ docker run -it \
关于本项目DCU显卡所需的特殊深度学习库可从[光合](https://developer.sourcefind.cn/tool/)开发者社区下载安装 关于本项目DCU显卡所需的特殊深度学习库可从[光合](https://developer.sourcefind.cn/tool/)开发者社区下载安装
镜像内其他环境配置 其它包参照requirements.txt安装:
``` ```
pip install pycountry pip install -r requirements.txt
``` ```
## 预训练权重
**请根据`支持的DCU型号`选择对应模型下载,FP8模型仅在BW1100/BW1101上支持,其他型号请勿使用!**
| 模型名称 | 权重大小 | 数据类型 | 支持的DCU型号 | 最低卡数需求 | 下载地址 |
|:-----:|:----------:|:----------:|:----------:|:---------------------:|:----------:|
| Qwen3-VL-Reranker-8B | 8B | BF16 | K100AI | 1 | [ModelScope](https://www.modelscope.cn/models/Qwen/Qwen3-VL-Reranker-8B) |
| Qwen3-VL-Reranker-2B | 2B | BF16 | K100AI | 1 | [ModelScope](https://www.modelscope.cn/models/Qwen/Qwen3-VL-Reranker-2B) |
## 数据集 ## 数据集
暂无 暂无
...@@ -63,7 +70,7 @@ pip install pycountry ...@@ -63,7 +70,7 @@ pip install pycountry
```bash ```bash
export VLLM_USE_FUSED_RMS_ROPE=0 export VLLM_USE_FUSED_RMS_ROPE=0
## serve启动 # serve启动
vllm serve Qwen/Qwen3-VL-Reranker-8B \ vllm serve Qwen/Qwen3-VL-Reranker-8B \
--runner pooling \ --runner pooling \
--hf-overrides '{"architectures": ["Qwen3VLForSequenceClassification"],"classifier_from_token":["no","yes"],"is_original_qwen3_reranker":true}' \ --hf-overrides '{"architectures": ["Qwen3VLForSequenceClassification"],"classifier_from_token":["no","yes"],"is_original_qwen3_reranker":true}' \
...@@ -71,14 +78,14 @@ vllm serve Qwen/Qwen3-VL-Reranker-8B \ ...@@ -71,14 +78,14 @@ vllm serve Qwen/Qwen3-VL-Reranker-8B \
--max-model-len 4096 \ --max-model-len 4096 \
--served-model-name qwen3-vl-reranker --served-model-name qwen3-vl-reranker
## client访问 # client访问
curl -s http://127.0.0.1:8000/rerank \ curl -s http://127.0.0.1:8000/rerank \
-H "Content-Type: application/json" \ -H "Content-Type: application/json" \
-d '{ -d '{
"model": "qwen3-vl-reranker", "model": "qwen3-vl-reranker",
"query": "如何部署 vLLM 的 reranker 服务?", "query": "如何部署 vLLM 的 reranker 服务?",
"documents": [ "documents": [
"先安装依赖,然后使用 vllm serve 启动服务,并调用 /score 接口。", "先安装依赖,然后使用 vllm serve 启动服务,并调用 /rerank 接口。",
"今天的天气不错,适合出去散步。" "今天的天气不错,适合出去散步。"
] ]
}' }'
...@@ -92,14 +99,8 @@ curl -s http://127.0.0.1:8000/rerank \ ...@@ -92,14 +99,8 @@ curl -s http://127.0.0.1:8000/rerank \
### 精度 ### 精度
`DCU与GPU精度一致,推理框架:vllm` `DCU与GPU精度一致,推理框架:vllm`
## 预训练权重
| 模型名称 | 权重大小 | DCU型号 | 最低卡数需求 |下载地址|
|:-----:|:----------:|:----------:|:---------------------:|:----------:|
| Qwen3-VL-Reranker-8B | 8B | K100AI | 1 | [Modelscope](https://www.modelscope.cn/models/Qwen/Qwen3-VL-Reranker-8B)|
| Qwen3-VL-Reranker-2B | 2B | K100AI | 1 | [Modelscope](https://www.modelscope.cn/models/Qwen/Qwen3-VL-Reranker-2B)|
## 源码仓库及问题反馈 ## 源码仓库及问题反馈
- https://developer.sourcefind.cn/codes/modelzoo/qwen3-vl-reranker_vllm - https://developer.sourcefind.cn/codes/modelzoo/qwen3-vl-reranker_vllm
## 参考资料 ## 参考资料
- https://github.com/QwenLM/Qwen3-VL-Embedding - https://github.com/QwenLM/Qwen3-VL-Embedding
\ No newline at end of file
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment