Commit a3828d4f authored by weishb's avatar weishb
Browse files

更新readme版本

parent f7f03b7b
Pipeline #3540 failed with stages
in 0 seconds
...@@ -48,11 +48,18 @@ docker run -it \ ...@@ -48,11 +48,18 @@ docker run -it \
关于本项目DCU显卡所需的特殊深度学习库可从[光合](https://developer.sourcefind.cn/tool/)开发者社区下载安装 关于本项目DCU显卡所需的特殊深度学习库可从[光合](https://developer.sourcefind.cn/tool/)开发者社区下载安装
镜像内其他环境配置 其它包参照requirements.txt安装:
``` ```
pip install pycountry pip install -r requirements.txt
``` ```
## 预训练权重
**请根据`支持的DCU型号`选择对应模型下载,FP8模型仅在BW1100/BW1101上支持,其他型号请勿使用!**
| 模型名称 | 权重大小 | 数据类型 | 支持的DCU型号 | 最低卡数需求 | 下载地址 |
|:-----:|:----------:|:----------:|:----------:|:---------------------:|:----------:|
| Qwen3-VL-Embedding-8B | 8B | BF16 | K100AI | 1 | [ModelScope](https://www.modelscope.cn/models/Qwen/Qwen3-VL-Embedding-8B) |
| Qwen3-VL-Embedding-2B | 2B | BF16 | K100AI | 1 | [ModelScope](https://www.modelscope.cn/models/Qwen/Qwen3-VL-Embedding-2B) |
## 数据集 ## 数据集
暂无 暂无
...@@ -76,7 +83,7 @@ vllm serve Qwen/Qwen3-VL-Embedding-8B \ ...@@ -76,7 +83,7 @@ vllm serve Qwen/Qwen3-VL-Embedding-8B \
## client访问 ## client访问
curl -s http://127.0.0.1:8000/v1/embeddings \ curl -s http://127.0.0.1:8000/v1/embeddings \
-H "Content-Type: application/json" \ -H "Content-Type: application/json" \
-d '{"model": "qwen3-vl-embedding", -d '{"model": "qwen3-vl-embedding",
"input": "这是一个用于测试 vLLM embedding 服务是否正常的句子。" "input": "这是一个用于测试 vLLM embedding 服务是否正常的句子。"
}' }'
...@@ -90,14 +97,8 @@ curl -s http://127.0.0.1:8000/v1/embeddings \ ...@@ -90,14 +97,8 @@ curl -s http://127.0.0.1:8000/v1/embeddings \
### 精度 ### 精度
`DCU与GPU精度一致,推理框架:vllm` `DCU与GPU精度一致,推理框架:vllm`
## 预训练权重
| 模型名称 | 权重大小 | DCU型号 | 最低卡数需求 |下载地址|
|:-----:|:----------:|:----------:|:---------------------:|:----------:|
| Qwen3-VL-Embedding-8B | 8B | K100AI | 1 | [Modelscope](https://www.modelscope.cn/models/Qwen/Qwen3-VL-Embedding-8B)|
| Qwen3-VL-Embedding-2B | 2B | K100AI | 1 | [Modelscope](https://www.modelscope.cn/models/Qwen/Qwen3-VL-Embedding-2B)|
## 源码仓库及问题反馈 ## 源码仓库及问题反馈
- https://developer.sourcefind.cn/codes/modelzoo/qwen3-vl-embedding_vllm - https://developer.sourcefind.cn/codes/modelzoo/qwen3-vl-embedding_vllm
## 参考资料 ## 参考资料
- https://github.com/QwenLM/Qwen3-VL-Embedding - https://github.com/QwenLM/Qwen3-VL-Embedding
\ No newline at end of file
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment