Commit 9c3935eb authored by weishb's avatar weishb
Browse files

更新readme版本

parent 3959ccbd
...@@ -48,6 +48,13 @@ pip install numpy==1.25.0 ...@@ -48,6 +48,13 @@ pip install numpy==1.25.0
pip install -r requirements.txt pip install -r requirements.txt
``` ```
## 预训练权重
**请根据`支持的DCU型号`选择对应模型下载,FP8模型仅在BW1100/BW1101上支持,其他型号请勿使用!**
| 模型名称 | 权重大小 | 数据类型 | 支持的DCU型号 | 最低卡数需求 | 下载地址 |
|:-----:|:----------:|:----------:|:----------:|:---------------------:|:----------:|
| Qwen3-ASR-1.7B | 1.7B | BF16 | BW1000 | 1 | [ModelScope](https://www.modelscope.cn/models/Qwen/Qwen3-ASR-1.7B) |
| Qwen3-ASR-0.6B | 0.6B | BF16 | BW1000 | 1 | [ModelScope](https://www.modelscope.cn/models/Qwen/Qwen3-ASR-0.6B) |
## 数据集 ## 数据集
暂无 暂无
...@@ -65,14 +72,14 @@ python inference.py ...@@ -65,14 +72,14 @@ python inference.py
### vllm ### vllm
#### 单机推理 #### 单机推理
```bash ```bash
## serve启动 # serve启动
export VLLM_USE_FUSED_RMS_ROPE=0 export VLLM_USE_FUSED_RMS_ROPE=0
vllm serve Qwen/Qwen3-ASR-1.7B \ vllm serve Qwen/Qwen3-ASR-1.7B \
--trust-remote-code \ --trust-remote-code \
--limit-mm-per-prompt '{"audio": 1}' --limit-mm-per-prompt '{"audio": 1}'
## client访问 # client访问
curl -X POST "http://127.0.0.1:8000/v1/audio/transcriptions" \ curl -X POST "http://127.0.0.1:8000/v1/audio/transcriptions" \
-F "file=@/path/to/test.wav" \ -F "file=@/path/to/test.wav" \
-F "model=Qwen/Qwen3-ASR-1.7B" -F "model=Qwen/Qwen3-ASR-1.7B"
...@@ -88,14 +95,6 @@ curl -X POST "http://127.0.0.1:8000/v1/audio/transcriptions" \ ...@@ -88,14 +95,6 @@ curl -X POST "http://127.0.0.1:8000/v1/audio/transcriptions" \
### 精度 ### 精度
`DCU与GPU精度一致,推理框架:transformers、vllm` `DCU与GPU精度一致,推理框架:transformers、vllm`
## 预训练权重
**请根据`支持的DCU型号`选择对应模型下载,FP8模型仅在BW1100/BW1101上支持,其他型号请勿使用!**
| 模型名称 | 权重大小 | 数据类型 | 支持的DCU型号 | 最低卡数需求 | 下载地址 |
|:-----:|:----------:|:----------:|:----------:|:---------------------:|:----------:|
| Qwen3-ASR-1.7B | 1.7B | BF16 | BW1000 | 1 | [Modelscope](https://www.modelscope.cn/models/Qwen/Qwen3-ASR-1.7B) |
| Qwen3-ASR-0.6B | 0.6B | BF16 | BW1000 | 1 | [Modelscope](https://www.modelscope.cn/models/Qwen/Qwen3-ASR-0.6B) |
## 源码仓库及问题反馈 ## 源码仓库及问题反馈
- https://developer.sourcefind.cn/codes/modelzoo/qwen3-asr_pytorch - https://developer.sourcefind.cn/codes/modelzoo/qwen3-asr_pytorch
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment