"superbench/config/amd_mi300.yaml" did not exist on "4d85630abba0fe45b8cd3a51e79c15e6ac87a1e6"
Commit 9c3935eb authored by weishb's avatar weishb
Browse files

更新readme版本

parent 3959ccbd
......@@ -48,6 +48,13 @@ pip install numpy==1.25.0
pip install -r requirements.txt
```
## 预训练权重
**请根据`支持的DCU型号`选择对应模型下载,FP8模型仅在BW1100/BW1101上支持,其他型号请勿使用!**
| 模型名称 | 权重大小 | 数据类型 | 支持的DCU型号 | 最低卡数需求 | 下载地址 |
|:-----:|:----------:|:----------:|:----------:|:---------------------:|:----------:|
| Qwen3-ASR-1.7B | 1.7B | BF16 | BW1000 | 1 | [ModelScope](https://www.modelscope.cn/models/Qwen/Qwen3-ASR-1.7B) |
| Qwen3-ASR-0.6B | 0.6B | BF16 | BW1000 | 1 | [ModelScope](https://www.modelscope.cn/models/Qwen/Qwen3-ASR-0.6B) |
## 数据集
暂无
......@@ -65,14 +72,14 @@ python inference.py
### vllm
#### 单机推理
```bash
## serve启动
# serve启动
export VLLM_USE_FUSED_RMS_ROPE=0
vllm serve Qwen/Qwen3-ASR-1.7B \
--trust-remote-code \
--limit-mm-per-prompt '{"audio": 1}'
## client访问
# client访问
curl -X POST "http://127.0.0.1:8000/v1/audio/transcriptions" \
-F "file=@/path/to/test.wav" \
-F "model=Qwen/Qwen3-ASR-1.7B"
......@@ -88,14 +95,6 @@ curl -X POST "http://127.0.0.1:8000/v1/audio/transcriptions" \
### 精度
`DCU与GPU精度一致,推理框架:transformers、vllm`
## 预训练权重
**请根据`支持的DCU型号`选择对应模型下载,FP8模型仅在BW1100/BW1101上支持,其他型号请勿使用!**
| 模型名称 | 权重大小 | 数据类型 | 支持的DCU型号 | 最低卡数需求 | 下载地址 |
|:-----:|:----------:|:----------:|:----------:|:---------------------:|:----------:|
| Qwen3-ASR-1.7B | 1.7B | BF16 | BW1000 | 1 | [Modelscope](https://www.modelscope.cn/models/Qwen/Qwen3-ASR-1.7B) |
| Qwen3-ASR-0.6B | 0.6B | BF16 | BW1000 | 1 | [Modelscope](https://www.modelscope.cn/models/Qwen/Qwen3-ASR-0.6B) |
## 源码仓库及问题反馈
- https://developer.sourcefind.cn/codes/modelzoo/qwen3-asr_pytorch
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment