Commit af91d7d2 authored by yangql's avatar yangql
Browse files

Update README.md

parent 1fca7e1e
# WeNet-Ort # WeNet-Ort
## 论文 ## 论文
`WeNet: Production Oriented Streaming and Non-streaming End-to-End `WeNet: Production Oriented Streaming and Non-streaming End-to-End
Speech Recognition Toolkit` Speech Recognition Toolkit`
- https://arxiv.org/pdf/2102.01547.pdf - https://arxiv.org/pdf/2102.01547.pdf
## 模型结构 ## 模型结构
WeNet是一种hybird连接主义时间分类(CTC)/注意力架构,以transformer或conformer作为编码器和注意力解码器来重新存储CTC假设。为了在统一的模型中实现流和非流,以及使用了一种基于动态块的注意力策略,该策略允许自注意力以随机长度集中在正确的上下文上。 WeNet是一种hybird连接主义时间分类(CTC)/注意力架构,以transformer或conformer作为编码器和注意力解码器来重新存储CTC假设。为了在统一的模型中实现流和非流,以及使用了一种基于动态块的注意力策略,该策略允许自注意力以随机长度集中在正确的上下文上。
![img](./Doc/images/wenet1.PNG) ![img](./Doc/images/wenet1.PNG)
## 算法原理 ## 算法原理
底层堆栈完全基于PyTorch及其生态系统。中间的堆栈由两部分组成。开发研究模型时,TorchScript用于开发模型,Torchaudio用于动态特征提取,分布式数据并行(DDP)用于分布式训练,torch实时(JIT)用于模型导出,PyTorch量化用于模型量化,LibTorch用于生产运行时。LibTorch产品用于托管生产模型,旨在支持各种硬件和平台,如CPU、GPU(CUDA)Linux、Android和iOS。顶部堆栈显示了对WeNet中生产管道的典型研究 底层堆栈完全基于PyTorch及其生态系统。中间的堆栈由两部分组成。开发研究模型时,TorchScript用于开发模型,Torchaudio用于动态特征提取,分布式数据并行(DDP)用于分布式训练,torch实时(JIT)用于模型导出,PyTorch量化用于模型量化,LibTorch用于生产运行时。LibTorch产品用于托管生产模型,旨在支持各种硬件和平台,如CPU、GPU(CUDA)Linux、Android和iOS。顶部堆栈显示了对WeNet中生产管道的典型研究
![img](./Doc/images/wenet2.PNG) ![img](./Doc/images/wenet2.PNG)
## 环境配置 ## 环境配置
### Docker(方法一) ### Docker(方法一)
拉取镜像: 拉取镜像:
``` ```
docker pull image.sourcefind.cn:5000/dcu/admin/base/custom:ort1.14.0_migraphx3.0.0-dtk22.10.1 docker pull image.sourcefind.cn:5000/dcu/admin/base/custom:ort1.14.0_migraphx3.0.0-dtk22.10.1
docker run xxx docker run xxx
``` ```
创建并启动容器,安装相关依赖: 创建并启动容器,安装相关依赖:
``` ```
docker run --shm-size 16g --network=host --name=wenet_ort --privileged --device=/dev/kfd --device=/dev/dri --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -v $PWD/wenet_onnxruntime:/home/wenet_onnxruntime -it <Your Image ID> /bin/bash docker run --shm-size 16g --network=host --name=wenet_ort --privileged --device=/dev/kfd --device=/dev/dri --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -v $PWD/wenet_onnxruntime:/home/wenet_onnxruntime -it <Your Image ID> /bin/bash
# 激活dtk # 激活dtk
source /opt/dtk/env.sh source /opt/dtk/env.sh
``` ```
### Dockerfile(方法二) ### Dockerfile(方法二)
此处提供dockerfile的使用方法 此处提供dockerfile的使用方法
``` ```
docker build --no-cache -t wenet_onnxruntime:2.0 . docker build --no-cache -t wenet_onnxruntime:2.0 .
docker run --shm-size 16g --network=host --name=wenet_ort --privileged --device=/dev/kfd --device=/dev/dri --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -v $PWD/wenet_onnxruntime:/home/wenet_onnxruntime -it <Your Image ID> /bin/bash docker run --shm-size 16g --network=host --name=wenet_ort --privileged --device=/dev/kfd --device=/dev/dri --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -v $PWD/wenet_onnxruntime:/home/wenet_onnxruntime -it <Your Image ID> /bin/bash
``` ```
## 数据集 ## 数据集
`此处填写公开数据集名称` `此处填写公开数据集名称`
## 推理 ## 推理
### C++版本推理 ### C++版本推理
本次采用经wenet模型完成问题语音识别任务,下面介绍如何运行C++代码示例,C++示例的详细说明见Doc目录下的Tutorial_Cpp.md。 本次采用经wenet模型完成问题语音识别任务,首先需要下载模型至Resouce/Models/,链接:https://pan.baidu.com/s/1aUt6LRcspYLAmmWu0fFTdQ
提取码:sodg,下面介绍如何运行C++代码示例,C++示例的详细说明见Doc目录下的Tutorial_Cpp.md。
#### 构建工程
``` #### 构建工程
export LD_LIBRARY_PATH=$PWD/openfst-1.7.6/src/lib:$LD_LIBRARY_PATH ```
mkdir build && cd build export LD_LIBRARY_PATH=$PWD/openfst-1.7.6/src/lib:$LD_LIBRARY_PATH
cmake .. mkdir build && cd build
make install cmake ..
``` make install
#### 设置环境变量 ```
``` #### 设置环境变量
cd <path-to-wenet_onnxruntime> ```
export GLOG_logtostderr=1 cd <path-to-wenet_onnxruntime>
export GLOG_v=2 export GLOG_logtostderr=1
wav_path=./Resource/BAC009S0764W0344.wav export GLOG_v=2
onnx_dir=./Resource/models wav_path=./Resource/BAC009S0764W0344.wav
units=./Resource/units.txt onnx_dir=./Resource/models
``` units=./Resource/units.txt
#### 运行示例 ```
``` #### 运行示例
# 进入wenet onnxruntime工程根目录 ```
cd <path_to_wenet_onnxruntime> # 进入wenet onnxruntime工程根目录
cd <path_to_wenet_onnxruntime>
# 执行示例程序
./build/Src/bin/decoder_main --onnx_dir $onnx_dir --wav_path $wav_path --unit_path $units 2>&1 | tee log.txt # 执行示例程序
./build/Src/bin/decoder_main --onnx_dir $onnx_dir --wav_path $wav_path --unit_path $units 2>&1 | tee log.txt
```
## result ```
``` ## result
test Final result: 脚踝和小腿的能力变弱 ```
Decoded 3091ms audio taken 466ms. test Final result: 脚踝和小腿的能力变弱
Total: decoded 3091ms audio taken 466ms. Decoded 3091ms audio taken 466ms.
RTF: 0.1508 Total: decoded 3091ms audio taken 466ms.
``` RTF: 0.1508
```
### 精度
### 精度
## 应用场景
### 算法类别 ## 应用场景
`语音识别` ### 算法类别
### 热点应用行业 `语音识别`
`制造`,`金融`,`交通`,`教育` ### 热点应用行业
`制造`,`金融`,`交通`,`教育`
## 源码仓库及问题反馈
- https://developer.hpccube.com/codes/modelzoo/wenet-ort ## 源码仓库及问题反馈
## 参考资料 - https://developer.hpccube.com/codes/modelzoo/wenet-onnxruntime
- https://github.com/wenet-e2e/wenet ## 参考资料
- https://wenet.org.cn/wenet/ - https://github.com/wenet-e2e/wenet
- https://wenet.org.cn/wenet/
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment