Skip to content
GitLab
Menu
Projects
Groups
Snippets
Loading...
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
Menu
Open sidebar
ModelZoo
wenet_onnxruntime
Commits
c7e4150a
Commit
c7e4150a
authored
Jul 10, 2024
by
Rayyyyy
Browse files
Add icon and scnet
parent
496db8f9
Changes
2
Hide whitespace changes
Inline
Side-by-side
Showing
2 changed files
with
15 additions
and
11 deletions
+15
-11
README.md
README.md
+15
-11
icon.png
icon.png
+0
-0
No files found.
README.md
View file @
c7e4150a
# WeNet-Ort
## 论文
`WeNet: Production Oriented Streaming and Non-streaming End-to-End
Speech Recognition Toolkit`
`WeNet: Production Oriented Streaming and Non-streaming End-to-End Speech Recognition Toolkit`
-
https://arxiv.org/pdf/2102.01547.pdf
## 模型结构
WeNet是一种hybird连接主义时间分类(CTC)/注意力架构,以transformer或conformer作为编码器和注意力解码器来重新存储CTC假设。为了在统一的模型中实现流和非流,以及使用了一种基于动态块的注意力策略,该策略允许自注意力以随机长度集中在正确的上下文上。

## 算法原理
底层堆栈完全基于PyTorch及其生态系统。中间的堆栈由两部分组成。开发研究模型时,TorchScript用于开发模型,Torchaudio用于动态特征提取,分布式数据并行(DDP)用于分布式训练,torch实时(JIT)用于模型导出,PyTorch量化用于模型量化,LibTorch用于生产运行时。LibTorch产品用于托管生产模型,旨在支持各种硬件和平台,如CPU、GPU(CUDA)Linux、Android和iOS。顶部堆栈显示了对WeNet中生产管道的典型研究

## 环境配置
### Docker(方法一)
拉取镜像:
...
...
@@ -34,8 +36,7 @@ docker run --shm-size 16g --network=host --name=wenet_ort --privileged --device=
```
## 数据集
下载Aishell数据集:
[
Aishell (openslr.org)
](
https://www.openslr.org/33/
)
下载Aishell数据集:
[
Aishell
](
http://113.200.138.88:18080/aidatasets/project-dependency/aishell/
)
```
AISHELL_data/
...
...
@@ -56,10 +57,10 @@ AISHELL_data/
transcript002.txt
...
```
## 推理
### C++版本推理
本次采用经wenet模型完成问题语音识别任务,首先需要下载模型至Resouce/models/,链接:https://pan.baidu.com/s/1aUt6LRcspYLAmmWu0fFTdQ
提取码:sodg,下面介绍如何运行C++代码示例,C++示例的详细说明见Doc目录下的Tutorial_Cpp.md。
本次采用经wenet模型完成问题语音识别任务,首先需要下载
[
模型
](
http://113.200.138.88:18080/aimodels/findsource-dependency/wenet_onnxruntime
)
至Resouce/models/,下面介绍如何运行C++代码示例,C++示例的详细说明见Doc目录下的Tutorial_Cpp.md。
#### 构建工程
```
...
...
@@ -69,6 +70,7 @@ mkdir build && cd build
cmake ..
make install
```
#### 设置推理参数
```
cd /home/wenet_onnxruntime
...
...
@@ -78,6 +80,7 @@ wav_path=./Resource/BAC009S0764W0344.wav
onnx_dir=./Resource/models
units=./Resource/units.txt
```
#### 运行示例
```
# 进入wenet onnxruntime工程根目录
...
...
@@ -85,8 +88,8 @@ cd /home/wenet_onnxruntime
# 执行示例程序
./build/Src/bin/decoder_main --onnx_dir $onnx_dir --wav_path $wav_path --unit_path $units 2>&1 | tee log.txt
```
## result
```
test Final result: 脚踝和小腿的能力变弱
...
...
@@ -97,16 +100,17 @@ RTF: 0.1508
### 精度
无
## 应用场景
### 算法类别
`语音识别`
语音识别
### 热点应用行业
`
制造
`
,
`金融`
,
`交通`
,
`
教育
`
制造
,金融,交通,
教育
## 源码仓库及问题反馈
-
https://developer.hpccube.com/codes/modelzoo/wenet_onnxruntime
## 参考资料
-
https://github.com/wenet-e2e/wenet
-
https://wenet.org.cn/wenet/
icon.png
0 → 100644
View file @
c7e4150a
68.4 KB
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
.
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment