Skip to content
GitLab
Menu
Projects
Groups
Snippets
Loading...
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
Menu
Open sidebar
ModelZoo
BERT_migraphx
Commits
d997fe0c
Commit
d997fe0c
authored
Jun 14, 2023
by
liucong8560
Browse files
Merge branch 'develop' into 'master'
Develop See merge request
!3
parents
56695530
65a71058
Changes
1
Show whitespace changes
Inline
Side-by-side
Showing
1 changed file
with
23 additions
and
19 deletions
+23
-19
README.md
README.md
+23
-19
No files found.
README.md
View file @
d997fe0c
...
@@ -6,25 +6,25 @@ BERT的全称为Bidirectional Encoder Representation from Transformers,是一
...
@@ -6,25 +6,25 @@ BERT的全称为Bidirectional Encoder Representation from Transformers,是一
## 模型结构
## 模型结构
以往的预训练模型的结构会受到单向语言模型(从左到右或者从右到左)的限制,因而也限制了模型的表征能力,使其只能获取单方向的上下文信息。而BERT利用MLM进行预训练并且采用深层的双向Transformer组件(单向的Transformer一般被称为Transformer decoder,其每一个token(符号)只会attend到目前往左的token。而双向的Transformer则被称为Transformer encoder,其每一个token会attend到所有的token)来构建整个模型,因此最终生成能融合左右上下文信息的深层双向语言表征。
以往的预训练模型的结构会受到单向语言模型(从左到右或者从右到左)的限制,因而也限制了模型的表征能力,使其只能获取单方向的上下文信息。而BERT利用MLM进行预训练并且采用深层的双向Transformer组件(单向的Transformer一般被称为Transformer decoder,其每一个token(符号)只会attend到目前往左的token。而双向的Transformer则被称为Transformer encoder,其每一个token会attend到所有的token)来构建整个模型,因此最终生成能融合左右上下文信息的深层双向语言表征。
##
p
ython版本推理
##
P
ython版本推理
下面介绍如何运行python代码示例,具体推理代码解析,在Doc/
Tutorial_Python.md
中有详细说明
。
本次采用经典的Bert模型完成问题回答任务,模型和分词文件下载链接:https://pan.baidu.com/s/1yc30IzM4ocOpTpfFuUMR0w, 提取码:8f1a, 将bertsquad-10.onnx文件和uncased_L-12_H-768_A-12分词文件保存在Resource/文件夹下。下面介绍如何运行python代码示例,Python示例的详细说明见Doc目录下的
Tutorial_Python.md。
本次采用经典的Bert模型完成问题回答任务,模型和分词文件下载链接:https://pan.baidu.com/s/1yc30IzM4ocOpTpfFuUMR0w, 提取码:8f1a, 将bertsquad-10.onnx文件和uncased_L-12_H-768_A-12分词文件保存在Resource/文件夹下。
### 下载镜像
### 拉取镜像
在光源中下载MIGraphX镜像:
在光源可拉取推理的docker镜像,BERT模型推理的镜像如下:
```
python
```
python
docker
pull
image
.
sourcefind
.
cn
:
5000
/
dcu
/
admin
/
base
/
custom
:
ort1
.
14.0
_migraphx3
.
0.0
-
dtk22
.
10.1
docker
pull
image
.
sourcefind
.
cn
:
5000
/
dcu
/
admin
/
base
/
custom
:
ort1
.
14.0
_migraphx3
.
0.0
-
dtk22
.
10.1
```
```
###
推理示例
###
设置Python环境变量
1.
参考《MIGraphX教程》设置好PYTHONPATH
```
export PYTHONPATH=/opt/dtk/lib:$PYTHONPATH
```
2.
安装依赖
:
###
安装依赖
```
python
```
python
# 进入bert migraphx工程根目录
# 进入bert migraphx工程根目录
...
@@ -37,7 +37,9 @@ cd ./Python/
...
@@ -37,7 +37,9 @@ cd ./Python/
pip
install
-
r
requirements
.
txt
pip
install
-
r
requirements
.
txt
```
```
3.
在Python目录下执行如下命令运行该示例程序:
### 运行示例
在Python目录下执行如下命令运行该示例程序:
```
python
```
python
python
bert
.
py
python
bert
.
py
...
@@ -51,16 +53,20 @@ python bert.py
...
@@ -51,16 +53,20 @@ python bert.py
## C++版本推理
## C++版本推理
下面介绍如何运行C++代码示例,具体推理代码解析,在Doc/
Tutorial_Cpp.md
目录中有详细说明
。
本次采用经典的Bert模型完成问题回答任务,模型和分词文件下载链接:https://pan.baidu.com/s/1yc30IzM4ocOpTpfFuUMR0w, 提取码:8f1a, 将bertsquad-10.onnx文件和uncased_L-12_H-768_A-12分词文件保存在Resource/文件夹下。下面介绍如何运行C++代码示例,C++示例的详细说明见Doc目录下的
Tutorial_Cpp.md。
参考Python版本推理中的构建安装,在光源中拉取推理的docker
镜像
。
### 下载
镜像
### 修改CMakeLists.txt
在光源中下载MIGraphX镜像:
-
如果使用ubuntu系统,需要修改CMakeLists.txt中依赖库路径:
```
将"${CMAKE_CURRENT_SOURCE_DIR}/depend/lib64/"修改为"${CMAKE_CURRENT_SOURCE_DIR}/depend/lib/"
docker pull image.sourcefind.cn:5000/dcu/admin/base/custom:ort1.14.0_migraphx3.0.0-dtk22.10.1
```
-
**MIGraphX2.3.0及以上版本需要c++17**
### 修改CMakeLists.txt
如果使用ubuntu系统,需要修改CMakeLists.txt中依赖库路径:
将"${CMAKE_CURRENT_SOURCE_DIR}/depend/lib64/"修改为"${CMAKE_CURRENT_SOURCE_DIR}/depend/lib/"
### 构建工程
### 构建工程
...
@@ -91,9 +97,7 @@ export LD_LIBRARY_PATH=<path_to_bert_migraphx>/depend/lib/:$LD_LIBRARY_PATH
...
@@ -91,9 +97,7 @@ export LD_LIBRARY_PATH=<path_to_bert_migraphx>/depend/lib/:$LD_LIBRARY_PATH
source ~/.bashrc
source ~/.bashrc
```
```
### 推理示例
### 运行示例
运行Bert示例程序,具体执行如下命令:
```
python
```
python
# 进入bert migraphx工程根目录
# 进入bert migraphx工程根目录
...
...
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
.
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment