Commit 7a728475 authored by liucong's avatar liucong
Browse files

修改readme文件格式

parent e6182153
# Generative Pre-Training2(GPT2) # Generative Pre-Training2(GPT2)
## 模型介绍 ## 论文
GPT2模型:第二代生成式预训练模型(Generative Pre-Training2)。 Language Models are Unsupervised Multitask Learners
- https://d4mucfpksywv.cloudfront.net/better-language-models/language-models.pdf
## 模型结构 ## 模型结构
GPT2主要使用Transformer的Decoder模块为特征提取器,并对Transformer Decoder进行了一些改动,原本的Decoder包含了两个Multi-Head Attention结构,而GPT2只保留了Mask Multi-Head Attention。 第二代生成式预训练模型(Generative Pre-Training2),GPT2主要使用Transformer的Decoder模块为特征提取器,并对Transformer Decoder进行了一些改动,原本的Decoder包含了两个Multi-Head Attention结构,而GPT2只保留了Mask Multi-Head Attention。
## Python版本推理 <img src="./Doc/Images/GPT_03.png" style="zoom:55%;" align=middle>
本次采用GPT-2模型进行诗词生成任务,模型文件下载链接:https://pan.baidu.com/s/1KWeoUuakCZ5dualK69qCcw , 提取码:4pmh ,并将GPT2_shici.onnx模型文件保存在Resource/文件夹下。下面介绍如何运行python代码示例,Python示例的详细说明见Doc目录下的Tutorial_Python.md。 ## 算法原理
### 下载镜像 GPT-2中使用了掩模自注意力(masked self-attention),通过屏蔽当前位置的右边token,使模型可以更好的预测下一个token。
下载MIGraphX镜像: <img src="./Doc/Images/GPT_04.png" style="zoom:70%;" align=middle>
```python ## 环境配置
### Docker(方法一)
拉取镜像:
```
docker pull sugonhub/migraphx:3.2.1-centos7.6-dtk-23.04.1-py38 docker pull sugonhub/migraphx:3.2.1-centos7.6-dtk-23.04.1-py38
``` ```
### 设置Python环境变量 创建并启动容器:
```
docker run --shm-size 16g --network=host --name=gpt2_migraphx --privileged --device=/dev/kfd --device=/dev/dri --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -v $PWD/gpt2_migraphx:/home/gpt2_migraphx -it <Your Image ID> /bin/bash
```
### Dockerfile(方法二)
```
cd ./docker
docker build --no-cache -t gpt2_migraphx:2.0 .
docker run --shm-size 16g --network=host --name=gpt2_migraphx --privileged --device=/dev/kfd --device=/dev/dri --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -v $PWD/gpt2_migraphx:/home/gpt2_migraphx -it <Your Image ID> /bin/bash
```
## 推理
### Python版本推理
本次采用GPT-2模型进行诗词生成任务,模型文件下载链接:https://pan.baidu.com/s/1KWeoUuakCZ5dualK69qCcw , 提取码:4pmh ,并将GPT2_shici.onnx模型文件保存在Resource/文件夹下。下面介绍如何运行python代码示例,Python示例的详细说明见Doc目录下的Tutorial_Python.md。
#### 设置环境变量
``` ```
export PYTHONPATH=/opt/dtk/lib:$PYTHONPATH export PYTHONPATH=/opt/dtk/lib:$PYTHONPATH
``` ```
### 安装依赖 #### 运行示例
```python ```
# 进入gpt2 migraphx工程根目录 # 进入gpt2 migraphx工程根目录
cd <path_to_gpt2_migraphx> cd <path_to_gpt2_migraphx>
...@@ -35,11 +64,8 @@ cd Python/ ...@@ -35,11 +64,8 @@ cd Python/
# 安装依赖 # 安装依赖
pip install -r requirements.txt pip install -r requirements.txt
```
### 运行示例 # 运行示例
```python
python gpt2.py python gpt2.py
``` ```
...@@ -56,26 +82,18 @@ user:春风吹絮满江南 ...@@ -56,26 +82,18 @@ user:春风吹絮满江南
chatbot:春风吹絮满江南,一片离情酒半酣。记得小桥和雪看,梅花无数簇晴岚。 chatbot:春风吹絮满江南,一片离情酒半酣。记得小桥和雪看,梅花无数簇晴岚。
``` ```
## C++版本推理 ### C++版本推理
本次采用GPT-2模型进行诗词生成任务,模型文件下载链接:https://pan.baidu.com/s/1KWeoUuakCZ5dualK69qCcw , 提取码:4pmh ,并将GPT2_shici.onnx模型文件保存在Resource/文件夹下。下面介绍如何运行C++代码示例,C++示例的详细说明见Doc目录下的Tutorial_Cpp.md。 本次采用GPT-2模型进行诗词生成任务,模型文件下载链接:https://pan.baidu.com/s/1KWeoUuakCZ5dualK69qCcw , 提取码:4pmh ,并将GPT2_shici.onnx模型文件保存在Resource/文件夹下。下面介绍如何运行C++代码示例,C++示例的详细说明见Doc目录下的Tutorial_Cpp.md。
### 下载镜像
下载MIGraphX镜像:
```
docker pull sugonhub/migraphx:3.2.1-centos7.6-dtk-23.04.1-py38
```
#### 构建工程
### 构建工程
``` ```
rbuild build -d depend rbuild build -d depend
``` ```
### 设置环境变量 #### 设置环境变量
将依赖库依赖加入环境变量LD_LIBRARY_PATH,在~/.bashrc中添加如下语句: 将依赖库依赖加入环境变量LD_LIBRARY_PATH,在~/.bashrc中添加如下语句:
...@@ -89,7 +107,7 @@ export LD_LIBRARY_PATH=<path_to_gpt2_migraphx>/depend/lib64/:$LD_LIBRARY_PATH ...@@ -89,7 +107,7 @@ export LD_LIBRARY_PATH=<path_to_gpt2_migraphx>/depend/lib64/:$LD_LIBRARY_PATH
source ~/.bashrc source ~/.bashrc
``` ```
### 运行示例 #### 运行示例
```python ```python
# 进入gpt2 migraphx工程根目录 # 进入gpt2 migraphx工程根目录
...@@ -115,6 +133,16 @@ question:春风吹絮满江南 ...@@ -115,6 +133,16 @@ question:春风吹絮满江南
chatbot:春风吹絮满江南,一片离情酒半酣。记得小桥和雪看,梅花无数簇晴岚。 chatbot:春风吹絮满江南,一片离情酒半酣。记得小桥和雪看,梅花无数簇晴岚。
``` ```
## 应用场景
### 算法类别
自然语言处理
### 热点应用行业
nlp,智能聊天助手,科研
## 源码仓库及问题反馈 ## 源码仓库及问题反馈
https://developer.hpccube.com/codes/modelzoo/gpt2_migraphx https://developer.hpccube.com/codes/modelzoo/gpt2_migraphx
......
FROM sugonhub/migraphx:3.2.1-centos7.6-dtk-23.04.1-py38
RUN source /opt/dtk/env.sh
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment