Commit bbe8fbd7 authored by dcuai's avatar dcuai
Browse files

Update README.md

parent 5af56b7d
# bert_tensorflow # bert
## 论文 ## 论文
...@@ -6,7 +6,7 @@ ...@@ -6,7 +6,7 @@
[BERT论文pdf地址](https://arxiv.org/pdf/1810.04805.pdf) [BERT论文pdf地址](https://arxiv.org/pdf/1810.04805.pdf)
## 模型介绍 ## 模型结构
![bert_model](bert_model.png) ![bert_model](bert_model.png)
...@@ -22,12 +22,6 @@ BERT的全称为Bidirectional Encoder Representation from Transformers,是一 ...@@ -22,12 +22,6 @@ BERT的全称为Bidirectional Encoder Representation from Transformers,是一
以往的预训练模型的结构会受到单向语言模型(从左到右或者从右到左)的限制,因而也限制了模型的表征能力,使其只能获取单方向的上下文信息。而BERT利用MLM进行预训练并且采用深层的双向Transformer组件(单向的Transformer一般被称为Transformer decoder,其每一个token(符号)只会attend到目前往左的token。而双向的Transformer则被称为Transformer encoder,其每一个token会attend到所有的token)来构建整个模型,因此最终生成能融合左右上下文信息的深层双向语言表征。 以往的预训练模型的结构会受到单向语言模型(从左到右或者从右到左)的限制,因而也限制了模型的表征能力,使其只能获取单方向的上下文信息。而BERT利用MLM进行预训练并且采用深层的双向Transformer组件(单向的Transformer一般被称为Transformer decoder,其每一个token(符号)只会attend到目前往左的token。而双向的Transformer则被称为Transformer encoder,其每一个token会attend到所有的token)来构建整个模型,因此最终生成能融合左右上下文信息的深层双向语言表征。
``` ```
## 预训练模型
[bert-base-uncace(MNLI分类时使用此模型)](https://storage.googleapis.com/bert_models/2018_10_18/uncased_L-12_H-768_A-12.zip)
[bert-large-uncase(squad问答使用此模型)](https://storage.googleapis.com/bert_models/2018_10_18/uncased_L-24_H-1024_A-16.zip)
## 数据集 ## 数据集
MNLI分类数据集:[MNLI](https://dl.fbaipublicfiles.com/glue/data/MNLI.zip) MNLI分类数据集:[MNLI](https://dl.fbaipublicfiles.com/glue/data/MNLI.zip)
...@@ -37,6 +31,12 @@ squad问答数据集:[train-v1.1.json](https://rajpurkar.github.io/SQuAD-explo ...@@ -37,6 +31,12 @@ squad问答数据集:[train-v1.1.json](https://rajpurkar.github.io/SQuAD-explo
squad-v1.1 eval脚本:[evaluate-v1.1.py](https://github.com/allenai/bi-att-flow/blob/master/squad/evaluate-v1.1.py) squad-v1.1 eval脚本:[evaluate-v1.1.py](https://github.com/allenai/bi-att-flow/blob/master/squad/evaluate-v1.1.py)
### 预训练模型
[bert-base-uncace(MNLI分类时使用此模型)](https://storage.googleapis.com/bert_models/2018_10_18/uncased_L-12_H-768_A-12.zip)
[bert-large-uncase(squad问答使用此模型)](https://storage.googleapis.com/bert_models/2018_10_18/uncased_L-24_H-1024_A-16.zip)
`MNLI数据集` `MNLI数据集`
``` ```
...@@ -66,7 +66,7 @@ squad-v1.1 eval脚本:[evaluate-v1.1.py](https://github.com/allenai/bi-att-flo ...@@ -66,7 +66,7 @@ squad-v1.1 eval脚本:[evaluate-v1.1.py](https://github.com/allenai/bi-att-flo
## 环境配置 ## 环境配置
推荐使用docker方式运行,提供[光源](https://www.sourcefind.cn/#/main-page)镜像,可以dockerpull拉取 推荐使用docker方式运行,提供[光源](https://www.sourcefind.cn/#/main-page)镜像,可以docker pull拉取
### Docker(方式一) ### Docker(方式一)
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment