Skip to content
GitLab
Menu
Projects
Groups
Snippets
Loading...
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
Menu
Open sidebar
panhb
bert_tensorflow
Commits
bbe8fbd7
Commit
bbe8fbd7
authored
Nov 17, 2023
by
dcuai
Browse files
Update README.md
parent
5af56b7d
Changes
1
Hide whitespace changes
Inline
Side-by-side
Showing
1 changed file
with
9 additions
and
9 deletions
+9
-9
README.md
README.md
+9
-9
No files found.
README.md
View file @
bbe8fbd7
# bert
_tensorflow
# bert
## 论文
## 论文
...
@@ -6,7 +6,7 @@
...
@@ -6,7 +6,7 @@
[
BERT论文pdf地址
](
https://arxiv.org/pdf/1810.04805.pdf
)
[
BERT论文pdf地址
](
https://arxiv.org/pdf/1810.04805.pdf
)
## 模型
介绍
## 模型
结构


...
@@ -22,12 +22,6 @@ BERT的全称为Bidirectional Encoder Representation from Transformers,是一
...
@@ -22,12 +22,6 @@ BERT的全称为Bidirectional Encoder Representation from Transformers,是一
以往的预训练模型的结构会受到单向语言模型(从左到右或者从右到左)的限制,因而也限制了模型的表征能力,使其只能获取单方向的上下文信息。而BERT利用MLM进行预训练并且采用深层的双向Transformer组件(单向的Transformer一般被称为Transformer decoder,其每一个token(符号)只会attend到目前往左的token。而双向的Transformer则被称为Transformer encoder,其每一个token会attend到所有的token)来构建整个模型,因此最终生成能融合左右上下文信息的深层双向语言表征。
以往的预训练模型的结构会受到单向语言模型(从左到右或者从右到左)的限制,因而也限制了模型的表征能力,使其只能获取单方向的上下文信息。而BERT利用MLM进行预训练并且采用深层的双向Transformer组件(单向的Transformer一般被称为Transformer decoder,其每一个token(符号)只会attend到目前往左的token。而双向的Transformer则被称为Transformer encoder,其每一个token会attend到所有的token)来构建整个模型,因此最终生成能融合左右上下文信息的深层双向语言表征。
```
```
## 预训练模型
[
bert-base-uncace(MNLI分类时使用此模型)
](
https://storage.googleapis.com/bert_models/2018_10_18/uncased_L-12_H-768_A-12.zip
)
[
bert-large-uncase(squad问答使用此模型)
](
https://storage.googleapis.com/bert_models/2018_10_18/uncased_L-24_H-1024_A-16.zip
)
## 数据集
## 数据集
MNLI分类数据集:
[
MNLI
](
https://dl.fbaipublicfiles.com/glue/data/MNLI.zip
)
MNLI分类数据集:
[
MNLI
](
https://dl.fbaipublicfiles.com/glue/data/MNLI.zip
)
...
@@ -37,6 +31,12 @@ squad问答数据集:[train-v1.1.json](https://rajpurkar.github.io/SQuAD-explo
...
@@ -37,6 +31,12 @@ squad问答数据集:[train-v1.1.json](https://rajpurkar.github.io/SQuAD-explo
squad-v1.1 eval脚本:
[
evaluate-v1.1.py
](
https://github.com/allenai/bi-att-flow/blob/master/squad/evaluate-v1.1.py
)
squad-v1.1 eval脚本:
[
evaluate-v1.1.py
](
https://github.com/allenai/bi-att-flow/blob/master/squad/evaluate-v1.1.py
)
### 预训练模型
[
bert-base-uncace(MNLI分类时使用此模型)
](
https://storage.googleapis.com/bert_models/2018_10_18/uncased_L-12_H-768_A-12.zip
)
[
bert-large-uncase(squad问答使用此模型)
](
https://storage.googleapis.com/bert_models/2018_10_18/uncased_L-24_H-1024_A-16.zip
)
`MNLI数据集`
`MNLI数据集`
```
```
...
@@ -66,7 +66,7 @@ squad-v1.1 eval脚本:[evaluate-v1.1.py](https://github.com/allenai/bi-att-flo
...
@@ -66,7 +66,7 @@ squad-v1.1 eval脚本:[evaluate-v1.1.py](https://github.com/allenai/bi-att-flo
## 环境配置
## 环境配置
推荐使用docker方式运行,提供
[
光源
](
https://www.sourcefind.cn/#/main-page
)
镜像,可以dockerpull拉取
推荐使用docker方式运行,提供
[
光源
](
https://www.sourcefind.cn/#/main-page
)
镜像,可以docker
pull拉取
### Docker(方式一)
### Docker(方式一)
...
...
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
.
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment