Commit c8f52cdd authored by yangql's avatar yangql
Browse files

Update README.md

parent b8dc2f0f
......@@ -9,6 +9,7 @@
<p align="center">
<img src="./Doc/Images/Bert_01.png" style="zoom:55%;" align=middle>
</p>
## 算法原理
BERT的全称为Bidirectional Encoder Representation from Transformers,是一个预训练的语言表征模型。它强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练,而是采用新的masked language model(MLM),以致能生成深度的双向语言表征。bert的输入可以是单一的一个句子或者是句子对,实际的输入值是segment embedding与position embedding相加,BERT的输入词向量是三个向量之和:Token Embedding:WordPiece tokenization subword词向量。
Segment Embedding:表明这个词属于哪个句子(NSP需要两个句子)。Position Embedding:学习出来的embedding向量。
......@@ -16,6 +17,7 @@ Segment Embedding:表明这个词属于哪个句子(NSP需要两个句子)
<p align="center">
<img src="./Doc/Images/Bert_04.png" style="zoom:55%;" align=middle>
</p>
## 环境配置
### Docker
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment